龚云飞,字节跳动基础架构高级工程师,现负责消息队列相关的技术规划和服务化的工作,同时也在不断探索下一代分布式消息系统。之前曾在微软中国从事大数据相关的研发,包括准实时的数据接入(Data Ingestion)、数据审计(Data Auditing)服务,对于海量数据的处理有着丰富的经验。
龚云飞,字节跳动基础架构高级工程师,现负责消息队列相关的技术规划和服务化的工作,同时也在不断探索下一代分布式消息系统。之前曾在微软中国从事大数据相关的研发,包括准实时的数据接入(Data Ingestion)、数据审计(Data Auditing)服务,对于海量数据的处理有着丰富的经验。
Kafka 在字节跳动内部扮演着重要的角色,不仅作为消息队列服务于在线核心业务,同时也作为流式/批量任务的数据源支撑着模型训练、数据分析等离线应用场景。目前 Kafka 在高峰时段的写入流量超过 600GB/s,读取流量更是写入流量的好几倍,面对如此高吞吐的场景,字节跳动在 Kafka 上面遇到了一些挑战和痛点。本主题将会基于这些挑战和痛点介绍面向高吞吐场景构建的存储/计算分离架构的下一代分布式消息队列,以及相应的实践。
1. Kafka 在字节跳动的应用场景以及面临的挑战;
2. ByteMQ 的架构设计;
3. ByteMQ 在字节跳动的实践以及与 Kafka 的对比;
4. ByteMQ 的未来规划。
1. 了解大规模 Kafka 集群在高吞吐场景下面临的挑战和痛点;
2. 了解 ByteMQ 的设计理念;
3. 了解存储/计算分离以及高可扩展性在实践中的灵活性。