快手万亿级别 Kafka 集群应用实践与技术演进之路

所属专题:大数据平台架构

所属领域: Apache Kafka

嘉宾 : 赵健博 | 快手高级架构师、大数据架构团队负责人

会议室 : 203

讲师介绍

专题演讲嘉宾:赵健博

快手 高级架构师、大数据架构团队负责人

赵健博,大数据领域专家,快手大数据架构团队的负责人,目前负责快手公司 Hadoop 生态中存储、调度、计算、AI 架构等子系统内核与周边子系统的研发,与在公司内的应用。2009 年毕业于中国科学院计算所,曾就职于百度、奇虎360、58集团。主要研究领域包括分布式计算、调度与存储系统等。

议题介绍

地点:203
所属专题:大数据平台架构
所属领域:
Apache Kafka

演讲:快手万亿级别 Kafka 集群应用实践与技术演进之路

Kafka 系统在快手有着很广泛的应用,除作为消息队列服务于快手三大 Tab 页、上传、支付等在线核心服务之外,还作为数据交换中心支撑数据分析,模型训练等离线业务场景。随着快手业务的高速发展, Kafka 集群的规模也成指数增长,目前 Kafka 集群日消息处理总量达数万亿级别,峰值超过 1 亿/s。与此同时我们也面临了很多新问题与技术挑战。本次分享将会介绍 Kafka 系统在快手的应用实践、我们遇到的问题以及相应的技术的演进过程。例如,我们如何解决 Kafka 扩展性、性能,如何做数据 Mirror 集群管理等等。具体提纲如下:

  1. Kafka 系统在快手的应用场景以及业务规模;
  2. Kafka 系统在快手的技术演进过程;
  3. Kafka 系统在快手的未来规划。

听众受益

  1. 掌握典型的 Kafka 系统应用场景;
  2. 了解快手在应用 Kafka 系统的实践过程中,面临的问题,以及我们的技术解决方案。例如,Kafka 系统如何做平滑扩容,如何进一步改进 Kafka 系统性能等。

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
想要批量报名或更多优惠?
立即联系票务小姐姐 Ring
或致电:+8613269076283