赵健博,大数据领域专家,快手大数据架构团队的负责人,目前负责快手公司 Hadoop 生态中存储、调度、计算、AI 架构等子系统内核与周边子系统的研发,与在公司内的应用。2009 年毕业于中国科学院计算所,曾就职于百度、奇虎360、58集团。主要研究领域包括分布式计算、调度与存储系统等。
赵健博,大数据领域专家,快手大数据架构团队的负责人,目前负责快手公司 Hadoop 生态中存储、调度、计算、AI 架构等子系统内核与周边子系统的研发,与在公司内的应用。2009 年毕业于中国科学院计算所,曾就职于百度、奇虎360、58集团。主要研究领域包括分布式计算、调度与存储系统等。
Kafka 系统在快手有着很广泛的应用,除作为消息队列服务于快手三大 Tab 页、上传、支付等在线核心服务之外,还作为数据交换中心支撑数据分析,模型训练等离线业务场景。随着快手业务的高速发展, Kafka 集群的规模也成指数增长,目前 Kafka 集群日消息处理总量达数万亿级别,峰值超过 1 亿/s。与此同时我们也面临了很多新问题与技术挑战。本次分享将会介绍 Kafka 系统在快手的应用实践、我们遇到的问题以及相应的技术的演进过程。例如,我们如何解决 Kafka 扩展性、性能,如何做数据 Mirror 集群管理等等。具体提纲如下: