Apache Kafka PMC,Kafka Streams 作者。分别于复旦大学计算机系和美国康奈尔大学计算机系取得学士和博士学位,主要研究方向为数据库管理和分布式数据系统。现就职于 Confluent,任流数据处理系统架构师和技术负责人。此前曾就职于 LinkedIn 数据架构组任高级工程师,主要负责实时数据处理平台,包括 Apache Kafka 和 Apache Samza 系统的开发与维护。
Apache Kafka PMC,Kafka Streams 作者。分别于复旦大学计算机系和美国康奈尔大学计算机系取得学士和博士学位,主要研究方向为数据库管理和分布式数据系统。现就职于 Confluent,任流数据处理系统架构师和技术负责人。此前曾就职于 LinkedIn 数据架构组任高级工程师,主要负责实时数据处理平台,包括 Apache Kafka 和 Apache Samza 系统的开发与维护。
自从 2011年被捐献给Apache基金会到现在,Kafka项目已经走过了七个年头。从最早的“分布式消息系统”,到现在集成了分发、存储和计算的“流式数据平台”,Kafka经历了哪些挑战?又经过了什么样的演进变化?Kafka 社区踩过哪些“坑”?本次演讲将为你一一道来。
a. 从硬件的发展趋势,展现 Kafka 架构的演进过程。
b. 从Kafka开发和维护经验,分享分布式系统工程实践的通理。
c. 开源数据系统的开发经验,如何维护和发展一个开源社区。