富羽鹏在 Uber 负责实时数据平台的架构与运营,包括 Kafka 及其周边生态系统。在加入 Uber 之前,是大数据存储平台 Alluxio 的创始成员与 PMC,再之前在 Palantir 从事大数据平台的研发与管理。本科与硕士毕业于清华大学,并在 University of California San Diego 进行了数据库方向的博士研究。
富羽鹏在 Uber 负责实时数据平台的架构与运营,包括 Kafka 及其周边生态系统。在加入 Uber 之前,是大数据存储平台 Alluxio 的创始成员与 PMC,再之前在 Palantir 从事大数据平台的研发与管理。本科与硕士毕业于清华大学,并在 University of California San Diego 进行了数据库方向的博士研究。
如何构建稳定、高效可扩展的实时数据存储与传输平台是 Uber 亟待解决的问题。目前, Uber 部署了全球较大的 Kafka 集群,每天处理 PB 级别的数据,并且对不同的使用场景进行了优化与定制化开发,包括跨地域数据中心的拷贝与容灾、数据集成与联邦、消息重发与死信队列(Dead Letter Queue)等。本次演讲会分享 Kafka 及其生态系统在 Uber 的架构演化以及探讨在实践中遇到的经验与教训。
对实时数据平台及 Kafka 感兴趣的技术人员,架构师与产品经理。