翟佳毕业于中科院计算所,目前就职于一家下一代实时处理初创公司Streamlio,是Streamlio的核心创始成员之一。在此之前任职于EMC,是北京EMC实时处理平台的技术负责人。
主要从事实时计算和分布式存储系统的相关开发,是开源项目Apache BookKeeper PMC Member和Committer,也在Apache Pulsar, Distributedlog等项目中持续贡献代码。
翟佳毕业于中科院计算所,目前就职于一家下一代实时处理初创公司Streamlio,是Streamlio的核心创始成员之一。在此之前任职于EMC,是北京EMC实时处理平台的技术负责人。
主要从事实时计算和分布式存储系统的相关开发,是开源项目Apache BookKeeper PMC Member和Committer,也在Apache Pulsar, Distributedlog等项目中持续贡献代码。
实时数据处理在各个行业和领域中已经变得越来越关键。但是在实时数据栈中,Messaging,Computing和Storage三个部分的分离,给方案的实现带来了高复杂性,低可维护性,低效率等问题。
本次演讲将介绍Apache Pulsar,并展示Apache Pulsar怎样从这三个方面,提供一个端到端的实时数据解决方案。
Messaging:Pulsar对pub/sub和queue两种模式提供统一的支持,同时保证了一致性,高性能和易扩展性。
Computing:Pulsar内部的Pulsar-Functions提供了Stream-native的轻量级计算框架,保证了数据的即时流式处理。
Storage:Pulsar借助Apache BookKeeper提供了以segment为中心的存储架构,保证了存储的性能,持久性和弹性。
Apache Pulsar在2016年开源,是Streamlio,阿里巴巴,和滴滴出行等公司一同起草的全球消息领域标准OpenMessaging的重要成员。希望通过这次分享,能够为大家带来对Apache Pulsar及其生态系统有更好的理解,和对pub/sub消息系统,实时处理系统的更多的认识。