在架构领域有很多优秀的开源项目,这些项目在创始团队和开源社区的共同努力下不断发展... 展开 >
臧秀涛,现就职于InfoQ,任QCon大会主编,负责QCon大会的策划和组织。2010年毕业于中国科学院计算技术研究所。曾先后在完美世界等公司从事软件开发工作。2014年加入InfoQ。业余喜爱读书和翻译,曾翻译出版过《C++ API设计》、《Groovy程序设计》和《Java性能权威指南》等技术图书。业余也维护了一个微信公众号“开发资讯(dev-news)”,欢迎关注。
对QCon大会有任何建议或想法,欢迎通过微博 @臧秀涛 与我联系。
在架构领域有很多优秀的开源项目,这些项目在创始团队和开源社区的共同努力下不断发展。本专题将以Dubbo、Apache Pulsar等项目为代表,分享这些项目背后的发展思路和架构要点。
Dubbo是阿里巴巴自研的分布式服务框架,自2012年开源以来,深得开发人员的喜爱,并被广泛的被友商用于服务化解决方案中。自去年阿里巴巴中间件团队宣布重新维护依赖,在社区引起极大的反响,目前在github上的star数增加至15000。本次分享,为大家带来我们近期在Dubbo上所完成的一些工作,对Dubbo 3.0的规划,以及对积极推动开源的一些思考。
实时数据处理在各个行业和领域中已经变得越来越关键。但是在实时数据栈中,Messaging,Computing和Storage三个部分的分离,给方案的实现带来了高复杂性,低可维护性,低效率等问题。
本次演讲将介绍Apache Pulsar,并展示Apache Pulsar怎样从这三个方面,提供一个端到端的实时数据解决方案。
Messaging:Pulsar对pub/sub和queue两种模式提供统一的支持,同时保证了一致性,高性能和易扩展性。
Computing:Pulsar内部的Pulsar-Functions提供了Stream-native的轻量级计算框架,保证了数据的即时流式处理。
Storage:Pulsar借助Apache BookKeeper提供了以segment为中心的存储架构,保证了存储的性能,持久性和弹性。
Apache Pulsar在2016年开源,是Streamlio,阿里巴巴,和滴滴出行等公司一同起草的全球消息领域标准OpenMessaging的重要成员。希望通过这次分享,能够为大家带来对Apache Pulsar及其生态系统有更好的理解,和对pub/sub消息系统,实时处理系统的更多的认识。
2012~2013年期间,阿里巴巴中间件团队自主研发并对外开源了第三代分布式消息引擎RocketMQ,其高性能、低延迟、抗堆积的特性稳定支撑了阿里巴巴双十一万亿级数据洪峰业务,其云产品Aliware MQ在微服务、流计算、IoT、异步解耦、数据同步等无数工况场景大放异彩。2016年,阿里巴巴向Apache软件基金会捐赠了RocketMQ。次年,RocketMQ顺利从基金会毕业,成为Apache顶级开源项目,与Apache Hadoop,Apache Spark一起为全球分布式、大数据领域的开发者带来福音。同年10月份,RocketMQ原创团队牵头,联合Yahoo,Streamlio和滴滴出行等公司起草的全球消息领域标准OpenMessaging正式入驻Linux基金会。
本次分享,也是全球第一次独家揭秘RocketMQ消息引擎背后的设计奥秘,同时为大家带来我们对OpenMessaging消息标准背后的一些思考。