深入Apache Spark流计算引擎:Structured Streaming

所属专题:新兴大数据处理技术

所属领域: 大数据

嘉宾 : 朱诗雄 | Databricks软件开发工程师,Apache Spark PMC Member和Committer

会议室 : 203CD

讲师介绍

专题演讲嘉宾:朱诗雄

Databricks软件开发工程师,Apache Spark PMC Member和Committer

朱诗雄,Apache Spark PMC Member和Committer,目前在Databricks任职,曾任职于小米、微策略。作为Structured Streaming的核心开发人员,贡献了大量的特性和改进,打造了基于Spark SQL的全新流计算引擎Structured Streaming。同时也是Databricks Delta的核心开发人员,致力于构建一个基于Cloud的统一批处理和流处理的数据平台。他也为Spark Core和Spark Streaming贡献了大量代码,是目前Spark RPC框架的主要作者。此外,他还是著名的响应式编程库RxJava的Committer。

议题介绍

地点:203CD
所属专题:新兴大数据处理技术
所属领域:
大数据

演讲:深入Apache Spark流计算引擎:Structured Streaming

Apache Spark在2016年的时候启动了Structured Streaming项目,一个基于Spark SQL的全新流计算引擎Structured Streaming,让用户像编写批处理程序一样简单地编写高性能的流处理程序。经过一年多的改进和完善,目前Structured Streaming已经在Databricks内部和客户广泛使用。

本次演讲主要向大家介绍Structured Streaming项目和高级特性,以及如何使用Structured Streaming来构建高性能的流处理应用。

  • 电话咨询

    联系电话:010-84782011

领取往期热门演讲视频

领取往期热门演讲视频二维码