深入Apache Spark流计算引擎:Structured Streaming

所属专题:新兴大数据处理技术

所属领域: 大数据

嘉宾 : 朱诗雄 | Databricks软件开发工程师,Apache Spark PMC Member和Committer

会议室 : 203CD

讲师介绍

专题演讲嘉宾:朱诗雄

Databricks 软件开发工程师,Apache Spark PMC Member和Committer

朱诗雄,Apache Spark PMC Member和Committer,目前在Databricks任职,曾任职于小米、微策略。作为Structured Streaming的核心开发人员,贡献了大量的特性和改进,打造了基于Spark SQL的全新流计算引擎Structured Streaming。同时也是Databricks Delta的核心开发人员,致力于构建一个基于Cloud的统一批处理和流处理的数据平台。他也为Spark Core和Spark Streaming贡献了大量代码,是目前Spark RPC框架的主要作者。此外,他还是著名的响应式编程库RxJava的Committer。

议题介绍

地点:203CD
所属专题:新兴大数据处理技术
所属领域:
大数据

演讲:深入Apache Spark流计算引擎:Structured Streaming

Apache Spark在2016年的时候启动了Structured Streaming项目,一个基于Spark SQL的全新流计算引擎Structured Streaming,让用户像编写批处理程序一样简单地编写高性能的流处理程序。经过一年多的改进和完善,目前Structured Streaming已经在Databricks内部和客户广泛使用。

本次演讲主要向大家介绍Structured Streaming项目和高级特性,以及如何使用Structured Streaming来构建高性能的流处理应用。

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方