Apache Spark在2016年的时候启动了Structured Streaming项目，一个基于Spark SQL的全新流计算引擎Structured Streaming，让用户像编写批处理程序一样简单地编写高性能的流处理程序。经过一年多的改进和完善，目前Structured Streaming已经在Databricks内部和客户广泛使用。

本次演讲主要向大家介绍Structured Streaming项目和高级特性，以及如何使用Structured Streaming来构建高性能的流处理应用。

近些年随着互联网和人工智能产品的不断发展和成熟，无论在传统行业还是互联网公司，批处理计算都无法再满足对数据与日俱增的实时性的要求。流计算已经从Nice to Have变成了Must to Have，流处理的场景越来越多，需求越来越强烈。本次演讲将着重介绍流计算处理的关键核心技术，并给听众分享流计算的发展历史以及展望流计算技术发展的未来趋势。除此之外，还将介绍阿里巴巴是如何基于Apache Flink打造出一款新型计算引擎Blink，从而成功的解决阿里集团内部的各种实时计算的挑战。

本次演讲会以Pinterest设计广告消费系统中遇到的压力和挑战为背景，带领听众理解为什么流处理是广告系统不可或缺的组成部分，如何设计流处理系统，如何高效稳定的运维，怎样优化流处理技术的使用等等，扎根实际，着眼生产第一线的技术除障和度量分析。Pinterest大胆尝试并使用了Kafka Streams这样一个新兴的流处理技术，并且成功的将其推行成为广告系统的实时运算基础，将会作为亮点分享给大家，以期鼓励更多Kafka Streams在中国计算机业界的大数据应用。

听众受益

1. 了解现代广告系统中，实时处理数据的重要性；
2. Kafka Streams在流处理和运维中的优势； 
3. 设计Kafka Streams项目中需要考虑的一些要素；
4. 在工业界运维Kafka Streams常见的一些问题以及解决方案。

以Flink和SnappyData为核心，将原有的非实时、开发周期长、维护成本高的以“预处理”为核心的方案，转化为目前以“后处理”为核心的方案。

1. 开发效率：得到质变，无需预处理，周级别需求小时级完成。
2. 节省存储空间：比如原方案Kylin中150T+预处理结果数据不再需要。
3. 其他一些收益：比如指标一致性显著提升。
4. 历史数据问题：采用类SCD Type 2的方式，处理历史事实数据和数据压缩，有不少对比数据。
5. 建模问题：直接从原始表支持需求，中间缺少传统数仓建模的抽象层次，尝试实现类似Shasta的RVL层。

介绍SnappyData的优势劣势，当前的问题，我们在调优方面的努力，以及我们的定制化修改：

1. 支持注册Spark声明式UDF，相比于命令式UDF，性能提升一个量级，很好的解决了酒店的特殊场景；
2. Boxing/Unboxing优化；
3. QueryPlan Cache相关的优化。