Delta Lake 是 Databricks 公司开源的数据湖技术，它在 Parquet 文件格式基础上增加了丰富的数据管理功能，如元数据管理、ACID 事务、数据更新和数据版本回溯等。使用 Delta Lake 可以很方便的将流处理和批处理串联起来，快速构建 Near-RealTime 的 Data Pipeline。

阿里巴巴在开源 Delta Lake 的基础上做了一些工作，包括功能上的增强和性能上的优化，比如写入时事务冲突优化，数据读取时使用 Data Skipping 和 Z-order 等优化特性，以及让 Hive、Presto 等查询引擎读取到 Delta Lake 数据。工作还包括 Delta Lake 和 Spark 深度集成，用户可以很方便的使用开源的 SparkSQL 以及阿里巴巴扩展的 Spark Streaming SQL 来操作 Delta Lake，并借助 Delta Lake 的流式数据存储和处理能力提升传统 Hive 数仓系统的实时性。

内容大纲

1. Delta Lake 介绍

• Delta Lake、Iceberge、Hudi 的对比介绍；
• 核心功能以及适用场景介绍，包括元数据管理、事务 & 冲突机制、版本回朔等；

2. Delta Lake 集成与优化

• Delta Lake 与 Spark SQL 的深度集成；
• Delta Lake 的功能拓展与性能优化，包括 Hive/Presto on Delta、Delta on OSS、Compaction、Data  Skipping & Zorder 等；

3. Spark Streaming SQL 与 Delta Lake 构建实时数仓应用实践

• 实时数仓及典型场景的介绍；
• Spark Streaming SQL 的介绍；
• 基于 Spark Streaming SQL 和 Delta Lake 的实时数仓实践案例（如 CDC 场景等）。

听众收益

• Delta Lake 和 Spark Streaming SQL 介绍；
• 阿里巴巴团队对 Delta Lake 的优化以及集成；
• Delta Lake 在实时数仓中的场景应用以及相关案例。

适合人群

对实时数仓和数据湖感兴趣的开发者。