过去几年，字节跳动的 OLAP 引擎经历了百花齐放到逐渐收敛，再到领域细分精细化运营优化的过程。目前基本形成了 ClickHouse 承担 BI 报表类查询，Presto 解决 adhoc 分析，SparkSQL 支撑超大体量复杂分析及离线 ETL的格局。不同引擎的用法不尽相同，如何降低用户使用成本，提升用户体验，变得尤为重要。

同时，内部大量自研及开源存储系统，有的不具备 OLAP 能力。如果能低成本赋予它们分析能力，将能让沉睡的数据重新产生价值。

本次分享，我将介绍字节跳动联邦 OLAP 平台 ByteQuery 如何通过统一 SQL 标准，统一 SQL 优化，同时支持一致的 UDF 方案，让用户不用再关心底层的查询引擎，拥有一致的极致查询体验。同时介绍如何支持异构数据源的联合分析。

演讲大纲

1. 字节跳动 OLAP 引擎发展历程
2. ByteQuery 设计目标及整体架构
3. 如何屏蔽不同计算引擎的差异
4. 如何实现异构数据源的联合分析
5. 未来规划

在数据湖 1.0 时代，Hadoop 部署时存储与计算固定，不能单独扩展，近年来业务需求多种多样，计算与存储资源一直很难相匹配，造成计算或存储资源大量闲置。随着带宽的提升，云原生技术的发展，数据湖渐渐衍生到 2.0 时代，存储与计算可单独发展，让系统获得更大的灵活性。在阿里云，分别以 DLA、OSS、Lindorm 为代表的云原生数据湖技术，分别从分析、计算、元数据管理、存储数据集管理、存储等方面突破，均取得较多的创新与业务实践。本次将会分享这些技术点与实践点，以供有需求的同学参考。

演讲大纲

1. 背景：数据湖技术发展历史
2. 数据湖技术的进化

• 存储方向的挑战
• 计算方向的挑战

3. 云原生数据湖分析 DLA 的技术亮点和最新进展

• 开放的元数据服务与爬取服务
• 弹性云原生交互式 SQL 的设计与挑战
• 弹性云原生 Spark 的设计与挑战

4. 落地案例解析
5. 总结与展望

听众收益

1. 数据湖的发展
2. 数据湖与数据仓库的融合
3. 云原生数据湖架构优势
4. 云原生存储、计算、分析、湖管理等技术细节
5. 真实生产中如何使用，解决实际的问题

HTAP （Hybrid transaction/analytical processing） 是近年数据库界重点关注的研究方向。这种架构打破了在线交易业务与分析业务之间的壁垒，在全面支持关键在线交易业务的同时，让业务数据得以被实时分析和处理，极大提升业务决策和平台构建效率，形成业务全链路闭环，从而成为未来企业的核心竞争力之一。

作为一个从大数据转行做数据库的人，我自以为能感受到两个世界的异同。随着 TiDB HTAP 在 5.0 的补强，TiDB 用于实时数仓和实时分析场景变得越发成熟，本次分享将介绍 TiDB HTAP 的新进展以及如何利用这些进展构建实时数仓以及实时分析决策平台。

演讲大纲

1. HTAP 的实际意义

• HTAP 需求的兴起
• HTAP 技术层面的意义

2. HTAP 架构设计的挑战

• 存储方向的挑战
• 计算方向的挑战
• 数据复制与隔离

3. TiDB HTAP 的技术亮点和最新进展

• 可更新的列存设计
• 基于 Raft 复制的行列混合设计
• 统一入口
• 新设计：MPP 架构设计
• 新设计：独立写入的列存

4. 落地案例解析
5. 总结与展望

听众收益

• HTAP 的意义
• TiDB HTAP 架构优势
• 真实生产中如何使用 TiDB HTAP 体系