收获极致查询体验——字节跳动联邦 OLAP 平台 ByteQuery 架构设计

所属专题：大数据与实时计算

嘉宾 : 郭俊 | 字节跳动数据引擎部门负责人

会议室 : 百宴厅4

讲师介绍

专题演讲嘉宾：郭俊

字节跳动数据引擎部门负责人

就职于字节跳动（上海），现负责数据引擎团队。团队负责以 Spark SQL、Presto 为代表的 OLAP 引擎优化。曾就职于 Cisco 及 eBay，负责 Streaming MPP 系统研发，大数据基础架构的研发及优化工作。

议题介绍

地点：百宴厅4

所属专题：大数据与实时计算

演讲：收获极致查询体验——字节跳动联邦 OLAP 平台 ByteQuery 架构设计

过去几年，字节跳动的 OLAP 引擎经历了百花齐放到逐渐收敛，再到领域细分精细化运营优化的过程。目前基本形成了 ClickHouse 承担 BI 报表类查询，Presto 解决 adhoc 分析，SparkSQL 支撑超大体量复杂分析及离线 ETL的格局。不同引擎的用法不尽相同，如何降低用户使用成本，提升用户体验，变得尤为重要。

同时，内部大量自研及开源存储系统，有的不具备 OLAP 能力。如果能低成本赋予它们分析能力，将能让沉睡的数据重新产生价值。

本次分享，我将介绍字节跳动联邦 OLAP 平台 ByteQuery 如何通过统一 SQL 标准，统一 SQL 优化，同时支持一致的 UDF 方案，让用户不用再关心底层的查询引擎，拥有一致的极致查询体验。同时介绍如何支持异构数据源的联合分析。