In this talk, we will introduce the English SDK for Apache Spark, a pioneering tool developed to enhance the accessibility and usability of Apache Spark through the innovative use of Generative AI. The goal is to transform the conventional programming paradigm, shifting from AI as a co-pilot to a chauffeur, thereby making Spark more approachable and user-friendly.

Addressing the limitations in AI-assisted code development, like GitHub Copilot's occasional struggle with context especially with Spark tables and DataFrames, the English SDK introduces the concept of English as a programming language. With the aid of Generative AI, English instructions are compiled into PySpark and SQL code, reducing the necessity for users to comprehend complex code structures. An example is its ability to execute DataFrame transformations via a simple English instruction.

This novel approach extends to key features such as data ingestion, DataFrame operations, user-defined functions (UDFs), and caching. Notably, the SDK can search, select, and integrate web data into Spark in a single step; simplify DataFrame operations through intuitive English descriptions; streamline the creation of UDFs with AI-assisted code completion; and incorporate caching to improve execution speed, reproducibility, and cost efficiency.

Overall, the English SDK, built on the community’s extensive contributions to Spark, represents a transformative leap towards making data analytics more accessible, advancing our objective to broaden the reach of Apache Spark.

进入 VUCA 时代，不确定性成为所有企业发展必须要面对的挑战，基于数据而洞察客户需求，应对竞争态势变化，推动业务发展，已经成为广大企业经营管理者的共识。目前，字节跳动业务线多，业务形态复杂，业务分析诉求各不相同，团队业务分析能力参差，数据量巨大，在业务自助分析、基于数据进行业务策略的快速迭代等方面，遇到的挑战是前所未有的，本次演讲将从抖音集团业务分析场景出发，重点分享字节跳动数据团队在 BI 平台建设上如何融合 AI 能力，保障 5 万多业务用户进行自助分析的实践经验总结，希望能够给业界带来新的思路。

演讲提纲：

1. 背景与趋势

• BI 发展史：从报表工具到智能分析决策平台
• 字节企业级数据分析平台发展历程
• 字节 ABI 平台如何 3 年内做到 5 万 DAU
• 从夯实基础到创新突破的蜕变

2. 字节高性能数据分析架构方案

• 字节千亿级数据分析平台整体架构
• 在 ClickHouse 上的深度自研优化
• 多级聚合加速方案
• 精细化性能治理与优化

3. BI+AI 实现智能数据洞察

• AI 数据建模
• 智能指标归因
• 基于大模型的智能数据助手

4. 总结与展望

• 趋势 1：从增强分析到协作与共享发现结果
• 趋势 2：大模型在数据分析领域的探索方向

你将获得：

• 了解字节跳动对于大数据量查询的性能优化经验与成果
• 了解字节跳动的 BI+AI 技术与产品建设经验
• 了解 BI+AI 大数据平台的发展趋势与前景

在大数据的时代背景下，用户导向的实时数据分析成为各行各业必不可或缺的一环。这种分析方式正在推动金融、零售、物流、广告以及互联网等行业做出更准确的决策，并向用户提供更出色的服务。Apache Pinot，作为由 LinkedIn 开发并开源的卓越实时 OLAP 分析平台，以其在低延迟和高并发性能方面的优秀表现，赢得了众多公司的青睐并被广泛应用。在本次演讲中，我们将深入探讨面向用户分析的 OLAP 技术流派，并突出 Apache Pinot 与 Apache Druid，ClickHouse 等项目在定位上的独特差异。随后，我们将讨论 Apache Pinot 在云原生时代的技术架构演进，以及如何在云端构建自己的 SaaS 产品。最后，我们将分享开源项目在商业化道路上的思考，尤其是在全球化市场的大背景下，面临的挑战以及存在的机遇。

演讲提纲：

1. 用户导向数据分析的崛起用户导向分析的使用场景OLAP 技术流派概述Apache Pinot 与 Apache Druid，ClickHouse 等项目的对比和定位差异

2. Apache Pinot 的云原生架构演进从本地部署到公有云：Apache Pinot 的旅程云原生时代下 Apache Pinot 的技术架构演进

3. 基于开源搭建云原生 SaaS 产品如何在云端构建自己的 SaaS 产品面临的挑战和取得的成就

4. 开源项目的商业化思考开源与商业化的关系全球市场特点和影响

你将获得：

• 理解用户导向实时分析的重要性：听众将更深入地了解用户导向的实时分析在各个行业中的应用场景，以及其在做出更准确的决策和提供更优服务方面的价值
• 洞察 OLAP 技术流派与定位：通过对 Apache Pinot 与 Apache Druid，ClickHouse 等其他项目的比较，听众可以理解不同的 OLAP 技术流派，以及 Apache Pinot 的独特定位
• 了解云原生时代的技术架构演进：听众将会了解到 Apache Pinot 在云原生时代的技术架构演进，以及在公有云环境下进行部署的过程和挑战
• 学习开源项目的商业化过程：通过分享 Apache Pinot 的商业化道路，听众可以学习如何将开源项目转化为具有商业价值的产品，特别是在全球化市场环境下的策略和挑战
• 掌握云端 SaaS 产品的构建方法：听众将学习如何基于开源项目在云端构建 SaaS 产品，以及在此过程中面临的挑战和取得的成就

在大数据时代，实时分析和流处理是两个重要而强大的数据分析技术。本次演讲将探讨这两种技术之间的关系，并聚焦于它们的整合以及潜在的协同效应。

实时 OLAP 系统如 Apache Doris、Apache Druid 和 ClickHouse 因其在实时分析中的可扩展性和低查询延迟而备受推崇。这些系统可以快速地对海量数据进行复杂分析，使用户可以实时地探索数据并做出即时决策。而流处理系统如 Apache Flink、RisingWave 和 KsqlDB 则以其处理连续数据流的能力而闻名。流处理允许在数据产生的同时进行实时处理和分析，因此特别适合需要即刻响应数据变化的场景。

在演讲中，我将探讨实时分析和流处理有效整合所需考虑的架构问题。这是一个重要的议题，因为在现实应用中，往往需要将两种技术结合起来以满足业务需求。这可能涉及数据传输、处理和存储的方方面面，以确保系统能够高效地处理实时数据。此外，我还将讨论整合的模式和最佳实践，帮助与会者在数据分析工作流程中充分发挥实时分析和流处理技术的优势。这些最佳实践可以指导使用者在实施整合时避免常见的错误，确保系统的稳定和性能。

演讲提纲：

1. 引言

• 引入实时分析和流处理的重要性和应用领域

2. 实时分析系统的深入研究

• Apache Doris、Apache Druid 和 ClickHouse 的特点和优势
• 实时分析系统的典型应用案例

3. 流处理系统的深入研究

• Apache Flink、RisingWave 和 ksqlDB 的特点和优势
• 流处理系统的典型应用案例

4. 实时分析与流处理的关系和整合

• 实时分析和流处理的共性和差异
• 实时分析与流处理的协同效应
• 架构问题：整合考虑的要点

5. 整合模式和最佳实践

• 实时分析和流处理的数据整合模式
• 最佳实践：成功整合的关键因素
• 提高效率和性能的建议

6. 应对整合带来的挑战

• 资源争用：解决资源冲突的方法
• 数据一致性：确保数据一致的策略
• 整合过程中可能遇到的其他问题及应对

7. 结论

• 实时分析和流处理的综合优势
• 总结整个演讲的重点

你将获得：

• 听众将从本次演讲中了解到：实时分析系统和流处理系统既是合作共赢的伙伴，又是潜在的竞争对手。用户需要根据具体业务需求和数据处理要求做出权衡与选择

随着数字化时代的发展，数据规模呈爆发式增长、数据类型变得更加复杂多样、数据时效的重要性愈加受到重视，这使得实时数仓技术正在发生着变革，而云原生时代的到来也对实时数仓带来了新的挑战。在这样的背景下，作为国内应用最为广泛的开源实时数仓之一，越来越多用户期待 Apache Doris 针对云上基础设施提供更加深度的适配。

在这样的背景，基于 Doris 内核研发的云原生存算分离版本 SelectDB Cloud，在经历数百家企业的打磨后，后续也将开源到 Apache Doris 社区，届时 Apache Doris 将会以存算一体和存算分离两种形态呈现，以满足不同场景用户的需求。

在本次演讲中，将为大家带来 Apache Doris 云原生存算分离架构设计的思考与实践。

演讲提纲：

1. Apache Doris 的基本介绍与技术特性

2. 云原生时代数据分析需求的变化

3. 新一代实时数据仓库 Apache Doris 的全新架构

4. 未来实时数据仓库的发展趋势与展望

你将获得：

• 了解数据分析需求的变化与数据分析架构的演进
• 了解存算一体和存算分离两种架构的设计思考
• 了解未来实时数据仓库发展的趋势和前景

大模型是 AI 发展的一个里程碑，它正在改变社会的方方面面。Byzer 作为 Data+AI 的语言和底座，已经有六年之久，通过 Byzer-LLM 我们完美的将大模型生命周期和使用融入进了 SQL 当中，帮助企业快速的在诸如 ETL, 数据分析，流式计算（风控）以及 API 等各种场景中使用大模型。与此同时，你还可以基于 SQL 快速构建基于大模型的知识库，快速盘活企业的数据资产。

演讲提纲：

1. 背景与趋势

2. Byzer 面向大数据和 AI 的语言

3. Byzer-LLM

4. 基于大模型的问答知识库的快速构建

你将获得：

• 快速使用 SQL 在 Byzer-LLM 中玩转主流开源大模型和 Saas 模型（需要自己申请 Token）
• 使用 SQL 在 Byzer-LLM 帮助企业快速构建问答知识库，赋能业务