专题演讲嘉宾：杨克特

在云原生技术日趋成熟的背景下，数据平台正从“烟囱式”架构向融合化演进，TP/AP一体化与实时离线一体化成为核心突破方向。传统架构因计算存储强耦合、资源争用等问题，难以支撑TP和AP并存、流批数据统一处理等高阶需求。

本次演讲深度解析两大场景的技术攻坚：针对TP/AP一体化，通过分布式事务保障强一致性、行列混合存储优化资源隔离，实现TP和AP负载的高效共存；针对实时离线一体化，为了解决当前主流流批引擎的痛点，提出实时处理和增量计算技术融合的方案，突破传统Lambda架构冗余开发与时效性瓶颈。同时，分享Data Warebase如何以云原生存算分离为基础，集成统一元数据、智能资源调度等能力，简化多场景架构复杂度，为未来数据与AI深度协同提供坚实底座。

演讲提纲

1.数据平台的云原生进程

- 典型数据架构的演进过程
- 数据本身对上云带来的挑战

2.当前数据平台的痛点和新场景需求

- 常见痛点介绍
- TP / AP 一体化需求
- 离线实时融合需求
- AI 数据协同

3.云原生数据平台的基础架构设计
- 如何保证数据系统扩展性
- 数据分片策略的取舍
- 解决分布式数据不一致的问题
- 如何保证数据系统的弹性
- 实时读写给弹性带来的挑战
- 选择合适的存算分离架构

4.TP / AP 一体化需求
- 常见场景介绍
- 介绍核心技术挑战和实践
- 如何保证 TP 和 AP 的数据一致性
- 如何保证 TP 和 AP 的资源隔离和公平性
- 介绍多种性能优化手段

5.离线实时一体化
- 介绍 lambda，kappa 等架构的演进
- 介绍现有方案在时效性、性能、资源开销三方面的取舍
- 介绍现有方案的核心痛点
- 提出新的实时处理和增量技术给这个场景带来的全新选择

6.AI 和数据的协同
- 介绍 RAG 的基本原理
- 传统搜索技术和向量检索的混合

7.Data Warebase 的实践和展望
- Data Warebase 如何有效的融合这些核心技术
- 通过 Data Warebase 简化数据架构的实践

您认为，这样的技术在实践过程中有哪些痛点？

一体化的方案，往往需要在用户开箱体验和单一场景极致优化中做出选择。为了系统尽可能的简单易用，我们选择了尽量减少配置，保障开箱体验的路线，但这样会牺牲一些极端单一场景的支持。

演讲亮点

- 在TP/AP一体化的场景下，大部分系统的方案还是通过数据同步（比如一份行存，一份列存）来实现。我们选择了在一份混合存储上来支持这个负载。
- 在离线实时一体化场景下，当下主流的选择是一个流计算系统加一个批处理系统的lambda架构，或者以流计算系统为基础的kappa架构。我们提出了实时加增量计算融合的全新思路。

听众收益

- 了解当下数据平台的核心痛点和全新需求
- 了解TP/AP一体化的挑战和实践方案
- 了解离线实时体化的场景，挑战和实践方案