专题演讲嘉宾：丁远普

随着 LLM 和多模态 AI 技术的飞速发展，非结构化数据量呈指数级增长，这极大地增加了数据管理、检索、计算和存储的复杂性。传统的数据湖解决方案已难以适应 AI 场景下对数据的新需求。

为了应对这一挑战，新一代数据湖必须解决以下多模态数据带来的关键问题：

• 数据管理：传统数据管理侧重于库表结构，而面对多模态非结构化数据，如何实现高效管理 ？
• 数据处理：如何从非结构化数据中挖掘潜在价值，如何提高 CPU 和 GPU 利用率，如何使用模型来处理数据 ？
• 数据存储：传统数据湖格式在非结构化数据存储方面存在局限，是否可实现全模态数据的统一湖格式存储 ？
• AI 场景支撑：多模态数据湖如何支撑 预训练、后训练、知识库、AI 搜索、智能体等场景的数据诉求？

本次演讲我将分享下一代多模态数据湖探索与实践，包含新一代的技术架构，关键开源技术的更迭等。

演讲提纲

1. 传统数据湖架构面临的挑战

• 传统数据湖架构与特点
• 无法高效管理多模态数据
• 数据处理技术栈的限制
• 传统湖格式存储多模态数据的问题
• 数据处理人员角色、经验、数据规模的变化
• 企业创新阵地的变更

2. 下一代面向 AI 的多模态数据湖

• AI 数据湖参考架构
• 元数据 vs 数据集
• 数据处理引擎 or 模型
  • 数据处理引擎 Ray 的优化与实践
  • 面向AI设计的多模态数据处理新引擎介绍
  • 引擎 & 模型统一数据处理
  • DataFrame and SQL AIQuery
  • 如何优化模型调用
• 多模态数据湖格式 Lance
  • 多模态数据存储的痛点
  • Lance 湖格式的优化和实践
  • 异构存储的数据流动、分层、汰换

3. AI 数据湖的实践案例

• 模型训练场景实践
• 智驾行业实践案例
• AI 应用场景实践案例
• ……

4. 未来规划与展望

• 当前未解的问题
• 看到的趋势
• 下一阶段的规划

您认为，这样的技术在实践过程中有哪些痛点？

• AI 时代的数据湖架构是否会逐步形成一套标准，需要时间校验
• 新技术栈的成熟需要不断的迭代与演进，是挑战也是机遇
• AI 时代的变化日新月异，对 Data Infra 的诉求也在快速变化中

演讲亮点

• AI 时代对数据的诉求变更
• 新一代的技术架构，关键开源技术的更迭
• 遇到的问题与解法

听众收益

• 大数据时代的数据湖与 AI 时代的数据湖有巨大变化，全新的需求驱动下一代技术变革
• 了解服务于 AI 创新的多模态数据湖新架构、新技术介绍，我们的技术优化、实践、思考和总结
• 一起探讨下一阶段的创新