专题演讲嘉宾：徐榜江

随着 AI 与多模态应用的爆发式增长，现有数据湖架构在处理文本、图像、音频、视频等多模数据时面临数据延迟高、查询效率低等挑战。本次分享我将介绍如何结合 Fluss（实时流存储）与 Lance（多模态湖），高效构建一个支持实时写入、高效检索的多模态数据湖架构。我们将深入分析 Fluss 的湖流一体架构设计，以及在该架构中无缝集成 Lance，并通过一个 Python 开发的 demo展示如何便捷地构建实时多模态数据湖。

演讲提纲

1. 背景与问题

• 多模态应用爆发带来的数据管理挑战
• 现有数据湖在实时性与查询效率上的不足

2. 核心技术介绍

• Fluss：实时流存储架构与典型应用场景
• Lance：面向多模态优化的列式存储与检索能力

3. 湖流一体架构实践

• Fluss 插件化架构解析
• Fluss 与 Lance 的无缝集成方案
• 实时多模态数据入湖机制

4. 实战 Demo

• 使用 Fluss Python SDK 接入与写入 Lance
• 与常见 AI 工具链集成，支持多模态分析

5. 总结与价值

• 架构在实时性、性能、开发效率上的优势
• 可复用的实时多模态数据湖建设方案

您认为，这样的技术在实践过程中有哪些痛点？

• 湖流一体的架构，为了更好的稳定性和性能，将入湖组件外置，带来了一定的复杂度，但通过无状态的组件设计，极大地简化了运维操作
• Fluss 和 Lance 项目都还处于项目孵化早期，对接过程中不完善的地方较多，需要两个社区高效协作
• Python API 支持对于AI用户非常重要，Fluss 在 Python Client 的设计上，在性能和工程复杂度上做了考量，最终选择了性能更优的 Python binding on Rust

演讲亮点

• 率先在在业界探索实时多模态数据湖架构
• 通过湖流一体的设计，提供端到端的低延迟解决方案

听众收益

• 掌握 Fluss 实时流存储的核心能力与最佳实践，理解其在实时分析场景下的优势
• 掌握 Lance 的多模态数据存储，理解 Fluss 的湖流一体高效入湖方案和核心收益
• 理解湖流一体架构的设计和收益，获得一套可落地的实时多模态数据湖架构方案