元数据驱动:构建下一代智能数据架构的探索与实践

所属专题:基础设施开源技术架构的挑战与未来

嘉宾 : 邵赛赛 | DatastratoCTO

会议室 : 台州宴会厅 2

讲师介绍

专题演讲嘉宾:邵赛赛

DatastratoCTO

Datastrato 联合创始人及 CTO,Apache Gravitino 创始人,Apache Spark PMC member,Apache member。

议题介绍

演讲:元数据驱动:构建下一代智能数据架构的探索与实践

在过去的二十年间,我们的数据栈围绕着 3V ( Volume、 Velocity 和 Variety ) 的目标一直在进化,但是我们的数据栈构建仍然是围绕着引擎,而这没法使我们的数据栈智能化以顺应生成式 AI 时代的潮流。相反的,如果我们的数据栈围绕元数据进行重构,那么我们会从元数据中获得更多的可解释性信息,从而使我们的数据栈变得更智能化。

在本次演讲中,我将为大家介绍元数据驱动的数据架构,以 Apache Gravitino 为例,分享如何构建以元数据驱动的数据架构,并且使整个数据栈智能化,Agent 化。同时也会为大家演示如何以元数据为中心构建各种不同的数据 Agent,并通过 Agent 之间的协同解决数据领域中常见的问题。最后,在未来展望部分,探讨如何将元数据驱动的数据栈和大语言模型结合,让数据栈真正实现自动化和智能化。

演讲提纲

1. 背景

  • Data Stack 的发展历程:Data Warehouse → Hadoop Data Stack → Data Lakehouse
  • 现有 Data Stack 架构的演进

2. 现有架构的挑战和问题,尤其是面对 AGI 时代存在的问题

  • 追求性能的速度越来越慢,收益越来越小
  • 从性能向智能演进符合客观规律
  • 能够更好的与 LLM 集成

3. 如何才能解决这样的问题

  • 元数据 - 数据平台的大脑

4. 如何构建元数据驱动的数据架构

  • 统一元数据架构介绍
  • 如何重构现有的数据架构,迈向元数据驱动的数据架构

5. 使用元数据中心的数据架构搭建数据 Agent(demo)  

6. 总结展望

您认为,这样的技术在实践过程中有哪些痛点?

  • 现有系统的元数据质量普遍较低,需要大量人力进行清洗和治理
  • 跨组织的元数据标准不统一,导致集成困难
  • 团队对元数据价值认识不足,缺乏持续投入的动力

这些挑战直接影响了智能化转型的速度和效果。

演讲亮点

  • 以元数据为中心的架构重构:展示如何通过 Apache Gravitino 实现数据栈的智能化,是国内首次深入探讨此主题的技术分享
  • 数据 Agent 实战:通过实际案例展示元数据驱动的数据 Agent 如何协同工作,解决传统数据架构难以应对的复杂场景
  • 面向未来的数据架构:揭示元数据与大语言模型结合的创新路径,帮助听众把握数据领域的下一代技术趋势

听众收益

  • 了解统一元数据,以及围绕统一元数据如何构建新型的数据架构,并依托此架构结合大模型快速搭建不同业务形态的数据 Agent

交通指南

上海浦东滨江喜来登酒店

SHERATON SHANGHAI PUDONG RIVERSIDE
地址:上海浦东大道2288号
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

微信联系我们

如您在购票过程中遇到问题,请扫码咨询票务小助手