智能时代的存储架构

会议室:中华厅3
出品人:齐泽斌

大模型技术引领的人工智能快速发展,在这个时代背景下,分布式存储的架构也迎来了快速... 展开 >

专题出品人:齐泽斌

美团研究员

齐泽斌,美团研究员,分布式文件、块等方向负责人,十余年分布式存储研发、运营经验。毕业于天津大学,先后于百度和美团从事存储研发工作,负责过 KV、存储底座等多种存储产品研发。在存储多个领域都有涉猎,目前专注于基于存储底座的存算分离系统架构研究。多次参加 QCon 演讲、QCon 明星讲师,在 InfoQ 、美团技术团队等多个平台发表过多篇技术文章。

地点:中华厅3

专题:智能时代的存储架构

大模型技术引领的人工智能快速发展,在这个时代背景下,分布式存储的架构也迎来了快速发展。一方面,大模型训练场景,对分布式存储提出了更高的性能要求,以满足越来越大规模训练集群的存储需求。另一方面,大模型的推理能力也为数据索引、分层等存储经典问题提供了新的解决思路。

本专题将深入探讨大模型引领的智能时代下,分布式存储如何与其互相促进,并更好的做出架构迭代、创新。

涵盖方向:

  • 软硬件加速:通过智能网卡、ZNS SSD等新硬件,SPDK、io_uring等新软件技术的应用来提升性能

  • 缓存加速:通过存储加速层、各层级缓存的应用来提升存储性能

  • 成本优化:通过数据智能分层、高密机型等技术降低大规模存储集群的成本

  • 智能技术的应用:数据索引、分层等问题上的智能技术应用

专题受众:分布式存储研发、基础架构研发、大模型训练框架研发、对存储服务强依赖的后端系统研发等。

by 宣宇

美团
高级技术专家

在大数据和人工智能技术迅速发展的背景下,对象存储在处理海量非结构化数据方面扮演着关键角色。为应对日益增长的业务需求,美团的对象存储系统经历了从开源 OpenStack Swift 到全自研系统的演变,经过多次架构优化和关键问题的实践探索,以满足美团内部复杂的海量存储需求。

本次演讲将分享美团对象存储系统过往运营中面临的技术挑战和实践经验,特别是在访问控制、数据持久性和元数据存储等关键领域的挑战、实践和探索;介绍通过架构演变提升系统稳定性和性能的方法,以及在应对海量数据存储和访问时的相关解决思路。

演讲提纲

1. 美团对象存储系统的架构演进

2. 流量访问控制实践

3. 数据持久性保障实践

4. 元数据探索

5. 未来展望

听众收益

1. 了解美团对象存储系统架构演进变化

2. 了解美团对象存储系统的相关高可用保障实践经验

3. 了解美团对象存储系统的元数据存储痛点以及探索

by 曹彪

百度
智能云高级架构师

AI 时代,云存储系统面临海量数据的挑战,其中元数据管理成为扩展性和性能瓶颈的关键所在。在本次演讲中将分享沧海·存储新一代元数据架构体系的设计与实践。首先会分享沧海.存储上一代元数据架构的痛点以及构建新一代元数据架构面临的挑战;随后分享如何基于元数据语义层与存储层 Co-design 的设计理念打造出新一代元数据架构体系,这一架构体系包含三个核心组件,分别是统一的元数据底座、基于元数据底座构建的统一的层级 Namespace 和平坦 Namespace,最后将分享新架构的后续规划,并总结工程实践中积累的宝贵经验与教训,为分布式存储系统的元数据管理提供可借鉴的思路。

演讲提纲

1. 上一代元数据架构的痛点

  • 平坦 Namespace 架构痛点
  • 层级 Namespace 架构痛点


2. 新一代元数据架构的挑战

  • 新一代元数据架构体系介绍
  • 构建统一元数据底座面临的挑战
  • 构建统一层级 Namespace 面临的挑战


3. 新一代元数据架构关键设计

  • 元数据新架构体系总体设计思想
  • 统一元数据底座关键设计
  • 统一层级 Namespace 关键设计

4. 后续规划
5. 经验总结

演讲亮点

  • 架构创新:介绍基于元数据语义层与存储层 Co-design 设计理念下的架构创新
  • 工程实践:分享超大规模系统研发和落地过程中积累的经验与教训

听众收益

  • 了解分布式存储系统中元数据管理的核心挑战与解决方案
  • 获得可借鉴的工程实践经验

by 杨骥

腾讯
存储技术专家 & 存储基础组件Leader

在云和 AI 时代,存储面临着全新的挑战:如何在满足数据飞速增长、对功能、性能的要求不断增加的情况下,依然持续降低成本、提升服务质量? 如何充分享受硬件发展的红利,并分享给客户? 本次演讲将讲述腾讯超大规模云原生对象存储引擎的关键架构,以及相关的业务实践。

演讲提纲

1. 腾讯云对象存储 COS

2. 云与 AI 时代存储遇到的挑战

3. 云原生数据存储引擎 YottaStore

  • 从大集群说起
  • 高可用与高可靠
  • 浅谈存储高性能
  • 灵活架构与轻运维

4. 冷数据存储引擎 Berg

  • 为什么要关注冷数据
  • 硬件如何选择
  • 企业级磁带硬件介绍
  • 存储引擎低成本/高性能/高可靠/高可用

5. 趋势以及未来展望

您认为,这样的技术在实践过程中有哪些痛点?

  • 存储系统最大的考验就是存储规模,做一个单集群PB级别的存储和单集群EB级别的存储,遇到的问题天差地别。我们在持续铺量的过程中,遇到的各种预期内以及预期外的问题,这些都是必经之路。

演讲亮点 & 听众收益

  • 上边提到,集群规模做大遇到的种种问题是技术实践中的痛点。但换个角度看,我们解决这些问题的思路,兴许可以给大家提供一些帮助。​

by 张文涛

焱融科技
CTO

在深度学习领域中,数据是基⽯,算⼒是引擎。训练⼀个模型,需要⼤量的数据和算⼒ ,并且需要反复迭代和验证才能得到想要的模型。 为了提升训练效率,缩短训练时间,所有组件之间都需要快速响应,这其中就包括了计算和存储之间的交互。对于⼀个 AI 系统⽽⾔,模型的能⼒随着模型尺⼨和训练数据的增加⽽显著提升,但随着数据集和模型规模不断增加,训练任务载⼊训练数据所消耗的时间越来越⻓,进⽽影响了训练效率,缓慢的 IO 严重拖累 GPU 的强⼤算⼒。

本次演讲,我将介绍焱融的全闪⽂件存储的整体架构和技术细节,并逐⼀介绍 YRCloudFile 是如何解决 AI 训练过程中遇到的海量⼩⽂件访问慢、 带宽峰值、 内存访问瓶颈和多任务并发访问性能⼲扰等问题。

演讲提纲

1. AI 训练的 IO 特点和存储难点

  • 海量数据的存储、查询和访问
  • 训练的 IO 读取和 Checkpoint 的保存性能
  • 多打⼀的⽹络拥塞问题 

2. YRCloudFile 的整体解析

  • YRCloudFile 整体架构
  • 数据并⾏访问,⾼性能存储的核⼼
  • 分布式元数据集群 ,⽀撑千亿级⽂件系统的关键
  • 缓存和数据⼀致性策略
  • 多租⼾隔离和访问流控
  • ⾼级运维特性

3.  典型案例

4.  总结和未来展望

您认为,这样的技术在实践过程中有哪些痛点?

  • 为了提高缓存的性能,弱化了数据的一致性语义,从强一致性弱化到 open-to-close 的一致性语义
  • 性能、可靠性和成本是一个不可能三角,为了尽可能提升性能和降低成本,我们选择采用 2 副本的方式,提升写性能的同时也极大地降低了成本,在 AI 存储以读为主的场景中,这个选择是非常合适的,但是在传统存储场景中就会面临可靠性不足的问题

演讲亮点

  • 分享 YRCloudFile ⾼性能⽂件系统的核⼼技术
  • 分享在 AI 训练场景中遇到的疑难问题和解决⽅案
  • 分享焱融对未来存储发展的思考

听众受益

  • 了解 AI 训练对存储的需求
  • 对 AI 存储有更深⼊的了解
  • 了解性能优化的常见⼿段

by 贾玮

蚂蚁集团
资深技术专家

本次演讲主要分享蚂蚁集团在向量检索上的实践,主要涵盖向量检索成本优化、极致性能优化等方面所做的一系列工作。同时,我会分享最新的学术研究成果和工业界技术进展,以及这些成果如何在实际业务中得到应用和落地。最后介绍蚂蚁开源向量索引库 VSAG 的最新进展。

演讲提纲

1. 蚂蚁在向量检索上的挑战

  • 成本挑战
  • 针对不同冷热数据的优化

2. 业务应用案例

  • 稀疏向量在 RAG 的应用
  • 向量索引分区优化
  • 超高 QPS 场景性能优化

3. 最新学术研究与技术应用

  • Binary 量化优化
  • LSM-Tree Merge 索引优化
  • HGraph 层次化图索引
  • HNSW + DiskANN 混合索引上的改进
  • VSAG 在 ANN Benchmark 打榜优化

4. VSAG 开源进展(PyVSAG、SQLite集成、GrepTime集成、Redis集成)

您认为,这样的技术在实践过程中有哪些痛点?

  • 向量检索面临 在成本、性能和精度 三个方向的新 CAP 挑战

演讲亮点

  • 介绍蚂蚁集团在向量数据库领域的最新探索和实践(学术研究+工程实践)

听众收益

  • 向量数据库领域的最新发展
  • 最新的学术前沿方向以及工程应用经验

交通指南

北京石景山万达嘉华酒店

Wanda Jin
地址:北京市石景山区石景山路甲18号院
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

领取往期热门演讲视频

领取往期热门演讲视频二维码
如您在购票过程中遇到问题,请扫码咨询票务小助手