大模型技术引领的人工智能快速发展,在这个时代背景下,分布式存储的架构也迎来了快速... 展开 >






齐泽斌,美团研究员,分布式文件、块等方向负责人,十余年分布式存储研发、运营经验。毕业于天津大学,先后于百度和美团从事存储研发工作,负责过 KV、存储底座等多种存储产品研发。在存储多个领域都有涉猎,目前专注于基于存储底座的存算分离系统架构研究。多次参加 QCon 演讲、QCon 明星讲师,在 InfoQ 、美团技术团队等多个平台发表过多篇技术文章。
大模型技术引领的人工智能快速发展,在这个时代背景下,分布式存储的架构也迎来了快速发展。一方面,大模型训练场景,对分布式存储提出了更高的性能要求,以满足越来越大规模训练集群的存储需求。另一方面,大模型的推理能力也为数据索引、分层等存储经典问题提供了新的解决思路。
本专题将深入探讨大模型引领的智能时代下,分布式存储如何与其互相促进,并更好的做出架构迭代、创新。
涵盖方向:
软硬件加速:通过智能网卡、ZNS SSD等新硬件,SPDK、io_uring等新软件技术的应用来提升性能
缓存加速:通过存储加速层、各层级缓存的应用来提升存储性能
成本优化:通过数据智能分层、高密机型等技术降低大规模存储集群的成本
智能技术的应用:数据索引、分层等问题上的智能技术应用
专题受众:分布式存储研发、基础架构研发、大模型训练框架研发、对存储服务强依赖的后端系统研发等。
在大数据和人工智能技术迅速发展的背景下,对象存储在处理海量非结构化数据方面扮演着关键角色。为应对日益增长的业务需求,美团的对象存储系统经历了从开源 OpenStack Swift 到全自研系统的演变,经过多次架构优化和关键问题的实践探索,以满足美团内部复杂的海量存储需求。
本次演讲将分享美团对象存储系统过往运营中面临的技术挑战和实践经验,特别是在访问控制、数据持久性和元数据存储等关键领域的挑战、实践和探索;介绍通过架构演变提升系统稳定性和性能的方法,以及在应对海量数据存储和访问时的相关解决思路。
演讲提纲
1. 美团对象存储系统的架构演进
2. 流量访问控制实践
3. 数据持久性保障实践
4. 元数据探索
5. 未来展望
听众收益
1. 了解美团对象存储系统架构演进变化
2. 了解美团对象存储系统的相关高可用保障实践经验
3. 了解美团对象存储系统的元数据存储痛点以及探索
AI 时代,云存储系统面临海量数据的挑战,其中元数据管理成为扩展性和性能瓶颈的关键所在。在本次演讲中将分享沧海·存储新一代元数据架构体系的设计与实践。首先会分享沧海.存储上一代元数据架构的痛点以及构建新一代元数据架构面临的挑战;随后分享如何基于元数据语义层与存储层 Co-design 的设计理念打造出新一代元数据架构体系,这一架构体系包含三个核心组件,分别是统一的元数据底座、基于元数据底座构建的统一的层级 Namespace 和平坦 Namespace,最后将分享新架构的后续规划,并总结工程实践中积累的宝贵经验与教训,为分布式存储系统的元数据管理提供可借鉴的思路。
演讲提纲
1. 上一代元数据架构的痛点
2. 新一代元数据架构的挑战
3. 新一代元数据架构关键设计
4. 后续规划
5. 经验总结
演讲亮点
听众收益
在云和 AI 时代,存储面临着全新的挑战:如何在满足数据飞速增长、对功能、性能的要求不断增加的情况下,依然持续降低成本、提升服务质量? 如何充分享受硬件发展的红利,并分享给客户? 本次演讲将讲述腾讯超大规模云原生对象存储引擎的关键架构,以及相关的业务实践。
演讲提纲
1. 腾讯云对象存储 COS
2. 云与 AI 时代存储遇到的挑战
3. 云原生数据存储引擎 YottaStore
4. 冷数据存储引擎 Berg
5. 趋势以及未来展望
您认为,这样的技术在实践过程中有哪些痛点?
演讲亮点 & 听众收益
在深度学习领域中,数据是基⽯,算⼒是引擎。训练⼀个模型,需要⼤量的数据和算⼒ ,并且需要反复迭代和验证才能得到想要的模型。 为了提升训练效率,缩短训练时间,所有组件之间都需要快速响应,这其中就包括了计算和存储之间的交互。对于⼀个 AI 系统⽽⾔,模型的能⼒随着模型尺⼨和训练数据的增加⽽显著提升,但随着数据集和模型规模不断增加,训练任务载⼊训练数据所消耗的时间越来越⻓,进⽽影响了训练效率,缓慢的 IO 严重拖累 GPU 的强⼤算⼒。
本次演讲,我将介绍焱融的全闪⽂件存储的整体架构和技术细节,并逐⼀介绍 YRCloudFile 是如何解决 AI 训练过程中遇到的海量⼩⽂件访问慢、 带宽峰值、 内存访问瓶颈和多任务并发访问性能⼲扰等问题。
演讲提纲
1. AI 训练的 IO 特点和存储难点
2. YRCloudFile 的整体解析
3. 典型案例
4. 总结和未来展望
您认为,这样的技术在实践过程中有哪些痛点?
演讲亮点
听众受益
本次演讲主要分享蚂蚁集团在向量检索上的实践,主要涵盖向量检索成本优化、极致性能优化等方面所做的一系列工作。同时,我会分享最新的学术研究成果和工业界技术进展,以及这些成果如何在实际业务中得到应用和落地。最后介绍蚂蚁开源向量索引库 VSAG 的最新进展。
演讲提纲
1. 蚂蚁在向量检索上的挑战
2. 业务应用案例
3. 最新学术研究与技术应用
4. VSAG 开源进展(PyVSAG、SQLite集成、GrepTime集成、Redis集成)
您认为,这样的技术在实践过程中有哪些痛点?
演讲亮点
听众收益



微信咨询

电话咨询
领取往期热门演讲视频

