专题演讲嘉宾:苏锐

JuiceFS合伙人

苏锐,JuiceFS 合伙人,2017 年作为 1 号成员参与 JuiceFS 的创立,在过去 7 年里负责 JuiceFS 产品走向市场,业务发展,开源社区建设的工作。在这次创业之前苏锐也作为创始人,产品增长负责人,技术负责人等角色在多家科技公司中任职。

by 苏锐

JuiceFS
合伙人

AI 时代来了,无论你在打造基础模型,领域模型,还是要构建 AI 应用,利用 AI 技术优化现有业务。无一例外的是,越来越多的数据都是我们的核心资产,这是存储系统的挑战,也是用户做技术选型的难题。存储系统的选择不仅是选择容量、性能和成本,通用硬件兼容性、弹性、性能影响因素、性能扩展方式、客户端协议等诸多因素是实际影响业务体验的。

JuiceFS 是一款为大规模数据高性能负载设计的分布式文件系统,从 2019 年开始支持 AI 和机器学习领域,包括自动驾驶、量化金融、还有近两年最热门的生成式 AI 和大语言模型。

在为数十家 AI 企业提供服务后,希望在这次演讲中分享一下我收获的经验和思考。

演讲提纲

1. 用户视角下,存储系统选型和维护的挑战是什么?

  • 困境:难以预测未来的需求,容量、性能甚至功能都缺少抉择的依据,这与买多少张卡一样难。因为 AI 行业的发展太快了
  • 有一些描述需要更精确:大量、海量、小文件、大文件、高性能、大规模、弹性、高可用等等
  • AI 业务对存储系统的要求有哪些
  • 如何测试存储系统?fio, vdbench, 或者什么
  • 结论:计算与存储都在朝大规模分布式系统发展,一切的选择应以此为准

2. 存储系统选型中经常面临的选择

  • 集中式架构与分布式架构的比较,差异分析
  • 关注数据访问 API 的兼容性,小差异会影响你的代码能否运行
  • 用户态与内核态客户端的比较与取舍
  • AI 业务必须用 IB 网络和 RDMA 么?性能要与规模、易维护性等多方面因素同时考虑
  • 业务抱怨不够快,如何判断是不是存储的问题?论系统观测能力的重要性

3. 成本 v.s. 性能的取舍与平衡要从架构设计开始

4. 一个生成式 AI 领域的案例分享

演讲亮点

JuiceFS 是为云环境设计的整体技术架构,应该是文件存储领域的首创(2017 年)。也创新性的在架构设计上讲存储系统的容量与性能解耦,这样的设计为系统容量规划,性价比两个方面为用户带来明显的收益。

实践痛点
JuiceFS 为海量数据高吞吐业务场景设计和优化,对于少量数据和需要低时延的业务场景,JuiceFS 并不适用。

听众收益

存储系统是一个看似普通常见,但在不同业务中又是一个复杂的话题。架构师做选型决策时往往处于业务初期,并不能预测后面的变化,而存储系统在业务架构中是最难替换和迭代的。本次演讲结合目前 AI 领域的发展特点,和分享人过去 5 年服务不同领域 AI 客户的经验,让听众在分享中:

  • 了解 AI 业务中面对的数据特征以及对应的存储系统挑战和需求
  • 从用户视角分析不同存储系统架构和特性带给用户的优缺点

架构设计没有银弹,都是取舍。灵活简单算是一剂解药。

交通指南

上海中谷小南国花园酒店

China Grain Hotel
地址:上海市杨浦区佳木斯路777号(近营口路口)
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

微信联系我们

如您在购票过程中遇到问题,请扫码咨询票务小助手