专题演讲嘉宾：梁啟成

眼下，云计算已成为众多互联网企业支撑业务运行的关键基础设施，然而云计算的便利性和灵活性也带来了一系列资源成本管理挑战，包括成本增速过快、成本归属不清晰、缺乏有效成本控制手段、对云厂商高度依赖等。本次分享，将重点介绍小红书的 FinOps 实践经验，并通过技术优化手段提升资源使用效率，每年节省数亿成本。

演讲提纲

1. 小红书用云概述
2. 成本优化面临的问题与挑战

• 分摊云成本与实际资源用量存在偏差
• 资源规模不断增长但利用效率持续低下
• 大模型的部署与运行成本高昂

3. 成本洞察与优化实践

• 技术商品化实现内外账分离
• 大 Node 小 Pod 策略下的在线业务混部
  • 工作负载性能瓶颈分析
  • 机型收敛与 RightSizing
• 内容大模型的降本增效
  • 多维并行提升训练效率
  • 量化蒸馏压缩模型大小
  • 算子优化提升推理速度

4. 总结与展望

这样的技术在实践过程中有哪些痛点？

• 常规按比例分账方法能帮助测算出各业务部门的资源成本费用，但不一定能解释清楚其背后的量价对应关系，进而影响了技术优化方向判断
• 云厂商硬件经过虚拟化后，不同规格大小虚拟机会存在跨 numa、共用一个 Socket 产生干扰，进而表现出内存性能差、业务 CPU 使用率明显分层、服务 RT 抖动明显等问题，云上客户不得不开通更多资源降低容量水位来保证在线服务不受损，最终造成了成本浪费
• 高昂的训练和推理成本、高硬件需求、资源利用效率低下，这些问题限制了内容大模型的广泛应用和普及，需要通过技术创新和优化策略来解决

演讲亮点

• 重点聚焦于建立清晰、透明的成本洞察机制以及配套系统能力建设，尝试分别从买卖家视角梳理清楚各自团队的资源用量、技术成本支出以及收入情况
• 看清、看准、分析出系统关键性能瓶颈，通过机型迭代、内核优化等措施确保各业务具备将CPU跑高的能力，进而执行缩容退机操作达到降低成本的目标
• 分别从数据、训练、压缩、推理等方面介绍小红书对于内容大模型的降本增效实践

听众收益

• 可以帮助相关从业人员了解或学习云成本优化的主要技术方案，并在日常工作中进行运用