专题演讲嘉宾：孙伟祥

混合云环境下资源异构化和资源碎片化一直是制约资源效能的核心问题，而联邦化的弹性调度是解决这类问题的有效手段。近一年多以来，小红书内部逐渐将在线搜索推荐这类重数据、高敏感型业务，以及最近兴起的依赖GPU等异构算力的大语言模型（LLM）业务纳入到统一的联邦集群弹性调度架构体系，整合多云与多集群的碎片化资源形成全局资源池，实现了跨集群及跨云的弹性调度，以及在离线服务之间的弹性混部，在资源效能方面取得了不错的结果，也很好地应对了“Tiktok 难民潮” 等突发流量洪峰场景。本次分享将介绍小红书内部混合云架构下的联邦集群弹性调度的一些实践和探索。

演讲提纲

1. 背景与业务挑战

• 混合云环境现状及痛点
  • 小红书混合云业务架构
  • 资源异构与资源碎片（CPU/GPU/NPU、跨云API差异）
  • 成本与效率的平衡（预留资源浪费 vs 突发需求响应）
• 小红书业务场景特性
  • 搜索推荐：重数据、高并发、实时性、流量波动显著
  • LLM场景：GPU卡型异构、资源分散、离在线推理以及训推资源分配使用不均

2. 混合云联邦集群架构设计

• 联邦调度核心框架
  • 统一多云、多集群接入层（联邦化的 K8s API）
  • 联邦应用编排（有状态、无状态、AI工作负载）
  • 联邦分级调度（全局资源视图 + 调度优化）
• 统一资源池化
• 跨云资源纳管（自建IDC & 云上）

3. 搜推与LLM场景实践与探索

• 搜索推荐场景的跨云跨集群弹性
  • 有状态服务动态跨云、跨集群分发
  • 数据跨云多级缓存以及优化手段
• LLM推理场景的成本效率优化
  • 全局统一推理资源池弹性调度
  • 在离线推理混部与弹性能力探索

4. 总结和展望

• LLM在离线任务的深度协同
  • 统一资源池下的多类型异构体资源负载混合负载调度（GPU/CPU混部）
• 硬件异构性的持续算力统一
  • 异构硬件调度视角算力标准化，异构算力下的负载均衡等

听众收益

• 了解小红书内部多云多集群架构实践
• 分享可复制的单集群接口兼容的联邦集群方案
• 分享多云多集群场景下一些统一调度和弹性的落地实践