2025 年年初，DeepSeek 凭借免费开源的超大语言推理模型迅速走红，掀起了全民部署大模型的热潮。随之而来，如何降低大模型使用成本成为业界关注的焦点。其中，最具吸引力的当属 KVCache “以存代算”技术。

当前，KVCache 缓存技术已成为提升大模型推理效率的行业共识。但要真正发挥其价值，关键在于扩展 KVCache 的存储缓存层以增强大模型的记忆能力，同时存储缓存层也必须具备强大的支持能力。焱融科技基于自研高性能分布式文件系统 YRCloudFile 打造了 YRCache 推理加速方案，显著提升了推理效率和模型推理性价比。

在本次演讲中，我将深入介绍焱融 YRCache 推理加速方案的技术架构和核心能力，并分享其在真实业务场景中的加速效果！

演讲提纲

1. KVCache 的技术背景和挑战

• KVCache 的作用和技术原理
• KVCache 的常见优化思路
• vLLM Prefix Caching 的局限性
• KVCache 缓存对 PD 分离架构的影响

2. YRCache 多级缓存技术方案

• YRCache 数据的元数据管理方案
• YRCache 缓存数据的管理策略
• YRCache 多级缓存和调度器的协同优化
• YRCache 多级缓存对 PD 分离架构的优化

3. 针对推理业务的加速效果实践

• RAG 知识库场景的实践效果
• 代码生成场景的实践效果
• 多轮对话场景的实践效果

4. 总结和展望

• KVCache 多级缓存带来的收益
• KVCache 多级缓存的未来演进路线

演讲亮点

• 深度解析 KVCache 技术原理
• 深度解析 KVCache Offloading 主流方案
• 焱融 YRCache 方案的技术架构与整体解决方案
• 详实分享多个实际业务场景的加速效果

听众收益

• 了解 KVCache 的技术原理与应用价值
• 掌握 vLLM 生态主流的 KVCache Offloading 方案以及架构差异与优劣势
• 了解 KVCache 的适用场景以及不同场景中的最佳实践参考，助力技术选型与系统优化