专题演讲嘉宾：陶炳哲

随着大模型能力、推理成本和部署方式不断分化，如何为不同任务选择合适的模型，正在成为 AI 应用工程化的重要问题。但智能路由并非简单地将复杂任务交给大模型、简单任务交给小模型。同一个模型在不同 Harness 下，任务执行成本可能相差数倍；不同模型与服务商之间，也存在明显的性能、速度和稳定性差异。

本次分享将从模型厂商的视角出发，探讨 Harness 如何影响模型的实际执行效率，以及如何围绕真实任务评测、模型供应链管理和运行时状态构建智能路由体系。结合阶跃星辰 step-router-v1 的实践，分析规则分类、Advisor 模式和专用路由模型等不同技术路线的实现方式与适用边界，并进一步讨论如何通过质量、延迟与每任务成本的联合评估，验证智能路由的实际收益，在保障任务效果的前提下实现更高效的模型调用。
 

演讲大纲

1. 智能路由为什么不能只看模型？
   • 不同参数规模、训练方式与推理部署方案带来的能力、速度和成本差异。
   • Harness 对任务执行效率的影响：相同模型在不同执行框架下的成本差异。
   • 从选择合适的模型，到选择合适的“模型 + Harness”组合。
2. 智能路由的基础：任务评测与模型供应链管理
   • 如何构建面向真实业务任务的评测体系，区分 Coding 与 Working 等不同任务类型。
   • 如何联合评估任务质量与每任务成本，避免单纯依赖公开 Benchmark。
   • 如何管理模型服务的动态成本、吞吐表现与稳定性，实现运行时路由决策。
3. 智能路由的技术路线与工程实践
   • 供应链路由：在保障会话一致性与缓存命中率的前提下，优化模型服务的成本、速度与稳定性。
   • 任务路由：硬规则、任务分类、语义相似度与监督学习等方案的实现方式及局限。
   • Advisor 模式：小模型执行、按需向强模型求助的协作机制，以及阶跃星辰 step-router-v1 的实践。
   • 专用路由模型：基于真实任务数据训练复杂度预测器的技术路径。
4. 如何验证智能路由的实际收益？
   • 不同路由方案的额外推理开销与成本收益分析。
   • 路由误判、模型升档倾向及成本持续上升等工程风险。
   • 以任务质量不下降、平均每任务成本降低为核心的验收标准。
   • 智能路由的进一步演进方向与技术边界。