即时配送业务需要在规定的时间和空间范围内，调度千万量级的订单和百万量级的骑手进行匹配，过程中应用了大量的智能算法。由于算法的可解释性弱、线下评测难度大等问题，我们在算法评测领域进行了深入的探索和实践。核心聚焦在算法效果评测的方案生成和平台建设，涵盖评测集筛选、评测指标制定，算法服务结果采集、评测报告生成、分析和 badcase 归因定位，最终给出线下评测结论，同时在效果评测和 badcase 分析的基础上，进一步给出算法优化方向的建议，帮助算法团队在上线前把控算法的迭代效果，缩短迭代优化周期。目前，基于该评测理论开发的算法评测平台支持可定制化的评测和分析定位能力，覆盖了饿了么的商流、物流等多个算法方向，显著提升了算法迭代的效率和质量。本次演讲我将分享饿了么即时配送算法评测与优化过程中的痛点案例及解决之道。

演讲提纲

1. 算法迭代流程中常见问题和痛点

2. 算法效果评测方案 & 平台落地 & 案例

算法评测指标设计
筛选和生成自带标签的评测集
算法服务数据采集
评测结果处理及报告生成

3. Badcase 分析归因 & 平台落地 & 案例

规则分类归因
Shap 模型可解释
基于流量染色的实时 Debug
日志复现

4. 算法效果优化分析 & 落地

5. 落地实践 & 展望

平台支撑的业务方向
落地情况 & 效果
新技术的应用与探索

您认为，这样的技术在实践过程中有哪些痛点？

在新的算法方向接入时，需要设计和不断调试评测指标、以及调整评测集采集规则，过程比较耗时，并且需要该方向的同学有较深的经验积累；需要考虑初步的解法
针对一些实时特征依赖多的算法评测，需要结合开发特征的 mock 能力，否则实时指标波动大，对预期结果的影响较大；--根据目前探索，建议先从读场景切入，后续深入到写场景，使用 mock 方式

演讲亮点

1. 算法效果评估前置 vs 传统 AB 实验后验

业界现状：强依赖空跑、灰度 AB 实验等后置验证链路质量和效果，问题发现滞后（至少需天级别或周级别的时间），业务有损
本方案优势：通过线下前置对模型 & 算法工程链路做整体的效果评估，利用历史埋点数据做加工，筛选出带有标签的有针对行的评测集，对待测算法服务进行评估，前置评估出效果指标以及按照规则筛选出 badcase，同时提供漏斗式分层归因排查方式，帮助算法快速定位问题，进行优化

2. 自动归因体系 vs 人工排查

业界现状：Badcase依赖人工标注、单点的分析排查工具，耗时长且依赖经验
本方案创新：三层归因漏斗：日志规则→ Shap 解释→实时 Debug（或日志复现等方式），实现 70% 以上问题的自动归因；先根据规则做问题分类

针对模型效果类问题，使用 shap 可解释工具，量化特征贡献度（如“商户位置”特征在超时预测中权重），辅助算法快速调优评估出特征重要度；针对算法策略问题，使用实时 debug 等方式，定位策略代码问题。同时在分析基础上，给出算法优化方向建议。

听众收益

从质量和稳定性的方向上，了解前置的算法效果评测的方法论及整体的解决方案：过往算法效果更多依托线上的 AB 实验等方式进行验证，不仅回收效果时间长还可能对线上业务造成影响。本方案介绍了在线下如何更前置的对算法模型进行评测
了解先进的 Badcase 归因技术及实践应用：讲解算法 Badcase 自动分类归因机制，涵盖基于日志的诊断、Shap 模型解释下的特征影响分析、以及实时 Debug 功能支持下的问题快速定位方法。这部分内容不但帮助算法线下调优，针对线上问题也可以进行快速诊断，提升解决问题能力和迭代效率
了解在算法效果评测数据分析基础上，寻找算法优化方向的方法以及实践

专题演讲嘉宾：Kelvin Guo

亚马逊云科技资深解决方案架构师

by Kelvin Guo

亚马逊云科技

关注主办方（InfoQ）

联系我们

交通指南

北京石景山万达嘉华酒店