基于大模型构建的 AI + UI 自动化测试平台（PC + APP），解决传统 UI 自动化维护成本高、跨平台兼容差、复杂元素识别难等问题。方案采用“视觉截图 + 自然语言指令 → 大模型理解 → 坐标输出 → 框架执行”的 ReAct 式架构，实现跨平台、低维护、高鲁棒的 UI 自动化测试。平台在淘宝闪购大规模落地应用，支持实时单步调试，提供 AI 执行、AI 断言、共性 UI 样式问题检测/数据问题检测等创新功能，在自动化回归和兼容性测试中显著提升用例产出效率（用例数量 1.3w+ /半年）、稳定性（通过率 90%+ ）和缺陷发现( 650+ /半年)。

演讲提纲

1. 困境：传统 UI 自动化由于UI频繁变更、自动化脚本冗长结构混乱，ROI 低

2. 破局：AI+UI 自动化业界方案对比、调研和选型

3. 实战：AI 驱动 UI 自动化执行、AI 自主 UI 样式问题检测（含 SFT ）、AI 数据巡检、AI 自主兼容性测试、AI 自主秒开性能分析等关键技术剖析；具体案例解决过程分享

4. 落地效果：AI 结合工程策略，保障通过率、权衡成本等，促进项目高效落地

5. 总结与展望

您认为，这样的技术在实践过程中有哪些痛点？

• 大模型幻觉：大模型无法100%规避幻觉，自主执行可能带来影响业务稳定性的风险，结合测试常识和经验做足质量兜底，是持续进行的工作

演讲亮点

• 提出了自然语言步骤化用例模式、实时远程调试（PC+APP）助力用例编写调试提效、前后端自动化平台打通等创新点
• 探索 AI 助力 UI 样式检测，并结合业务实际做 SFT & Prompt 调试
• 借助 AI+UI 自动化能力实现 AI 自主兼容性测试的创新尝试

听众收益

• 一套同时支持 PC + APP 的通用 AI + UI 自动化产品方案，了解业界前沿方案优缺点，对 Agent 智能化程度 vs 成本取舍、AI 手段 vs 工程策略选型等会有细致了解
• AI 在用例编写、调试、执行、排查多维度赋能 UI 自动化的实际做法，同时了解具体踩坑案例及各个击破过程