随着 AI 工具逐步进入软件开发流程，测试工作也从人工为主的执行模式，转向人机协作的工程实践。在实际项目中单点式的 AI 辅助（如仅用于生成测试代码或用例）难以形成持续收益，测试流程仍然存在割裂与重复劳动，质量反馈也难以成效。

本次分享我将聚焦智能化测试在质量内建中的落地实践，介绍如何围绕测试流程进行优化：通过 AI 参与测试案例规划与生成，并结合 Agent Skills、Playwright Agent 与 MCP，实现测试脚本自动编写与缺陷修复，逐步形成「规划、执行、反馈」的自动化闭环。分享将结合实际案例，探讨技术选型、Agent 协作设计与上下文管理等关键问题，为智能化测试提供可落地的实践参考。

演讲提纲

1. 背景与挑战

• AI 时代的测试变革：人机协同成为破局关键
• 当前 QA 在 AI 工具使用中的核心痛点
  • 认知偏差：将 AI 视为工具而非协同伙伴，忽视人机配合价值
  • 使用破碎化：AI 工具分散在测试各环节，缺乏全流程闭环衔接，数据不通、效率打折
  • 技术适配难：现有 AI 工具与测试框架、业务场景兼容性不足，落地效果不及预期

2. 核心技术底座：Agent Skills + Playwright Agent + MCP 的协同架构

• 关键技术模块解析：
  • Agent Skills：根据业务场景提供可复用智能体、包括需求理解测试案例设计等
  • Playwright Agent：聚焦自动化测试执行核心，实现跨浏览器、跨平台的测试脚本生成、执行与结果反馈
  • MCP：提供拓展能力，打通平台间隔阂

3. 工程实践：从案例生成到自动修复的全流程落地

• AI 驱动的测试案例生成：Agent Skills 基于需求文档、Jira Ticket 等工具构建测试场景图谱
• AI 自动化测试代码生成：Playwright Agent 接收测试案例，自动生成标准化、可执行的自动化测试脚本
• AI 自动修复测试代码：测试执行后失败，透过 AI 自修复功能调整测试脚本

4. 未来展望

您认为，这样的技术在实践过程中有哪些痛点？

• AI 业务逻辑理解的边界：AI 在处理复杂嵌套业务规则时容易出现偏差，常产生形式正确但逻辑失效的测试或代码，关键场景仍需人工校验
• 修复能力的泛化受限：AI 主要覆盖元素定位、断言等常见问题，对业务变更引发的隐性依赖或跨系统异常识别不足，复杂故障仍依赖人工结合业务上下文推导
• 人机协同的平衡挑战：过度依赖 AI 会削弱团队的业务理解，过度人工介入又会侵蚀自动化收益，如何划定 AI 自主与人工介入的边界，是落地中的权衡

演讲亮点

• 闭环化技术架构： Agent Skills+Playwright Agent+MCP 的协同架构，打通从案例生成、代码编写、故障修复链路闭环，实现测试流程端到端自动化，解决过去使用 AI 工具流程断裂的痛点
• 业务化技能沉淀机制：优化过去使用 AI 测试工具通用能力强、业务适配弱的瓶颈，透过 Agent Skills 规范化重复行为，让生成的案例与代码更具可重复性

听众收益

• 掌握 Agent 驱动的测试闭环落地方法，解决 AI 工具单点使用、流程割裂
• Agent Skills、Playwright Agent 与 MCP 的职责拆分与组合范式

基于大模型构建的 AI + UI 自动化测试平台（PC + APP），解决传统 UI 自动化维护成本高、跨平台兼容差、复杂元素识别难等问题。方案采用“视觉截图 + 自然语言指令 → 大模型理解 → 坐标输出 → 框架执行”的 ReAct 式架构，实现跨平台、低维护、高鲁棒的 UI 自动化测试。平台在淘宝闪购大规模落地应用，支持实时单步调试，提供 AI 执行、AI 断言、共性 UI 样式问题检测/数据问题检测等创新功能，在自动化回归和兼容性测试中显著提升用例产出效率（用例数量 1.3w+ /半年）、稳定性（通过率 90%+ ）和缺陷发现( 650+ /半年)。

演讲提纲

1. 困境：传统 UI 自动化由于UI频繁变更、自动化脚本冗长结构混乱，ROI 低

2. 破局：AI+UI 自动化业界方案对比、调研和选型

3. 实战：AI 驱动 UI 自动化执行、AI 自主 UI 样式问题检测（含 SFT ）、AI 数据巡检、AI 自主兼容性测试、AI 自主秒开性能分析等关键技术剖析；具体案例解决过程分享

4. 落地效果：AI 结合工程策略，保障通过率、权衡成本等，促进项目高效落地

5. 总结与展望

您认为，这样的技术在实践过程中有哪些痛点？

• 大模型幻觉：大模型无法100%规避幻觉，自主执行可能带来影响业务稳定性的风险，结合测试常识和经验做足质量兜底，是持续进行的工作

演讲亮点

• 提出了自然语言步骤化用例模式、实时远程调试（PC+APP）助力用例编写调试提效、前后端自动化平台打通等创新点
• 探索 AI 助力 UI 样式检测，并结合业务实际做 SFT & Prompt 调试
• 借助 AI+UI 自动化能力实现 AI 自主兼容性测试的创新尝试

听众收益

• 一套同时支持 PC + APP 的通用 AI + UI 自动化产品方案，了解业界前沿方案优缺点，对 Agent 智能化程度 vs 成本取舍、AI 手段 vs 工程策略选型等会有细致了解
• AI 在用例编写、调试、执行、排查多维度赋能 UI 自动化的实际做法，同时了解具体踩坑案例及各个击破过程

传统 UI 自动化测试严重依赖预定义脚本和硬编码规则，维护成本随用例规模线性增长，且在业务快速迭代中极易失效。小红书电商业务高速增长，回归用例量持续膨胀，传统方案已难以为继。我们提出 UIRobot —— 一个基于多模态大模型的 GUI 自动化测试 Agent，实现了从"脚本驱动"到"模型驱动"的范式转型。核心方案采用 Code-as-Action 架构，Agent 生成可复用的测试代码而非逐步调用工具，结合分层知识库（经验级/产品级/需求级）与自我成长的记忆机制，实现用例的自动生成、自动执行和自动自愈。脚本固化后执行零 Token 成本，兼顾智能与降本。本次演讲将详细拆解这一架构的设计决策、关键技术卡点（环境准备、用例泛化、错误诊断）及真实落地中的踩坑经验。

演讲提纲

1. 行业趋势与小红书现状

• GUI 自动化从"脚本驱动"走向"模型驱动"的行业趋势
• 小红书电商场景的自动化测试挑战：用例膨胀、维护成本高、QA 人力紧张
• UIRobot 初期探索的三个核心瓶颈：缺乏自主理解、环境依赖人工、无法自愈

2. 技术选型与架构设计

• 竞品分析：美团 KuiTest、阿里 Assistant Agent、字节 MidScene 的优劣对比
• Code-as-Action 架构选型：为什么选择代码生成而非 ToolCall，如何兼顾可调试性与执行确定性
• 单 Agent vs 多 Agent 的权衡：默认单 Agent，能力不足时切换 SubAgent
• 执行引擎设计：抽象语义粒度操作函数，向上解决可读性，向下解决泛化能力

3. 分层知识库与记忆机制

• 三层上下文设计：经验级（通用测试经验）、产品级（操作图谱与历史记录）、需求级（PRD / Code Diff /接口协议）
• 分层记忆框架：L0 摘要层 → L1 概览层 → L2 详情层，按需逐层检索
• 记忆的自主沉淀：成功用例自动提取、失败修复方案自动存储、人工标注直接写入
• 记忆风险控制：置信度阈值、长期记忆上限 200 行、低价值内容自动淘汰

4. 用例泛化与自愈机制

• 泛化挑战：需求理解泛化、执行环境泛化、执行过程歧义处理
• 错误分类诊断：环境错误 / 执行错误 / 用例错误的自动区分与分级处理
• 自愈流程：自动修复→人工介入→修复方案沉淀为记忆的闭环
• 脚本固化降本：调优阶段消耗 Token，验证通过后固化为脚本，后续执行零成本

5. 落地实践与踩坑经验

• 最大工程卡点：造数与 Mock 环境的自动构造挑战
• "人的经验 "如何系统化为 Agent 可学习知识
• 质量同学看不懂生成代码的应对策略
• 核心指标与验收标准：执行成功率、自愈成功率、人工介入率、Token 消耗量

您认为，这样的技术在实践过程中有哪些痛点？

• 泛化能力与确定性的根本冲突：让模型自由发挥可获得更强的泛化能力，但会牺牲执行的确定性和可复现性。我们通过 Code-as-Action + 脚本固化的方式缓解，但生成阶段仍需反复调试
• 环境准备是最大的工程卡点：造数和 Mock 本身是反复探索的过程，目前只有资深专家才能准确构造测试环境，如何让 Agent 自主完成仍未完全解决
• 用例泛化的脆弱性：在一台机器上执行成功的用例，换台机器可能失败；产品稍有调整用例就失效。Agent 缺乏跨设备、跨版本的泛化能力
• 记忆管理的两难：记忆太少导致重复踩坑，记忆太多导致幻觉和错误决策，如何平衡沉淀与遗忘是持续挑战

演讲亮点

• 业界首个将 Code-as-Action 模式与分层记忆体系结合的 GUI 测试 Agent 方案：区别于美团 KuiTest 的平台化路线和字节 MidScene 的场景泛化路线，我们的方案同时解决了"可调试性"和"自我成长"两个关键问题——Agent 生成的代码可版本控制、可 CR、可复用，同时具备从失败中学习和自我迭代的能力
• 脚本固化实现零 Token 执行成本的工程创新：在生成和调优阶段充分利用大模型能力，验证通过后自动固化为确定性脚本，后续回归执行完全不消耗 Token，实现了智能化与成本可控的平衡，这是业界 GUI Agent 方案中少见的务实降本策略

听众收益

• 掌握 GUI Agent 从"概念验证"到"工程落地"的完整路径：了解如何在真实业务场景中构建具备自主学习、自动自愈能力的 UI 测试 Agent，避免停留在 Demo 阶段
• 获得 Code-as-Action + 分层记忆的架构设计方法论：可直接借鉴的技术选型思路（单 Agent vs 多 Agent、代码生成 vs ToolCall、分层检索 vs RAG），以及各决策背后的 tradeoff 分析
• 了解大模型驱动测试自动化中的真实痛点与应对策略：包括环境准备、用例泛化、错误诊断、记忆管理等关键卡点的实战经验，帮助团队少走弯路

围绕业务流程视角下的移动端 AI 测试困境展开，提出以业务流程管理为主线，联动 AI Agent 决策调度能力与 Skills 原子化执行能力的协同架构。核心落地模式为单流程驱动多平台执行，以统一业务流程为核心，无需重复定义流程与脚本，由 AI Agent 协同模板适配 iOS、Android 等多平台，破解移动端 AI 测试适配难、效率低等痛点，实现轻量化全链路智能测试。

演讲提纲

1. 背景与挑战：业务流程视角下的移动端 AI 测试困境

• 业务流程为核心的移动端 AI 测试模式缺失，AI Agent 与 Skills 未与业务流程深度绑定，导致测试脱离业务诉求，无法解决多平台适配、效率低下、质量管控难等问题，阻碍移动端 AI 测试规模化落地

2. 核心架构：业务流程管理 + AI Agent 与 Skills 协同体系

• 业务流程管理为主线，联动 AI Agent 决策调度能力与 Skills 原子化执行能力，协同模板管理体系，构建流程驱动、Agent 调度、Skills 执行的协同架构，实现业务流程与 AI 测试能力深度融合，破解测试困境

3. 实践落地：业务视角下的单流程驱动多平台执行

• 业务视角的“单一统一业务流程”为核心驱动，无需为每个平台单独定义流程、编写脚本，由 AI Agent 协同模板与 Skills 体系，自动适配多平台（iOS/Android/鸿蒙等），同步完成该业务流程的智能化测试执行，实现“一套流程、多平台并行、标准统一”

4. 总结与展望

您认为，这样的技术在实践过程中有哪些痛点？

• 通用 Agent 与实际业务脱节痛点：落地中发现，AI Agent 难以精准理解业务核心诉求（如下单流程的规则等），导致关键业务节点测试遗漏，需人工补充业务规则、反复调试
• 复杂业务场景 AI 自愈能力不足痛点：面对业务流程异常，AI Agent 的自愈逻辑无法结合业务上下文判断处理方向，仅能执行简单重试，导致测试流程不达预期，需人工结合业务逻辑排查修复，削弱自动化收益

演讲亮点

• 以业务流程管理为核心，实现 AI Agent 与业务流程的深度融合，贴合实际业务测试需求
• 突出业务流程与 Skills 体系的流程化沉淀价值，实现测试流程复用与 AI Agent 自主驱动的双重提效

听众收益

• 基于业务流程管理的 AI Agent 智能化测试架构设计思路，理解流程、Agent、业务模板与 Skills 的协同逻辑
• 把握业务流程驱动的智能化测试发展趋势，助力业务与测试的深度协同