专题演讲嘉宾：张栋

随着智能终端行业从“执行式智能”向“自主式智能（Agentic AI）”演进，AI系统的自主性、跨域规划能力及环境感知能力大幅提升，但也带来了前所未有的安全挑战。信任成为了AI治理的核心目标。面对神经网络的“黑盒”特性及复杂的供应链风险，传统的安全设计（Design）思路已难以为继，必须转向以发现（Discovery）为核心的治理模式。
本议题将分享vivo在AI业务安全治理中的实战经验，深度解析如何构建覆盖6大领域、103项风险条目的AI安全治理框架。重点阐述Red Team（红队）在业务全流程中的定位与实践，包括基于“思维偏误理论”的新型攻击探索、针对Agentic AI的威胁建模，以及在Deep Research、Code Agent及多模态推理等场景下的真实攻防案例，为行业提供一套可落地的端侧AI安全治理范式。

演讲提纲

1. 演进与挑战：智能终端AI的安全新局
   • 行业趋势：从执行式智能到Agentic AI（自主式智能）的跨越。
   • 核心矛盾：AI能力的指数级增长 vs 信任链的脆弱性。
   • 治理目标：建立以“用户信任”为核心的平衡体系。
2. 治理框架：从理论到落地的“vivo模式”
   • 利益相关方分析：针对用户、监管、供应商及内部的差异化策略。
   • 全景防御：覆盖6大领域（如数据隐私、模型鲁棒性、Agent安全等）的103项风险条目。
   • 思维转折：从工程设计的“Design”转向复杂系统的“Discovery”（3R治理思路：Regulate, Reveal, Respond）。
3. 关键实践：Agentic AI Red Team体系构建
   • 定位：Red Team在AI全生命周期中的“最后一道主动防线”。
   • 方法论：融合MITRE ATLAS、OWASP LLM Top 10与NIST AI RMF的实战框架。
   • 情报驱动：基于2024-2025全球高危AI安全事件的攻击链分析。
4. 攻防实录：新型攻击方法与案例演示
   • 威胁建模：针对Agentic AI系统架构（用户层到模型层）的威胁图谱。
   • 攻击探索：基于“认知偏误”与“引导习得化倾向”的对抗样本构造。
   • 实战案例：
     • 案例一：跨应用自动化中绕过用户交互确认（UI伪造与指令注入）。
     • 案例二：三方Deep Research能力的越狱与内部工具链泄露。
     • 案例三：针对Code Agent的元数据投毒攻击。
     • 案例四：多模态推理场景下的视觉指令注入。
5. 展望：AI Red Team的未来趋势
   • 行业共识与差异化发展。
   • 趋势预测：Red Team的标准化、持续化及“AI辅助Red Team”的演进。

您认为，这样的技术在实践过程中有哪些痛点？ 

• Agentic AI Red Team自动化环境的“易碎性”
  • 痛点： Agentic Red Teaming 高度依赖 APP UI 交互，但第三方 APP 版本更新极快，UI 微调都会导致自动化攻击脚本失效，维护成本极高。
  • Trade-off： 我们放弃了全量覆盖。目前仅能保障 Top 50 高频应用的核心路径测试，对于长尾应用只能依赖通用的兜底策略，客观上存在覆盖盲区。

演讲亮点

• 端侧视角独特性：不同于通用的云端大模型安全，本议题聚焦于智能终端（手机）场景，深入探讨了Agentic AI在本地化部署、跨应用协作及多模态交互中的特有安全问题。
• “Design vs Discovery”的深度思考：引入复杂系统理论，提出了AI安全治理需从传统的工程设计思维转向适应性探索思维（3R治理思路），具有较高的理论高度。展示了vivo内部极其细致的风险评估体系（6大领域、26个二级类别、103项三级条目），为企业级落地提供了详实的参考坐标。
• 实战案例：披露了多个高价值的Red Team攻击实例（如Deep Research工具链泄露、Code Agent投毒），展示了真实的攻防对抗细节。

听众收益

• 获得一套可落地的框架：听众可以参考vivo的AI安全治理架构和风险评估体系，快速构建或完善自身企业的AI安全流程。
• 掌握Agentic AI威胁建模方法：了解针对自主智能体的全栈威胁点（从用户交互到底层模型），并学习如何开展针对性的Red Team演练。
• 洞察新型攻击技术：学习基于认知心理学（思维偏误）的对抗样本构造方法，以及针对多模态、工具调用等新场景的攻击技巧，提升防御视野。
• 前瞻行业合规趋势：了解全球AI法规对Red Team的具体要求，帮助企业在未来的合规竞争中提前布局。