人工智能快速发展，为了促进生成式人工智能健康发展和规范应用，监管也发布了《生成式人工智能服务管理暂行办法》要求生成式人工智能服务不能输出违法违规内容，而且大模型数据泄露、提示词注入攻击将对用户及公司带来严重损失，大模型安全备受瞩目，本议题会介绍京东已落地的安全方案。同时大模型对传统安全来说带来了新的挑战和机会，京东构建了大模型开发平台+底座模型的方式在威胁情报、钓鱼邮件等多个场景进行了探索和实践，提效效果显著。

演讲提纲

1. 大模型安全风险

• 常见的大模型安全风险及案例：
  • 数据泄漏风险：使用内外部大模型造成的数据泄漏风险
  • 提示词注入：通过提示词注入攻击，成功说服 AI 代理转移资金，赢得 5 万美元
  • 输出违规内容：大模型应用若产生违规内容，将面临暂停和下线服务的风险
  • 数据投毒：仅需花费 60 美元，就能毒害 0.01% 的LAION-400M 或 COYO-700M 数据集，引入 100 个中毒样本可能导致大模型生成恶意输出
  • 供应链漏洞：开源模型和数据投毒可能导致系统安全问题，某公司员工利用 Hugging Face 平台的漏洞导致模型训练一个月结果不可用
  • 模型窃取：通过“套壳”和“模仿学习”方式窃取开源和闭源模型
  • 恶意应用：利用 Deepfake 技术进行多人视频诈骗
  • Agent 安全风险：智能体植入后门，诱发不安全任务规划或动作
  • 模型拒绝服务：海绵样本攻击占用大量计算资源，导致服务器时延增加

2. 大模型安全解决方案及实践

• 思路：基于 AI 对抗 AI 构建 4 道防线（外）+ 2 个对齐（内）
  • 基于 AI 对抗 AI 的思路构建基于“训练数据安全、上线前安全测评、用户 Prompt 识别、生成内容识别”四道安全防线，对内容安全、业务安全、信息安全（数据安全、提示词注入）风险进行实时监测。
  • 训练阶段对齐：跷跷板问题
  • 微调阶段对齐：错题纠正问题
  • 推理阶段对齐：带病运行问题
  • 安全对齐的长期挑战

3. 大模型对安全的驱动及带来的挑战：大模型的出现加剧了攻防不对等

• 传统信息安全痛点：
  • 攻防不对等（能力、效率、规模等）
  • 防御能力不精准（怕误拦--〉不敢拦）
  • 告警极多，人员极少 （处理不过来--〉风险漏出）

4. 大模型在信息安全场景实践

• 打造垂域安全大模型
• 安全大模型整体架构：包括应用场景、智能体、安全大模型、算力平台以及安全数据
• 大模型在钓鱼邮件检测实践
• 大模型在威胁情报检测实践

您认为，这样的技术在实践过程中有哪些痛点？

• 如何权衡大模型生成内容检测和用户体验及安全问题很突出
• 不同的应用场景对内容安全的容忍度不一样，如何调整策略
• 通用大模型泛化能力无法满足信息安全的高精准要求

演讲亮点

• 全面了解大模型安全风险及在京东可落地方案
• 大模型在信息安全场景的落地实践提出了底座模型+平台的架构，解决传统安全人员算法不专业问题，让大家更关注安全场景探索

听众收益

• 基于京东复杂的业务场景构建的大模型安全能力思路可在大部分场景复用
• 通过大模型在钓鱼邮件、威胁情报场景的落地实践给大家更多的思路和参考