大模型安全

会议室:秦宫
出品人:包沉浮

随着大模型在企业应用场景的不断拓展,大模型安全这一议题愈发受到关注。一方面,大模... 展开 >

专题出品人:包沉浮

百度杰出架构师,安全技术委员会主席

包沉浮,百度杰出架构师,安全技术委员会主席,整体负责百度集团安全技术体系建设。当前重点关注人工智能安全技术的研究与应用,包括 AI 技术在网络安全领域的应用,以及大模型的安全保障技术体系。参与制定多项 AI 安全领域重要国家标准,并获得 20 余项国内外授权专利。担任中国人工智能产业联盟安全治理委员会副主任委员。

地点:秦宫

专题:大模型安全

随着大模型在企业应用场景的不断拓展,大模型安全这一议题愈发受到关注。一方面,大模型自身的“幻觉”等局限、针对大模型应用的攻击、以及对大模型技术的滥用,不仅威胁大模型应用自身的安全运行,也为使用大模型的企业或者用户带来严重的安全影响。另一方面,大模型的多模态理解和生成、逻辑思维、任务规划和执行等强大能力,也为企业应对各类安全问题带来了新思路和新方法。

本专题旨在深入探讨大模型安全领域的最新技术进展,以及在企业中的应用和实践,包括以下几个方面:

  • 大模型安全前沿技术:大模型安全的技术趋势和前沿挑战,多模态 AIGC、智能体、具身智能等新兴技术应用的安全风险与应对;
  • 大模型安全体系建设实践:覆盖系统安全、数据安全和隐私保护、算法和模型安全、内容安全、安全测试与评估的大模型安全体系建设实践;
  • 大模型赋能安全实践:大模型在安全领域的前沿应用,包括代码安全漏洞检测与修复、自动化渗透测试等。

通过本专题,期望听众能够了解到大模型安全的前沿技术和优秀实践,理解在自身业务场景中如何更安全地应用大模型,以及如何更好地利用大模型解决企业安全问题。

by 刘焱

蚂蚁集团
基础安全副总经理

大模型在行业落地应用时遇到了推理残差能力不足、专业知识缺乏、反馈循环效率低和安全单点等问题。尤其在可靠性要求高的安全攸关领域,这些局限性严重影响了大模型的广泛应用。
 
本次演讲将重点介绍如何通过以原生安全范式构建原生安全底座,安全平行切面为数据采集和干预底座,DKCF(Data/Knowledge/Collaboration/Feedback,即数据/知识/协同/反馈) 可信推理范式构建智能化底座,落地安全运营与安全治理领域。该框架在实际落地中有效提升了整体 MTTD(Mean Time to Detect,即平均故障检测时间)、MTTC(Mean Time to contain,即平均遏制时间);并在安全治理领域,也有效提升安全评估与安全审批的工作效率。该体系的落地经验,对于其他专业领域可信落地大模型,同样存在较大的借鉴意义。
 
演讲提纲

1. 大模型在行业落地应用时的主要问题

  • 推理残差能力不足,难以发现推理过程中的知识不足或者能力不足
  • 专业知识缺乏,缺少具体领域以及具体企业的知识与信息
  • 反馈循环效率低,新知识新能力的反馈迭代速度慢、成本高
  • 安全单点 

2. 蚂蚁集团的“切面融合智能体系”建设

  • 安全平行切面为数据采集和干预底座
  • 基于 DKCF 范式的可信推理为智能化底座
  • 基于 NbSP & OVTP 原生安全范式为建设原则构建原生安全底座

3. NbSP & OVTP原生安全范式

  • NbSP 范式解决智能体访问点安全检查问题,确保安全检查点不可被绕过
  • OVTP 范式解决智能体工作合法访问溯源

4. “切面融合智能体系”在反入侵威胁对抗领域的应用案例

  • 传统 SOC 的困境
  • AIGC 落地 SOC 的挑战
  • “切面融合智能体系” 在反入侵威胁对抗领域的核心能力:
    • 基于 DKCF 范式的推理可行度验证、幻觉检测、知识工程管理
    • 智能降噪/分诊
    • 基于 SOP 的研判智能体
    • 通用研判智能体,自动规划、编排、线索探索与归纳
    • 基于 SOP 的智能响应与止血
    • 交互式事件调查与溯源 

4. “切面融合智能体系”在安全治理领域的应用案例

  • 安全审批场景介绍
  • 基于提示语/SOP 编程的安全审批
  • 提示语/SOP 编程与自动化编排 SOAR 的区别

您认为,这样的技术在实践过程中有哪些痛点?


  • 大模型落地时,需要录入大量领域、企业特有的知识,这块需要大量的数据收集、知识提取的工作

  • 实际落地时会综合考虑性价比,综合使用大模型、小模型和专家策略,全盘使用大模型不一定会是最佳方案

  • 通过切面技术接入更多业务和应用数据会有利于大模型作出更加准确全面的判断,但是这样对于企业部署切面有了更高的要求



演讲亮点


  • 解决了大模型落地网络安全领域时的内视能力缺乏、幻想不可信等问题

  • 探索了安全治理方面使用大模型

  • 从实践中提炼了技术体系:“切面融合智能体系”


听众收益


  • 了解蚂蚁集团一些前沿的安全技术和成果

  • 开拓一些新思路,用新方法如何解决网络安全问题

  • 目前领域相关的挑战,以及大模型结合的情况下未来的展望

 
 

by 张栋

腾讯
代码安全负责人

安全漏洞是每一个企业都必须面对的问题,处理不好动辄影响服务可用性、导致核心业务敏感数据泄露,对业务及公司造成不良影响。

基于此在企业研发体系中,绝大多数企业会选择通过安全左移在软件开发生命周期的早期阶段进行风险识别和安全问题修复。但是,传统的静态分析工具本身因其检测方式导致的覆盖有限、高误报、修复效率低等问题,增大了业务团队负担,致使业务对安全问题响应慢、体感差。

本次分享我将结合腾讯内部的实践经验,深入探讨大模型在代码安全场景中的应用,分享在不同发展阶段我们遇到的挑战及其解决方案,期待为听众带来实用的借鉴与启发。

演讲提纲

1. 代码安全现状及问题分析

  • 传统代码安全现状
  • 传统代码安全痛点
  • 业务安全场景痛点
  • 传统代码安全的局限性

2. 大模型在代码安全场景应用与挑战

  • 大模型赋能传统工具
  • 大模型助力安全左移
  • 大模型自动化漏洞检测

3. 技术架构及解决方案

  • 行业前沿解析
  • 架构设计及能力演进
  • 基础能力建设

4. 总结及展望

  • 工程实践心得
  • 大模型在代码安全场景落地的方向

您认为,这样的技术在实践过程中有哪些痛点?

  • 领域专用语料筹备较难,开源及行业缺少合适的数据集
  • benchmark 构建成本高,业内缺乏权威且实用的 benchmark
  • 大模型自身带来的成本,如时延、token 限制、幻觉等

演讲亮点

  • 代码安全场景大模型落地思路及过程经验分享
  • 大模型自动化漏洞扫描思路及过程经验分享
  • 专用领域大模型的微调思路及过程经验分享

听众收益

  • 了解专用模型领域微调思路及落地实践
  • 了解大模型落地过程中常见问题及解决方案
  • 了解大模型赋能安全的基础上,进一步泛化至其他应用场景

by 李志伟

百度
大模型内容安全平台负责人

随着大模型和 AIGC 技术的快速发展,AI 正从云端向终端设备延伸;其以实时性、数据保密性和经济性的特点,吸引模型厂商、芯片厂商和终端厂商纷纷布局端侧小模型;本次演讲将围绕如何在低算力和安全保障之间选取平衡,搭建一套行之有效的端侧大模型安全方案。

演讲提纲

1. 端侧大模型发展趋势

  • 端侧大模型的定义与分类
  • AI 从云端向终端延伸的背景与驱动力
  • 端侧小模型的兴起与生态布局

2. 端侧大模型面临的安全挑战

  • 算力限制与模型性能的平衡
  • 内容合规与应急处置
  • 数据安全与隐私保护
  • 系统安全与设备安全


3. 端侧大模型安全建设实践

  • 端云方案对比
  • 核心能力建设思路
  • 终端大模型安全方案特点

4. 典型案例分享与展望未来

  • 端侧大模型在智能设备中的安全应用案例
  • 端侧大模型安全技术的未来发展方向

您认为,这样的技术在实践过程中有哪些痛点?

  • 算力限制与监管合规要求之间的平衡,如何在低算力情况下最大限度的满足端侧内容审核的效果

演讲亮点

  • 离线场景低算力情况下依旧可以支持多模安全审核

听众收益

  • 将了解百度大模型安全的建设思路
  • 结合案例可以了解一些端侧大模型合规建设的思考
  • 开拓一些新思路,使用哪些方法建设“端侧大模型安全”

by Sunny Duan

京东
信息安全部 AI 安全负责人

人工智能快速发展,为了促进生成式人工智能健康发展和规范应用,监管也发布了《生成式人工智能服务管理暂行办法》要求生成式人工智能服务不能输出违法违规内容,而且大模型数据泄露、提示词注入攻击将对用户及公司带来严重损失,大模型安全备受瞩目,本议题会介绍京东已落地的安全方案。同时大模型对传统安全来说带来了新的挑战和机会,京东构建了大模型开发平台+底座模型的方式在威胁情报、钓鱼邮件等多个场景进行了探索和实践,提效效果显著。

演讲提纲

1. 大模型安全风险

  • 常见的大模型安全风险及案例:
    • 数据泄漏风险:使用内外部大模型造成的数据泄漏风险
    • 提示词注入:通过提示词注入攻击,成功说服 AI 代理转移资金,赢得 5 万美元
    • 输出违规内容:大模型应用若产生违规内容,将面临暂停和下线服务的风险
    • 数据投毒:仅需花费 60 美元,就能毒害 0.01% 的LAION-400M 或 COYO-700M 数据集,引入 100 个中毒样本可能导致大模型生成恶意输出
    • 供应链漏洞:开源模型和数据投毒可能导致系统安全问题,某公司员工利用 Hugging Face 平台的漏洞导致模型训练一个月结果不可用
    • 模型窃取:通过“套壳”和“模仿学习”方式窃取开源和闭源模型
    • 恶意应用:利用 Deepfake 技术进行多人视频诈骗
    • Agent 安全风险:智能体植入后门,诱发不安全任务规划或动作
    • 模型拒绝服务:海绵样本攻击占用大量计算资源,导致服务器时延增加

2. 大模型安全解决方案及实践

  • 思路:基于 AI 对抗 AI 构建 4 道防线(外)+ 2 个对齐(内)
    • 基于 AI 对抗 AI 的思路构建基于“训练数据安全、上线前安全测评、用户 Prompt 识别、生成内容识别”四道安全防线,对内容安全、业务安全、信息安全(数据安全、提示词注入)风险进行实时监测。
    • 训练阶段对齐:跷跷板问题
    • 微调阶段对齐:错题纠正问题
    • 推理阶段对齐:带病运行问题
    • 安全对齐的长期挑战

3. 大模型对安全的驱动及带来的挑战:大模型的出现加剧了攻防不对等

  • 传统信息安全痛点:
    • 攻防不对等(能力、效率、规模等)
    • 防御能力不精准(怕误拦--〉不敢拦)
    • 告警极多,人员极少 (处理不过来--〉风险漏出)

4. 大模型在信息安全场景实践

  • 打造垂域安全大模型
  • 安全大模型整体架构:包括应用场景、智能体、安全大模型、算力平台以及安全数据
  • 大模型在钓鱼邮件检测实践
  • 大模型在威胁情报检测实践

您认为,这样的技术在实践过程中有哪些痛点?

  • 如何权衡大模型生成内容检测和用户体验及安全问题很突出
  • 不同的应用场景对内容安全的容忍度不一样,如何调整策略
  • 通用大模型泛化能力无法满足信息安全的高精准要求

演讲亮点

  • 全面了解大模型安全风险及在京东可落地方案
  • 大模型在信息安全场景的落地实践提出了底座模型+平台的架构,解决传统安全人员算法不专业问题,让大家更关注安全场景探索

听众收益

  • 基于京东复杂的业务场景构建的大模型安全能力思路可在大部分场景复用
  • 通过大模型在钓鱼邮件、威胁情报场景的落地实践给大家更多的思路和参考

交通指南

北京石景山万达嘉华酒店

Wanda Jin
地址:北京市石景山区石景山路甲18号院
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

领取往期热门演讲视频

领取往期热门演讲视频二维码
如您在购票过程中遇到问题,请扫码咨询票务小助手