大模型在带来前所未有的技术能力变革的同时，也“涌现”出许多“类人”甚至“超人”的能力，这些能力在提升工作效率和创新力的同时，也带来了一系列安全问题，如何生成更符合人类的偏好和价值观的正向内容同样成为业界关注的焦点。

为了确保大模型的安全性和可控性，我们将安全评测能力作为驱动大模型生产内容的核心任务，本次演讲阐述在 Safe RLHF（安全强化学习与人类反馈）的实践过程中，我们遇到了一系列问题和挑战，以及在解决这个问题实践中，加强安全评测能力、优化评测方法和技术的思考，希望能共同推动 Safe RLHF 的发展，推动大模型技术的安全、可控和可持续发展。

演讲提纲：

1. 为什么关注 Safe RLHF

• 大模型应用面临哪些安全问题
• 大模型价值对齐的方向与挑战

2. 增强模型的安全性方法

3. 落地案例分享 - 蚂蚁大模型安全检测产品：蚁鉴

4. 需长期解决的问题

听众收益：

• 了解大模型价值对齐可能面临的挑战
• 通过 Safe RLHF 的了解，熟悉大模型价值对齐一些方法
• 熟悉安全评测技术解决方案，掌握有价值的系统实践案例

方案痛点：

• 如何定义需要价值对齐的标准和分类
• 生产高质量安全评测对齐的语料，保障覆盖面全和时效性
• 如何进行大规模安全评测和流程自动化