大模型在带来前所未有的技术能力变革的同时，也“涌现”出许多“类人”甚至“超人”的能力，这些能力在提升工作效率和创新力的同时，也带来了一系列安全问题，如何生成更符合人类的偏好和价值观的正向内容同样成为业界关注的焦点。

为了确保大模型的安全性和可控性，我们将安全评测能力作为驱动大模型生产内容的核心任务，本次演讲阐述在 Safe RLHF（安全强化学习与人类反馈）的实践过程中，我们遇到了一系列问题和挑战，以及在解决这个问题实践中，加强安全评测能力、优化评测方法和技术的思考，希望能共同推动 Safe RLHF 的发展，推动大模型技术的安全、可控和可持续发展。

演讲提纲：

1. 为什么关注 Safe RLHF

• 大模型应用面临哪些安全问题
• 大模型价值对齐的方向与挑战

2. 增强模型的安全性方法

3. 落地案例分享 - 蚂蚁大模型安全检测产品：蚁鉴

4. 需长期解决的问题

听众收益：

• 了解大模型价值对齐可能面临的挑战
• 通过 Safe RLHF 的了解，熟悉大模型价值对齐一些方法
• 熟悉安全评测技术解决方案，掌握有价值的系统实践案例

方案痛点：

• 如何定义需要价值对齐的标准和分类
• 生产高质量安全评测对齐的语料，保障覆盖面全和时效性
• 如何进行大规模安全评测和流程自动化

快意大模型于 2023 年 4 月启动研发，包含 13B/66B/175B 三种参数规模，经过 3T+ tokens 的预训练以及高质量 SFT 数据微调，在 MMLU/CEVAL/GSM-8K 等榜单上取得领先成果，红蓝对抗评测接近 GPT-4。本次重点分享其中微调阶段的数据工程以及对齐技术，以及基于快意大模型在快手短视频互动场景中打造的 C 端智能助理 -AI 小快的相关研发经历。AI 小快目前全站粉丝量约 800w，日活约 60w 左右，受到用户广泛喜爱。

听众收益：

• 听众能够了解到快意大模型对齐过程中所遇到的问题和优化方案，以及目前仍然遗留的开放问题
• 听众能够了解到人格化及情感陪伴大模型在落地中所遇到的挑战和相关解决方案，和未来需要持续优化的方向

方案痛点：

• 虽然大模型已经展现出一定的智能能力，但在多模态、多样性、随机性上和人类能力相比还有巨大不足，AI 特别是类人 AI 在 C 端的落地并没有想象中那样顺利
• 如何在多个维度之间取得效果权衡，是 long-term 和很有挑战的事情

目前，大模型对 AI 训练数据的质量要求不断上升，数据模态呈多样化。文成图、图生文、文生视频等技术不断涌现，本次演讲将会对多模态大模型的底层数据构建进行解析，以及目前多模态大模型数据需求与挑战，并阐述如何通过高质量训练语料激发多模态大模型展现出更为强大和灵活的潜力，生成持续时间、宽高比和分辨率多样的视频和图像。同时也将会围绕海天瑞声多模态数据标注平台功能以及背后的硬核技术进行讲解，提高数据的生产效率。

演讲提纲：

1. 大模型发展趋势——多模态
2. 多模态大模型底层数据构建
3. 多模态大模型数据需求与挑战
4. 多模态数据标注平台功能及技术解析

听众收益：

• 多模态大模型底层数据架构以及目前多模态大模型所面临的数据需求及挑战；
• 如何通过高质量训练语料激发多模态大模型展现出更为强大和灵活的潜力，生成持续时间、宽高比和分辨率多样的视频和图像；
• 最前沿的多模态数据标注平台功能以及背后的硬核技术。

内容亮点：

• 文生图、文生视频技术不断涌现、Sora 大模型底层数据架构解析
• 目前大模型的数据需求及挑战
• 最前沿的多模态数据标注平台功能以及背后的硬核技术