2008 年以来,预训练模型的研究风起云涌,随着 BERT、GPT 等超级模型的... 展开 >







中科院博士,字节跳动机器翻译团队负责人。主导研发产品火山翻译、火山同传等,全球月活用户过亿,促进全球内容互通。发表 ACL、EMNLP 等顶级会议论文 40 多篇,带领团队多次在 WMT 比赛取得第一。在今年的 ACL 上做了《预训练时代的机器翻译》的 Tutorial 专题报告,同时也长期担任中国计算机学会自然语言处理专委和服务 ACL、EMNLP 等多个会议程序委员会。
2008 年以来,预训练模型的研究风起云涌,随着 BERT、GPT 等超级模型的提出,人工智能技术已经逐渐迈向了一个新的时代——通用人工智能已经看到了曙光。预训练技术能够借助大规模无监督数据,可以学习到通用的知识,随后借助少量的标记数据进行微调,一个模型可以被应用到多个任务,在自然语言处理、语音识别和图像处理等领域都取得了巨大的突破。
相比于过去几年,迈向通用人工智能时代的技术发展具有几个显著的特点:
1. 规模更大,目前主流的训练模型和数据都有了质变,以GPT 为例,训练规模比传统的机器学习模型有了上百倍的增加。
2. 跨模态,视觉、语音和自然语言的表示有了更多的交互,多模态逐渐赢来了热潮。
3. 无监督学习有了比较多的进展。
元宇宙时代,我们的现实世界和虚拟世界建立映射,需要把大量的现实世界物品进行三维建模。目前自动建模技术只能建模部分物品的形状、纹理,无法自动建模材质,非常受限。游戏、电商等三维模型主流应用均采用建模师手工建模方案。最近神经渲染技术发展速度非常快,使得自动建模成为可能。阿里巴巴首先实现了基于神经渲染的建模解决方案,可以对商品实现自动化高清三维建模,还原度超过建模师效果,同时能够进行 AI 创作,自动化生成完整的三维场景,可以以此为基础开展各种应用。目前,该技术已经在淘宝 App 中应用。
知识图谱的构建与表示学习,近年来有丰富的研究场景与大规模的工业落地。本次分享主要讨论一系列知识图谱构建的通用方法,包括实体识别、关系抽取、实体链接、新实体发现等,着重介绍实体链接(Entity Linking)的相关前沿研究,并讨论微信知识图谱 WeKB 构建中遇到的挑战,以及大规模业务场景下的应用实例。
演讲提纲:
1. 知识图谱及其应用
2. 知识图谱构建的通用方法
3. 实体链接技术前沿研究
4. 微信知识图谱 WeKB 的构建
5. WeKB 的业务应用实战
你将获得:
近年来,短视频逐渐成为用户消费的主要内容载体,每天都有大量 UGC 短视频被生产、分发和消费,如何对视频内容进理解和表示,提升短视频搜索、推荐的精准性,成为了各大短视频平台面临的重要问题。本次分享主要围绕多模态视频检索,介绍相关前沿研究和面临的挑战,以及在快手短视频场景中的探索与应用,包括视频版权、相似视频、视频元素搜索等。
演讲提纲:
1. 多模态检索技术及应用
2. 学术前沿研究
3. 困难与挑战
4. 多模态检索系统的构建
5. 应用案列及展望
你将获得:
近年来,视频内容行业发展迅猛,成为当前互联网领域最重要的内容消费形式,为用户提供更好的创作工具也成为建立内容生态的关键因素。得益于深度学习技术的迅猛发展,也为视频创作提供了更多元的创作方式和玩法的可能性,而如何将前沿图像算法应用到移动端 App 成为了最具挑战的课题。本次分享将以视频图像分割技术在移动端的落地为案例,讲述深度学习算法部署到移动端的优化方法和应用实践。
演讲提纲:
1. 视频图像分割技术应用场景
2. 分割技术的进展
3. 视频应用中的挑战
4. 移动端侧性能优化
5. 应用案例及展望
你将获得:
近几年 Transformer 系列模型成为了自然语言处理、计算机视觉、语音识别等领域的主流模型,但其注意力的核心机制带来了庞大的计算量,导致模型训练时间长、推理部署延迟高,需要非常高昂的硬件和时间成本,这是很多科研和业界工作者无法接受的。针对这一痛点,LightSeq 结合了算子融合、混合精度训练优化、显存优化、层级式解码等技术,将 Transformer 系列模型的训练速度提高了 1.5-3 倍,推理速度提高了 4-10倍。LightSeq 支持多种主流深度学习框架和训练库,使用灵活便捷。目前 LightSeq 已经开源并获得了广泛关注,被应用到了字节跳动火山翻译、搜索、广告、推荐等众多业务上。
近年来,随着自然语言处理(NLP)技术的快速发展,智能语音助手、智能音箱、智能语音电视等设备已经逐渐成为我们日常生活中的常用工具。本次分享将以自然语言处理技术在小爱同学的实际落地方案为例,介绍文本分类,槽位抽取,意图消歧等常见 NLP 任务的应用实践及优化改进方案。
演讲提纲:
1. 小爱同学的语义理解方案
2. 槽位抽取算法及其应用
3. 文本分类算法及其应用
4. 多路径消歧算法及其应用
5. 基于用户行为反馈的自学习
你将获得:



微信咨询

电话咨询
微信联系我们

