张亚中,现就职于网易传媒集团推荐产品中心,从事新闻数据的内容理解工作,曾任职于华为 2012 实验室。张亚中毕业于西安电子科技大学人工智能学院,获得博士学位,研究方向为视觉感知建模和图像质量评价等,在 Neurocomputing、IEEE TIP、IEEE ISCAS 等国际期刊和会议发表多篇论文。个人对深度学习、多模态学习(特别是文本和视觉)有浓厚的兴趣。
张亚中,现就职于网易传媒集团推荐产品中心,从事新闻数据的内容理解工作,曾任职于华为 2012 实验室。张亚中毕业于西安电子科技大学人工智能学院,获得博士学位,研究方向为视觉感知建模和图像质量评价等,在 Neurocomputing、IEEE TIP、IEEE ISCAS 等国际期刊和会议发表多篇论文。个人对深度学习、多模态学习(特别是文本和视觉)有浓厚的兴趣。
移动互联网时代数据呈现严重的信息过载,用户很难快速地找到自己想要的信息。网易新闻客户端作为新闻资讯平台,帮助用户从海量信息中找到感兴趣的内容,通过连接用户和内容实现个性化推荐。为了实现上述目标,需要同时对用户兴趣和资讯内容进行建模,其中通过算法进行内容理解是建模的基础,也是推荐系统的基石。
网易新闻包含图文、视频、公开课等多种形式的数据,各类型数据需要采用不同的内容分析方法。针对文本内容,我们通过 xgboost 等经典机器学习方法和 textcnn、bert 等深度学习方法进行文本分类和标签生成。针对视频内容,我们基于视频、音频和文本等多模态信息融合进行视频理解。本次分享中,我们将介绍在新闻推荐场景下利用 NLP、CV 及多模态技术对资讯数据进行语义分析的经验和实践。
1.网易新闻的标签体系概览;
2.基于 NLP 的文本内容分析;
3.基于 CV 的视觉内容分析;
4.多模态融合技术的落地实践。
1.了解网易新闻的标签体系;
2.了解基于机器学习和深度学习的标签提取方法;
3.了解多模态技术在视频理解中的应用。