在智能医疗诊断中经常会需要用到人体动作识别来辅助诊断，而人体动作识别中的复杂背景、自遮挡、多目标等问题一直是阻碍诊断准确率提升的重大障碍。为了解决这些问题平安医保科技对图像、视频进行研究，从图像中获取 25个人体骨架关节点，并在此基础上将动作时间序列的关节角度变化作为人体运动的特征模型。通过改进的动态时间规整算法，计算不同动作之间关节角度变化序列的连贯性，进行动作识别，并引入Attention机制进行优化。结合医学骨科人体动力学，应用于关节疾病筛查，与专业医生的鉴别诊断进行对比，实验结果表明，该方法能达到 95% 以上的一致性。

本次分享主要会介绍该模型的框架和优化方案，并分享该模型在医疗领域的实践应用表现。

演讲大纲

一、肢体特征提取

1．静态姿态的关节角度特征

2．人体运动特征

二、模型框架及优化

1．模型整体框架

2．注入注意力机制提升准确率

3．使用ciou/Focal进行loss优化

4．使用TFLite进行移动端优化

5．多人场景下的精准识别

三、肢体识别在医疗领域应用实践分享

1．骨科疾病筛查的挑战与机遇

2．肩周炎筛查实践

四、未来展望

1．肢体识别在行为预警领域的挑战与机遇

2．在AR/VR领域的交叉碰撞/未来可期

听众收益

1．了解人体动作识别中的复杂背景、自遮挡、多目标等问题的解决方案

2．了解模型的轻量化及移动端部署方案

3．了解肢体识别技术在医疗领域的实践