基于特征金字塔融合的三维人体姿态识别网络及方法技术

本发明专利技术属于三维人体姿态识别技术领域，具体公开了一种基于特征金字塔融合的三维人体姿态识别网络，网络主干部分为ResNet50，包括降采样模块和依次设置四个特征提取模块；每个所述特征提取模块由不同数目的瓶颈层组成，通过降维和升维来提取输入数据的关键特征；特征提取模块为金字塔结构；特征提取模块引出的特征图均分为两路，一路进入下一级特征提取模块，另一路经过局部聚焦单元后进行拼接融合操作。本发明专利技术提供了基于特征金字塔融合的三维人体姿态识别网络，融入ECA注意力机制，通过学习特征的每个通道的权重值，挖掘特征的交互性和相关性，实现了提高3D人体姿态估计的精确度，达到了降低误差的效果。

【技术实现步骤摘要】

本专利技术属于三维人体姿态识别，特别涉及一种基于特征金字塔融合的三维人体姿态识别网络及方法。

技术介绍

1、在基于虚拟现实的模拟仿真培训系统中，能否实时准确地识别操作者的三维人体姿态直接关系到系统的可用性和准确性。当前最常见的方式是操作者穿戴智能设备来捕捉各个关节的位移形成三维人体姿态，并将真人的动作还原到虚拟现实的环境里，这种方法需要专业设备和场地，很难全面推广。快速发展的计算机视觉技术使得仅仅靠摄像头捕捉和识别三维人体姿态变为了可能。

2、近年来，主流的三维人体姿态识别主要方法是基于rgb-d图像和基于rgb图像，rgb-d图像需要像microsoft kinect这样的深度照相机，成本很高，而且视野有限。rgb图像采用单目摄像头，例如手机摄像头和家用摄影机，价格低廉，视野开阔，但是缺乏深度信息。

3、目前普遍的单rgb图像到人体三维关键点是都是利用主干网络的最后一层特征图进行关键点回归，无论是基于热图还是基于关键点回归都是利用主干网络的最后一层作为深层特征。这两种方法应用广泛，但效果还不够理想。积分人体姿势回归方法将热图表示和本文档来自技高网...

【技术保护点】

1.基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述网络为深度残差网络；

2.根据权利要求1所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述特征提取模块的数量为N个，所述模块组和所述局部聚焦单元的数量均为N-1，其中N大于等于4；

3.根据权利要求2所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述N等于4，4个所述特征提取模块分别为第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块；

4.根据权利要求3所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，3个所述模块组为依次设置的第一...

【技术特征摘要】

1.基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述网络为深度残差网络；

2.根据权利要求1所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述特征提取模块的数量为n个，所述模块组和所述局部聚焦单元的数量均为n-1，其中n大于等于4；

3.根据权利要求2所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述n等于4，4个所述特征提取模块分别为第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块；

4.根据权利要求3所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，3个所述模块组为依次设置的第一模块组、第二模块组、第三模块组，所述第一模块组包括第一反卷积模块和第一融合模块，第二模块组包括第二反卷积模块和第二融合模块，第三模块组包括第三反卷积模块和第三融合模块；

5.根据权利要求4所述的基于特征金字塔融合的三维人体姿态识别网络，其特征在于，所述第一特征提取模块包含3个瓶颈层，每个瓶颈层包含三个1×1的卷积核，输出的特征图通道数为256个；

6.根据权利要求...

【专利技术属性】
技术研发人员：刘智超，邱国申，白雪峰，王亚超，张鹏，王大威，
申请(专利权)人：蒙东协合科左后旗风力发电有限公司，
类型：发明
国别省市：