三维人体姿态估计方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种三维人体姿态估计方法、装置、设备及存储介质，所述方法通过采用多视图融合网络生成输入图像对应的目标热图，将所述目标热图的人体中心点热图信息进行匹配融合，获得融合信息；将所述融合信息投影到3D空间，获得三维特征体积；根据所述三维特征体积估计三维人体姿态，能够提高三维人体姿态估计的准确性，减少了其它人体关键点的推理搜索空间，又降低了三维人体姿态估计的误差，提高了姿态的重建质量，降低了计算成本，避免了量化误差影响，提升了三维人体姿态估计的准确度，方案实施简单可靠，能够适用于大部分场景的三维人体姿态估计，提升了三维人体姿态估计的速度和效率。度和效率。度和效率。

【技术实现步骤摘要】
三维人体姿态估计方法、装置、设备及存储介质


[0001]本专利技术涉及多视图融合
，尤其涉及一种三维人体姿态估计方法、装置、设备及存储介质。

技术介绍

[0002]近年来，通过多视图匹配的三维人体姿态估计研究主要分为两大类：基于二维到三维的多阶段方法和基于直接回归的方法；基于二维到三维的方法如通过估计同一人在每个视图中的2D关键点，然后将匹配的2D单视图姿态提升到3D空间；又如将2D图结构模型扩展到3D图结构模型以编码身体关节位置之间的成对关系，又如首先解决多人2D姿态检测并在多个摄像机视图中进行关联，再使用三角测量恢复3D姿态；这些方法在特定的场景下是有效的，但非常依赖2D检测结果，二维姿态估计不准确会很大程度上影响3D姿态的重建质量，特别是存在遮挡情况。
[0003]基于直接回归的方法也称为基于端到端的方法，由于深度神经网络可以拟合复杂的函数，这一方法通常不需要其它算法辅助和中间数据，因此可以直接基于回归的网络结构预测三维姿态坐标；如VoxelPose模型通过多视图特征构建离散化的3D特征体积，没有独立地估计每个视图中的2D姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维人体姿态估计方法，其特征在于，所述三维人体姿态估计方法包括：采用多视图融合网络生成输入图像对应的目标热图，将所述目标热图的人体中心点热图信息进行匹配融合，获得融合信息；将所述融合信息投影到3D空间，获得三维特征体积；根据所述三维特征体积估计三维人体姿态。2.如权利要求1所述的三维人体姿态估计方法，其特征在于，所述采用多视图融合网络生成输入图像对应的目标热图，将所述目标热图的人体中心点热图信息进行匹配融合，获得融合信息，包括：将输入图像输入至多视图融合网络的高分辨率网络中，获取高分辨率特征信息；根据所述高分辨率特征信息构建所述高分辨率网络的残差单元，对所述残差单元进行卷积采样，获得多分辨率模块；将所述多分辨率模块中各阶段不同分辨率的特征图进行融合，获得目标热图；将所述目标热图的人体中心点热图信息进行匹配融合，获得融合信息。3.如权利要求2所述的三维人体姿态估计方法，其特征在于，所述将所述多分辨率模块中各阶段不同分辨率的特征图进行融合，获得目标热图，包括：将所述多分辨率模块中各阶段不同分辨率的特征图进行融合，获得融合特征图；将所述融合特征图输入反卷积模块，经过卷积和通道转换,获得输出结果，将所述输出结果与所述融合特征图进行维度上的拼接，获得拼接特征；根据反卷积层将所述拼接特征的分辨率进行提升，并通过所述残差单元提取分辨率提升后的拼接特征的目标特征信息，根据所述目标特征信息生成目标热图。4.如权利要求2所述的三维人体姿态估计方法，其特征在于，所述将所述目标热图的人体中心点热图信息进行匹配融合，获得融合信息，包括：将所述目标热图中人体髋关节之间的预设关键点作为人体中心点；根据多视图的人体中心点将所述目标热图的人体中心点热图信息进行匹配融合，获得融合信息。5.如权利要求4所述的三维人体姿态估计方法，其特征在于，所述根据多视图的人体中心点将所述目标热图的人体中心点热图信息进行匹配融合，获得...

【专利技术属性】
技术研发人员：胡波，胡世卓，周斌，沈振冈，李艳红，
申请(专利权)人：武汉东信同邦信息技术有限公司，
类型：发明
国别省市：