【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种人体姿态和外形参数的估计方法。
技术介绍
1、从单目图像中回归人体的姿态和外形，是计算机视觉领域一个非常有价值的研究方向。该任务在人机交互，运动分析和虚拟现实等领域具有很广泛的应用前景。该任务以单张的rgb图像作为输入，并预测人体模型的姿态和形状参数作为输出。归功于大规模三维人体姿态数据集和各类深度学习方法的发展，最近三维人体姿态估计的方法在室内和室外的测试数据集上都取得了显著的性能提升。然而，现有工作在复杂的现实环境当中通常会出现性能不佳的问题。原因在于，灵活的身体结构存在着相互依赖的关节以及高自由度的肢体，这可能会导致人体自遮挡或复杂多变的身体姿态；复杂的现实环境可能会导致前景遮挡和周围的人体遮挡；对于三维人体姿态估计来说，高质量的三维带标签数据很难获取，尤其是室外数据，只有很小一部分的训练图像具有三维真值标签。此外，现有的关于遮挡情况下人体姿态估计问题的研究主要依靠于局部像素区域独立回归每个模型参数。这样的局部特征对遮挡是有着良好的鲁棒性，但是过度关注或依赖于局部特征是难以对被遮挡区域给出良好的预测。
2、针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
1、针对相关技术中的问题，本专利技术提出一种自适应遮蔽的人体姿态估计方法，能够解决上述技术问题。
2、本专利技术的技术方案是这样实现的：
3、一种基于自适应遮蔽的人体姿态估计方法，包括：
4、(1)本专利技术提出一个以单目无
5、(2)作为特征(1)的组成部分，如图1橙色虚线所示，本专利技术设计了一种定向的自监督损失。特征(1)中的自适应遮蔽网络(图一蓝色虚线框)会在不同比例的掩码遮挡下，通过注意力回归器并行回归得到对应的初始人体姿态回归特征z，而低遮挡的输入图像由于有更多可见的人体模型线索，因此对应的姿态回归结果更加准确，可以作为高遮挡图像的人体姿态回归的指导。因此对于同一图像，低遮挡比例对高遮挡比例的回归结果的定向自监督损失既能解决3d真值标签不足的问题，也能对特征(1)的自适应过程加以更好的约束，强化在遮挡环境中训练的鲁棒性。
6、(3)作为特征(1)的组成部分，如图1绿色虚线框所示，本专利技术设计了一种全局重优化机制。首先提取人体的全局特征来记录人体关节的姿态和相对位置，而后将全局特征和局部特征相融合，对(2)中仅通过局部特征预测的初始人体姿态回归进行重优化。这样能够充分利用可见的已知信息预测被遮挡部分，估计出更加稳定且准确的人体姿态。
7、相比于以往的人体估计方法，本专利技术的创新点在于提出一种并行的自适应遮蔽训练网络，本专利技术将遮蔽掩码引入人体姿态估计领域，采用不同比例的掩码来模拟不同程度的遮挡情况，来使网络学习重建三维人体，从而达到自适应任意比例遮挡的目的。具体来说，自适应遮蔽网络对同一图像进行不同比例遮蔽掩码，而后并行通过自注意力回归器进行不同比例掩码下的人体姿态回归，理想条件下各个输出的人体姿态应保持一致。采用如上的方法能使得模型在不同程度的遮挡条件下估计出良好的人体姿态，能更好的适应复杂的现实环境。
8、事实上，三维人体姿态真值注释的稀缺性是人体姿态估计领域一直存在的问题，而这一问题在重度遮挡的情况下更为严重。三维姿态估计往往无法受到约束，而且由于可视区域有限，对遮挡区域的回归结果可能会有变化。此外，在本专利技术的自适应遮挡网络中，同一目标的人体估计值应在任何外部遮挡条件下保持不变。因此，如何在不同尺度的遮挡条件下获得相同的人体姿态估计，是提高回归复杂遮挡情况下人体姿态的泛化能力和整体性能的核心。因此本专利技术设计了一种定向的自监督损失来弥补上述问题，使得低遮挡图像的人体预测结果可以定向作为高遮挡图像的人体预测结果的指导。通过这一自监督损失，既能解决3d真值标签不足的问题，也能对本研究模型的自适应过程加以更好的监督。
9、此外，现有的关于遮挡情况下人体姿态估计问题的研究主要依靠于局部像素区域独立回归每个模型参数。这样的局部特征对遮挡是有着良好的鲁棒性，但是过度关注或依赖于局部特征是难以对被遮挡区域给出良好的预测。原因在于这样的表征关注图像中过小的人体局部区域，以致缺乏人体关节间的语义和相对位置信息。因此本专利技术提取人体的全局特征，把其作为一种高级语义化的人体表征，记录全部人体关节的姿态和相对位置，并利用全局特征对仅通过局部特征预测的人体姿态进行重优化，这样能够充分利用已知信息预测被遮蔽部分，估计出更加稳定且准确的人体姿态。
10、有益效果
11、本专利技术提出的自适应遮蔽方法能够在各类遮挡场景下高精度的估计人体姿态和形态。所提出的自适应方案能够在各种复杂的遮挡环境中稳定且准确预测人体模型参数。与此同时，定向自监督损失能够间接补充对人体模型的监督约束，从而进一步提高人体估计精度。最后，全局重优化机制能够利用人体的全局特征进一步优化被遮挡区域的人体姿态回归，保证在复杂场景中训练的稳定性和鲁棒性。
本文档来自技高网...【技术保护点】
1.一种基于自适应遮蔽的三维人体姿态估计方法，其特征在于，包括：
2.根据权利要求1所述的人体姿态估计方法，其特征在于，特征(2)中所述的定向自监督损失利用低遮挡图像的人体姿态结果回归更加准确这一特点，可以定向作为高遮挡图像的人体姿态回归结果的指导和约束，公式化表达为：
3.根据权利要求1所述的人体姿态和外形估计方法，其特征在于，特征(3)中所述的全局重优化机制将人体的全局特征和局部特征相融合，对仅通过局部特征预测的人体姿态进行重优化，公式化表达如下：
【技术特征摘要】
1.一种基于自适应遮蔽的三维人体姿态估计方法，其特征在于，包括：
2.根据权利要求1所述的人体姿态估计方法，其特征在于，特征(2)中所述的定向自监督损失利用低遮挡图像的人体姿态结果回归更加准确这一特点，可以定向作为高遮挡图像的人...
【专利技术属性】
技术研发人员：任柯燕，史禹，赵虎，刘海钰，黄靖懿，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。