姿态估计的方法、装置、设备和存储介质制造方法及图纸

根据本公开的实施例，提供了姿态估计的方法、装置、设备和存储介质。该方法包括获取与当前颈部姿态相关联的目标二维图像，通过利用颈部关键点定位模型处理目标二维图像来确定目标二维图像中的多个颈部目标关键点，其中颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，训练三维素材上标注的多个三维颈部参考关键点投影到训练颈部图像中的颈部区域而得到的多个二维颈部参考关键点，该训练颈部图像呈现出多个参考颈部姿态；以及基于多个颈部目标关键点，确定当前颈部姿态。由此能够从图像或视频中获取更准确的颈部姿态，以实现更加真实的三维素材加载体验。实的三维素材加载体验。实的三维素材加载体验。

【技术实现步骤摘要】
姿态估计的方法、装置、设备和存储介质


[0001]本公开的示例实施例总体涉及计算机领域，特别地涉及用于数据处理的方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]增强现实(AR)技术能够把虚拟信息，例如物体、图片、视频、声音等等叠加在现实环境中。目前，AR技术被广泛应用于诸如购物、动画、游戏、社交等各个方面。例如，在线上购物平台，用户可以通过AR技术在线虚拟穿戴感兴趣的服装或配饰。又例如，拍照软件在拍照过程中可以通过AR技术为拍摄对象加载一些趣味素材以丰富拍摄画面。在使用AR技术的过程中，需要实现待加载的素材与加载对象之间的位置匹配，以确保得到满意的可视化效果。

技术实现思路

[0003]在本公开的第一方面，提供了一种姿态估计的方法。该方法包括获取与当前颈部姿态相关联的目标二维图像并且通过利用颈部关键点定位模型处理目标二维图像来确定目标二维图像中的多个颈部目标关键点。其中该颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，训练三维素材上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种姿态估计方法，包括：获取与当前颈部姿态相关联的目标二维图像；通过利用颈部关键点定位模型处理所述目标二维图像来确定所述目标二维图像中的多个颈部目标关键点，其中所述颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，所述参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，所述训练三维素材上标注的多个三维颈部参考关键点投影到所述训练颈部图像中的颈部区域而得到的多个二维颈部参考关键点，所述训练颈部图像呈现出多个参考颈部姿态；以及基于所述多个颈部目标关键点，确定所述当前颈部姿态。2.根据权利要求1所述的方法，其中所述多个三维颈部参考关键点是在所述训练三维素材加载到所述训练颈部图像时，根据多个训练颈部图像对应的加载姿态与参考颈部三维模型之间的对应关系来标注的。3.根据权利要求1所述的方法，其中获取所述目标二维图像包括：确定在与所述目标二维图像相对应的当前图像帧之前获取到的参考图像帧中是否包括颈部区域；以及响应于确定所述参考图像帧中包括所述颈部区域，基于所述颈部区域在所述参考图像帧中的图像范围在所述当前图像帧中确定所述目标二维图像。4.根据权利要求3所述的方法，还包括：响应于确定所述参考图像帧中未包括所述颈部区域，基于脸部区域在所述参考图像帧中的位置和脸部与颈部之间的参考位置关系，预测在所述当前图像帧中的颈部区域；以及将所预测的颈部区域确定为所述目标二维图像。5.根据权利要求1所述的方法，其中确定所述多个颈部目标关键点包括：响应于确定所述当前颈部姿态与所述多个颈部参考姿态中的第一颈部参考姿态彼此匹配，获取呈现所述第一颈部参考姿态的所述训练颈部图像上的多个二维颈部参考关键点；以及至少将所述多个二维颈部参考关键点中的部分颈部参考关键点确定为所述多个颈部目标关键点。6.根据权利要求1所述的方法，其中确定所述当前颈部姿态包括：确定对应于所述多个颈部目标关键点在所述目标二维图像中的多个二维坐标的、在所述标准颈部三维模型所处的三维坐标系下的多个三维坐标；基于所述三维坐标来确定所述当前颈部姿态在所述三维坐标系下相较于所述标准颈部三维模型的平移和旋转程度；以及基于所述平移和旋转程度来确定所述当前颈部姿态。7.根据权利要求6所述的方法，还包括：获取要加载到所述目标二维图像的颈部区域的目标三维素材，所...

【专利技术属性】
技术研发人员：朱泳明，罗宇轩，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：