关节关键点的三维坐标的确定方法及其相关设备技术

本申请提供了一种关节关键点的三维坐标的确定方法及其相关设备，包括：确定关节关键点对应于各关节图像的中间三维坐标；确定各关节图像对应的第一输入信息；由第一神经网络模型根据各关节图像对应第一输入信息进行预测；计算关节关键点对应于各关节图像的预测三维坐标；计算目标关节对应于各关节图像的第一预测关节长度；确定对应于各关节图像的关节长度损失；确定各关节图像对应的第二输入信息；由第二神经网络根据各关节图像对应的第二输入信息进行预测；计算各关节图像对应的总计比例因子；若达到迭代结束条件，则确定目标三维坐标。本申请可实现基于目标关节的多张关节图像确定各关节图像对应的关节关键点的三维坐标及同时预测关节长度信息。及同时预测关节长度信息。及同时预测关节长度信息。

【技术实现步骤摘要】
关节关键点的三维坐标的确定方法及其相关设备


[0001]本申请涉及人工智能领域，更具体地，涉及一种关节关键点的三维坐标的确定方法及其相关设备。

技术介绍

[0002]随着计算机视觉技术的快速发展，深度学习技术在图像处理领域中的应用越来越广泛。在相关技术中，虽然可以通过相机等来采集到目标关节的关节图像，但是根据关节图像并不能确定关节在三维空间中的坐标。因此，如何通过关节的关节图像来逆向确定关节中的关节关键点在三维空间中的坐标是相关技术中亟待解决的技术问题。

技术实现思路

[0003]鉴于上述问题，本申请实施例提出了一种关节关键点的三维坐标的确定方法、装置、电子设备及存储介质，以改善上述问题。
[0004]根据本申请实施例的一个方面，提供了一种关节关键点的三维坐标的确定方法，包括：获取目标关节的多张关节图像；根据关节关键点在各所述关节图像中的二维坐标和所述关节图像所来源相机的相机内参，确定所述关节关键点对应于各所述关节图像的中间三维坐标；根据所述关节关键点对应于各所述关节图像的中间三维坐标和所述关节关键点在各所述关节图像中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关节关键点的三维坐标的确定方法，其特征在于，所述方法包括：获取目标关节的多张关节图像；根据关节关键点在各所述关节图像中的二维坐标和所述关节图像所来源相机的相机内参，确定所述关节关键点对应于各所述关节图像的中间三维坐标；根据所述关节关键点对应于各所述关节图像的中间三维坐标和所述关节关键点在各所述关节图像中的相对深度，确定各所述关节图像对应的第一输入信息；由第一神经网络模型根据各所述关节图像对应的第一输入信息进行比例因子预测，得到各所述关节图像对应的预测比例因子；根据各所述关节图像对应的预测比例因子和所述关节关键点对应于各所述关节图像的中间三维坐标，计算所述关节关键点对应于各所述关节图像的预测三维坐标；根据关节关键点对应于各所述关节图像的预测三维坐标，计算所述目标关节对应于各所述关节图像的第一预测关节长度；根据所述目标关节对应于各所述关节图像的第一预测关节长度，确定对应于各关节图像的关节长度损失；根据对应于各关节图像的关节长度损失和各所述关节图像对应的第一输入信息，确定各关节图像对应的第二输入信息；由第二神经网络根据各关节图像对应的第二输入信息进行比例因子变化量预测，得到对应于各所述关节图像的预测比例因子变化量；将对应于各所述关节图像的预测比例因子变化量与各所述关节图像对应的预测比例因子对应相加，得到各所述关节图像对应的总计比例因子；根据各所述关节图像对应的总计比例因子计算所述目标关节对应于各所述关节图像的相互长度损失；根据各所述关节图像对应的相互长度损失判断是否达到迭代结束条件；若达到迭代结束条件，则根据各所述关节图像对应的总计比例因子和所述关节关键点对应于各所述关节图像的中间三维坐标，确定所述关节关键点的目标三维坐标。2.根据权利要求1所述的方法，其特征在于，所述根据各所述关节图像对应的相互长度损失判断是否达到迭代结束条件之后，所述方法还包括：若确定未达到迭代结束条件，则将所述各所述关节图像对应的总计比例因子作为下一轮迭代过程中各所述关节图像的预测比例因子，并返回执行所述根据各所述关节图像对应的预测比例因子和所述关节关键点对应于各所述关节图像的中间三维坐标，计算所述关节关键点对应于各所述关节图像的预测三维坐标的步骤。3.根据权利要求1所述的方法，其特征在于，所述根据各所述关节图像对应的预测比例因子和所述关节关键点对应于各所述关节图像的中间三维坐标，计算所述关节关键点对应于各所述关节图像的预测三维坐标之后，所述方法还包括：根据所述关节关键点对应于各所述关节图像的预测三维坐标，计算所述关节关键点对应于各所述关节图像的预测相对深度；根据所述关节关键点对应于各所述关节图像的预测相对深度和所述关节关键点在各所述关节图像中的相对深度，计算所述关节关键点对应于各所述关节图像对应的相对深度损失；
将所述关节关键点对应于各所述关节图像对应的相对深度损失添加到所对应关节图像对应的第二输入信息。4.根据权利要求1所述的方法，其特征在于，所述根据对应于各关节图像的关节长度损失和各所述关节图像对应的第一输入信息，确定各关节图像对应的第二输入信息，包括：将对应于各所述关节图像的关节长度损失和各所述关节图像对应的第一输入信息进行组合，得到各所述关节图像对应的第二输入信息。5.根据权利要求1所述的方法，其特征在于，所述关节关键点包括指示所述目标关节的一个端部的第一关节关键点和所述目标关节的另一个端部的第二关节关键点；所述根据关节关键点对应于各所述关节图像的预测三维坐标，计算所述目标关节对应于各所述关节图像的第一预测关节长度，包括：对于每一所述关节图像，根据所述第一关节关键点对应于所述关节图像的预测三维坐标和所述第二关节关键点对应于所述关节图像的预测三维坐标，计算所述第一关节关键点与所述第二关节关键点之间的欧式距离；将所计算得到的欧...

【专利技术属性】
技术研发人员：曾良军，陈小波，寸毛毛，孙其民，郭振民，
申请(专利权)人：南昌虚拟现实研究院股份有限公司，
类型：发明
国别省市：