三维姿态调整的方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种三维姿态调整的方法、装置、电子设备及存储介质，其中，该方法包括：获取目标对象的多个关键点在目标体素空间内的待调整三维坐标；基于待调整三维坐标，确定多个关键点分别在多张目标图像中投影得到的关键点特征信息；基于目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在多个视角对应的目标图像的关键点特征信息，确定目标对象的三维姿态信息。本公开结合关键点连接关系信息可以约束关键点之间的连接关系，使得确定出的关键点特征信息更为准确，进一步提升三维姿态的精度和准确度。升三维姿态的精度和准确度。升三维姿态的精度和准确度。

【技术实现步骤摘要】
三维姿态调整的方法、装置、电子设备及存储介质


[0001]本公开涉及计算机视觉
，具体而言，涉及一种三维姿态调整的方法、装置、电子设备及存储介质。

技术介绍

[0002]三维(Three
‑
Dimensional，3D)人体姿态估计是指从图像、视频或点云中估计人物目标的姿态，常用于人体重建、人机交互、行为识别、游戏建模等各个工业领域。
[0003]相关技术中提供了一种基于3D空间体素化进行多视角特征提取，并通过卷积神经网络(Convolutional Neural Networks，CNN)检测关键点的3D人体姿态估计方案。其中，空间体素化是将3D空间等距地划分为等大小的网格，体素化后的多视角图像特征可以作为3D卷积的输入。
[0004]上述3D人体姿态估计方案中的空间体素化会带来量化误差，在较大的3D空间场景里，往往只能选择较大的步长进行体素化，这会进一步增大量化误差，导致所确定的三维姿态的精度和准确度均较低。

技术实现思路

[0005]本公开实施例至少提供一种三维姿态调整的方法、装置、电子设备及存储介质，以提升三维姿态评估的精度和准确度。
[0006]第一方面，本公开实施例提供了一种三维姿态调整的方法，所述方法包括：
[0007]获取目标对象的多个关键点在目标体素空间内的待调整三维坐标；
[0008]基于所述待调整三维坐标，确定所述多个关键点分别在多张目标图像中投影得到的关键点特征信息；所述多张目标图像为多个视角下拍摄目标对象得到的目标图像；
[0009]基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息。
[0010]采用上述三维姿态调整的方法，在获取到目标对象的多个关键点在目标体素空间内的待调整三维坐标的情况下，可以基于待调整三维坐标，确定多个关键点分别在多张目标图像中投影得到的关键点特征信息，最后基于目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在多个视角对应的目标图像的关键点特征信息，确定目标对象的三维姿态信息。可知，本公开利用多个关键点在不同视角下的关键点特征信息可以确定多个关键点在不同视角下的连接关系，这样的连接关系将有助于确定出更为准确的关键点特征信息，除此之外，结合预先构建的关键点连接关系信息可以约束关键点之间的连接关系，使得确定出的关键点特征信息更为准确，进一步使得所确定的三维姿态信息的精度和准确度得以提升。
[0011]在一种可能的实施方式中，所述基于所述待调整三维坐标，确定所述多个关键点分别在多张目标图像中投影得到的关键点特征信息，包括：
[0012]基于所述待调整三维坐标，确定所述多个关键点分别在所述多张目标图像中的二
维投影点信息，以及提取所述多张目标图像分别对应的图像特征；
[0013]基于所述关键点在所述多张目标图像中的二维投影点信息，从所述多张目标图像分别对应的图像特征中提取与所述关键点匹配的关键点特征信息；
[0014]将提取的所述与所述关键点匹配的关键点特征信息确定为所述在多张目标图像中投影得到的关键点特征信息。
[0015]这里，可以基于关键点在多张目标图像中的二维投影点信息与图像特征之间的对应关系，确定与关键点匹配的关键点特征信息，操作简单。
[0016]在一种可能的实施方式中，所述二维投影点信息包括二维投影点的图像位置信息；所述基于所述关键点在所述多张目标图像中的二维投影点信息，从所述多张目标图像分别对应的图像特征中提取与所述关键点匹配的关键点特征信息，包括：
[0017]针对所述多张目标图像中的每张目标图像，基于所述关键点在所述多张目标图像中的二维投影点的图像位置信息，从所述目标图像对应的图像特征中提取与所述图像位置信息对应的图像特征；
[0018]将提取的与所述图像位置信息对应的图像特征，确定为与所述关键点匹配的关键点特征信息。
[0019]在一种可能的实施方式中，所述基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息，包括：
[0020]针对所述多个关键点中的每个关键点，基于所述关键点在不同视角下的关键点特征信息，以及与所述关键点关联的其他关键点的关键点特征信息，确定所述关键点在不同视角下的更新关键点特征信息；
[0021]基于所述多个关键点分别对应的更新关键点特征信息，以及所述目标对象对应的预先构建的关键点连接关系信息，确定所述目标对象的三维姿态信息。
[0022]这里，可以利用每个关键点在不同视角下的关键点特征信息，以及与该关键点关联的其他关键点的关键点特征信息进行该关键点的关键点特征信息的更新，更新关键点特征信息一定程度上包括了一个视图内的其他关键点的特征，还包括了不同视图间的关键点的特征，使得关键点的特征更趋近于准确，进而使得所确定的三维姿态信息也更为准确。
[0023]在一种可能的实施方式中，所述基于所述关键点在不同视角下的关键点特征信息，以及与所述关键点关联的其他关键点的关键点特征信息，确定所述关键点在不同视角下的更新关键点特征信息，包括：
[0024]将所述多个视角中的每个视角作为目标视角，分别执行下列步骤：
[0025]基于所述关键点在不同视角下的关键点特征信息以及所述关键点在不同视角下的各个二维投影点之间的第一连接关系，对所述关键点在不同视角下的关键点特征信息进行第一更新，得到第一更新后的关键点特征信息；
[0026]基于所述关键点在所述目标视角下的关键点特征信息以及与所述关键点同属于所述目标视角、且与所述关键点存在第二连接关系的其他关键点的关键点特征信息对所述关键点在所述目标视角下的关键点特征信息进行第二更新，得到第二更新后的关键点特征信息；
[0027]基于所述第一更新后的关键点特征信息以及所述第二更新后的关键点特征信息，
确定所述关键点在所述目标视角下的更新关键点特征信息。
[0028]在一种可能的实施方式中，所述基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息，包括：
[0029]针对所述多个关键点中的每个关键点，将所述关键点在不同视角下的关键点特征信息进行融合，得到所述关键点对应的融合关键点特征信息；
[0030]基于所述目标对象对应的预先构建的关键点连接关系信息、以及所述多个关键点分别对应的融合关键点特征信息，确定所述目标对象的三维姿态信息。
[0031]这里，通过不同视角下的关键点特征信息的融合操作，使得所确定的融合关键点特征信息能够兼顾不同视角的特征，进一步提升三维姿态信息的准确度。
[0032]在一种可能的实施方式中，所述关键点特征信息包括多个维度的关键点特征值；所述将所述关键点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维姿态调整的方法，其特征在于，所述方法包括：获取目标对象的多个关键点在目标体素空间内的待调整三维坐标；基于所述待调整三维坐标，确定所述多个关键点分别在多张目标图像中投影得到的关键点特征信息；所述多张目标图像为多个视角下拍摄目标对象得到的目标图像；基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息。2.根据权利要求1所述的方法，其特征在于，所述基于所述待调整三维坐标，确定所述多个关键点分别在多张目标图像中投影得到的关键点特征信息，包括：基于所述待调整三维坐标，确定所述多个关键点分别在所述多张目标图像中的二维投影点信息，以及提取所述多张目标图像分别对应的图像特征；基于所述关键点在所述多张目标图像中的二维投影点信息，从所述多张目标图像分别对应的图像特征中提取与所述关键点匹配的关键点特征信息；将提取的与所述关键点匹配的关键点特征信息确定为所述在多张目标图像中投影得到的关键点特征信息。3.根据权利要求2所述的方法，其特征在于，所述二维投影点信息包括二维投影点的图像位置信息；所述基于所述关键点在所述多张目标图像中的二维投影点信息，从所述多张目标图像分别对应的图像特征中提取与所述关键点匹配的关键点特征信息，包括：针对所述多张目标图像中的每张目标图像，基于所述关键点在所述目标图像中的二维投影点的图像位置信息，从所述目标图像对应的图像特征中提取与所述图像位置信息对应的图像特征；将提取的与所述图像位置信息对应的图像特征，确定为与所述关键点匹配的关键点特征信息。4.根据权利要求1
‑
3任一所述的方法，其特征在于，所述基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息，包括：针对所述多个关键点中的每个关键点，基于所述关键点在不同视角下的关键点特征信息，以及与所述关键点关联的其他关键点的关键点特征信息，确定所述关键点在不同视角下的更新关键点特征信息；基于所述多个关键点分别对应的更新关键点特征信息，以及所述目标对象对应的预先构建的关键点连接关系信息，确定所述目标对象的三维姿态信息。5.根据权利要求4所述的方法，其特征在于，所述基于所述关键点在不同视角下的关键点特征信息，以及与所述关键点关联的其他关键点的关键点特征信息，确定所述关键点在不同视角下的更新关键点特征信息，包括：将所述多个视角中的每个视角作为目标视角，分别执行下列步骤：基于所述关键点在不同视角下的关键点特征信息以及所述关键点在不同视角下的各个二维投影点之间的第一连接关系，对所述关键点在不同视角下的关键点特征信息进行第一更新，得到第一更新后的关键点特征信息；基于所述关键点在所述目标视角下的关键点特征信息以及与所述关键点同属于所述目标视角、且与所述关键点存在第二连接关系的其他关键点的关键点特征信息对所述关键
点在所述目标视角下的关键点特征信息进行第二更新，得到第二更新后的关键点特征信息；基于所述第一更新后的关键点特征信息以及所述第二更新后的关键点特征信息，确定所述关键点在所述目标视角下的更新关键点特征信息。6.根据权利要求1
‑
5任一所述的方法，其特征在于，所述基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息，包括：针对所述多个关键点中的每个关键点，将所述关键点在不同视角下的关键点特征信息进行融合，得到所述关键点对应的融合关键点特征信息；基于所述目标对象对应的预先构建的关键点连接关系信息、以及所述多个关键点分别对应的融合关键点特征信息，确定所述目标对象的三维姿态信息。7.根据权利要求6所述的方法，其特征在于，所述关键点特征信息包括多个维度的关键点特征值；所述将所述关键点在不同视角下的关键点特征信息进行融合，得到所述关键点对应的融合关键点特征信息，包括：针对所述多个维度中的每个所述维度，确定所述关键点在不同视角下、所述维度对应的...

【专利技术属性】
技术研发人员：吴思泽，金晟，刘文韬，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：