三维点检测的方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种三维点检测的方法、装置、电子设备及存储介质，其中，该方法包括：获取多个视角下对多个目标对象进行拍摄得到的目标图像，以及基于获取的目标图像确定的多个目标对象中每个目标对象的候选三维点的三维坐标信息；针对每个目标对象，执行如下步骤：基于目标对象的候选三维点的三维坐标信息，确定目标对象对应的候选三维空间；基于目标对象对应的候选三维空间、以及目标图像，确定目标对象的目标三维点的三维坐标信息。本公开可以准确的对多个目标对象的点进行检测，还可以显著提升检测的效率。提升检测的效率。提升检测的效率。

【技术实现步骤摘要】
三维点检测的方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
，具体而言，涉及一种三维点检测的方法、装置、电子设备及存储介质。

技术介绍

[0002]三维(Three
‑
Dimensional，3D)人体姿态估计是指从图像、视频或点云中估计人物目标的姿态，常用于人体重建、人机交互、行为识别、游戏建模等各个工业领域。在实际应用场景中，经常会出现多人姿态估计的需求。其中，人体中心点检测可作为多人姿态估计的一个前置任务。
[0003]相关技术中提供了一种人体中心点检测方案，该基于3D空间体素化进行多视角特征提取，并通过卷积神经网络(Convolutional Neural Networks，CNN)检测人体中心点。其中，空间体素化是将3D空间等距地划分为等大小的网格，体素化后的多视角图像特征可以作为3D卷积的输入。
[0004]然而，在进行体素化的过程中，无法有效的区分不同的目标，将导致所检测到的多个人体中心点的准确性较差，与此同时，由于上述体素化是针对整个空间进行的，这将耗费大量的计算量。

技术实现思路

[0005]本公开实施例至少提供一种三维点检测的方法、装置、电子设备及存储介质，在提升检测准确性的同时，提升检测效率。
[0006]第一方面，本公开实施例提供了一种三维点检测的方法，所述方法包括：
[0007]获取多个视角下对多个目标对象进行拍摄得到的目标图像，以及基于获取的所述目标图像确定的所述多个目标对象中每个目标对象的候选三维点的三维坐标信息；
[0008]针对所述每个目标对象，执行如下步骤：
[0009]基于所述目标对象的候选三维点的三维坐标信息，确定所述目标对象对应的候选三维空间；
[0010]基于所述目标对象对应的候选三维空间、以及所述目标图像，确定所述目标对象的目标三维点的三维坐标信息。
[0011]采用上述三维点检测的方法，在基于多个视角下对多个目标对象进行拍摄得到的目标图像确定每个目标对象的候选三维点的三维坐标信息的情况下，能够基于每个目标对象的候选三维点的三维坐标信息、以及目标图像，确定每个目标对象的目标三维点的三维坐标信息。
[0012]本公开利用目标对象的候选三维点所在候选三维空间与多个视角下的目标图像之间的投影关系，可以准确的对每个目标对象的三维点进行检测，与此同时，针对候选三维点在候选三维空间内的投影操作避免了整个空间的体素化操作，这将显著提升检测的效率。
[0013]在一种可能的实施方式中，所述三维点包括三维中心点；所述候选三维点包括候选三维中心点，且所述目标对象的所述候选三维中心点位于所述目标对象的中心位置；所述目标三维点包括目标三维中心点。
[0014]在一种可能的实施方式中，所述基于所述目标对象对应的候选三维空间、以及所述目标图像，确定所述目标对象的目标三维点的三维坐标信息，包括：
[0015]将所述目标对象的候选三维空间进行空间采样，确定多个采样点；
[0016]针对所述多个采样点中的每个采样点，基于所述采样点在所述候选三维空间内的三维坐标信息、以及所述目标图像，确定所述采样点对应的三维点检测结果；
[0017]基于得到的所述三维点检测结果，确定所述目标对象的目标三维点的三维坐标信息。
[0018]这里，针对每个目标对象可以确定对应的候选三维空间，并基于对候选三维空间的采样实现有关三维点的检测，相比整个体素空间的操作，针对候选三维空间的采样操作显著提升了检测的效率。
[0019]在一种可能的实施方式中，所述基于所述采样点在所述候选三维空间内的三维坐标信息、以及所述目标图像，确定所述采样点对应的三维点检测结果，包括：
[0020]针对所述多个采样点中的每个采样点，基于所述候选三维空间所在三维坐标系与各个视角所在二维坐标系之间的对应关系，将所述三维坐标信息投影至不同视角下，确定所述采样点分别在多个所述目标图像中的二维投影点信息；
[0021]基于所述采样点分别在多个所述目标图像中的二维投影点信息，确定所述采样点在不同视角下的采样点特征信息；
[0022]基于所述采样点在不同视角下的采样点特征信息，确定所述采样点对应的三维点检测结果。
[0023]本公开利用采样点在不同视角下的采样点特征信息可以确定采样点在不同视角下的连接关系，这样的连接关系将有助于确定出更为准确的采样点特征信息，进一步使得所确定的三维点检测结果和准确度得以提升。
[0024]在一种可能的实施方式中，所述二维投影点信息包括二维投影点的图像位置信息；所述基于所述采样点分别在多个所述目标图像中的二维投影点信息，确定所述采样点在不同视角下的采样点特征信息，包括：
[0025]提取多个所述目标图像分别对应的图像特征；
[0026]针对多个所述目标图像中的每个所述目标图像，基于所述采样点在多个所述目标图像中的二维投影点的图像位置信息，从所述目标图像对应的图像特征中提取与所述图像位置信息对应的图像特征；
[0027]将提取的与所述图像位置信息对应的图像特征，确定所述采样点在不同视角下的采样点特征信息。
[0028]这里，可以基于采样点在多个目标图像中的二维投影点信息与图像特征之间的对应关系，确定与采样点匹配的采样点特征信息，操作简单。
[0029]在一种可能的实施方式中，所述基于所述采样点在不同视角下的采样点特征信息，确定所述采样点对应的三维点检测结果，包括：
[0030]基于所述采样点在不同视角下的采样点特征信息，以及与所述采样点关联的其他
采样点的采样点特征信息，确定所述采样点在不同视角下的更新采样点特征信息；
[0031]基于所述采样点对应的更新采样点特征信息，确定所述采样点对应的三维点检测结果。
[0032]这里，可以利用采样点在不同视角下的采样点特征信息，以及与该采样点关联的其他采样点的采样点特征信息进行该采样点的采样点特征信息的更新，更新采样点特征信息一定程度上包括了一个视图内的其它采样点的特征，还包括了不同视图间的采样点的特征，使得采样点的特征更趋近于准确，进而使得所确定的三维姿态信息也更为准确。
[0033]在一种可能的实施方式中，按照如下步骤确定每个目标对象的候选三维点的三维坐标信息：
[0034]从多个所述目标图像中分别提取多个二维点的图像特征信息，其中，每个二维点是位于对应的目标对象中的像素点；
[0035]基于从多个所述目标图像中分别提取的图像特征信息，确定属于同一目标对象的成对的二维点，其中，所述成对的二维点来自不同的目标图像；
[0036]根据确定的所述成对的二维点在各自目标图像中的二维坐标信息，确定所述同一目标对象的候选三维点的三维坐标信息。
[0037]本公开有关成对的二维点的确定可以有效的关联目标对象在二维空间中的对应关系，这样所构建出的候选三维点一定程度上可以指向的是同一目标对象，从而为多目标对象的准确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维点检测的方法，其特征在于，所述方法包括：获取多个视角下对多个目标对象进行拍摄得到的目标图像，以及基于获取的所述目标图像确定的所述多个目标对象中每个目标对象的候选三维点的三维坐标信息；针对所述每个目标对象，执行如下步骤：基于所述目标对象的候选三维点的三维坐标信息，确定所述目标对象对应的候选三维空间；基于所述目标对象对应的候选三维空间、以及所述目标图像，确定所述目标对象的目标三维点的三维坐标信息。2.根据权利要求1所述的方法，其特征在于，所述三维点包括三维中心点；所述候选三维点包括候选三维中心点，且所述目标对象的所述候选三维中心点位于所述目标对象的中心位置；所述目标三维点包括目标三维中心点。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述目标对象对应的候选三维空间、以及所述目标图像，确定所述目标对象的目标三维点的三维坐标信息，包括：将所述目标对象的候选三维空间进行空间采样，确定多个采样点；针对所述多个采样点中的每个采样点，基于所述采样点在所述候选三维空间内的三维坐标信息、以及所述目标图像，确定所述采样点对应的三维点检测结果；基于得到的所述三维点检测结果，确定所述目标对象的目标三维点的三维坐标信息。4.根据权利要求3所述的方法，其特征在于，所述基于所述采样点在所述候选三维空间内的三维坐标信息、以及所述目标图像，确定所述采样点对应的三维点检测结果，包括：针对所述多个采样点中的每个采样点，基于所述候选三维空间所在三维坐标系与各个视角所在二维坐标系之间的对应关系，将所述三维坐标信息投影至不同视角下，确定所述采样点分别在多个所述目标图像中的二维投影点信息；基于所述采样点分别在多个所述目标图像中的二维投影点信息，确定所述采样点在不同视角下的采样点特征信息；基于所述采样点在不同视角下的采样点特征信息，确定所述采样点对应的三维点检测结果。5.根据权利要求4所述的方法，其特征在于，所述二维投影点信息包括二维投影点的图像位置信息；所述基于所述采样点分别在多个所述目标图像中的二维投影点信息，确定所述采样点在不同视角下的采样点特征信息，包括：提取多个所述目标图像分别对应的图像特征；针对多个所述目标图像中的每个所述目标图像，基于所述采样点在多个所述目标图像中的二维投影点的图像位置信息，从所述目标图像对应的图像特征中提取与所述图像位置信息对应的图像特征；将提取的与所述图像位置信息对应的图像特征，确定所述采样点在不同视角下的采样点特征信息。6.根据权利要求4或5所述的方法，其特征在于，所述基于所述采样点在不同视角下的采样点特征信息，确定所述采样点对应的三维点检测结果，包括：基于所述采样点在不同视角下的采样点特征信息，以及与所述采样点关联的其他采样点的采样点特征信息，确定所述采样点在不同视角下的更新采样点特征信息；
基于所述采样点对应的更新采样点特征信息，确定所述采样点对应的三维点检测结果。7.根据权利要求1
‑
6任一所述的方法，其特征在于，按照如下步骤确定每个目标对象的候选三维点的三维坐标信息：从多个所述目标图像中分别提取多个二维点的图像特征信息，其中，每个二维点是位于对应的目标对象中的像素点；基于从多个所述目标图像中分别提取的图像特征信息，确定属于同一目标对象的成对的二维点，其中，所述成对的二维点来自不同的目标图像；根据确定的所述成对的二维点在各自目标图像中的二维坐标信息，确定所述同一目标对象的候选三维点的三维坐标信息。8.根据权利要求7所述的方法，其特征在于，所述基于从多个所述目标图像中分别提取的图像特征信息，确定属于同一目标对象的成对的二维点，包括：将所述目标图像进行两两组合，得到至少一组目标图像；基于多个所述目标图像中的二维点的图像特征信息，确定每组所述目标图像中是否存在图像特征匹配的两个二维点；所述两个二维点分别属于同一组目标图像中的不同目标图像；若存在，则将图像特征匹配的两个二维点确定为所述属于同一目标对象的成对的二维点。9.根据权利要求8所述的方法，其特征在于，所述基于多个...

【专利技术属性】
技术研发人员：吴思泽，金晟，刘文韬，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：