三维物体位姿准确性判断方法、装置及电子设备制造方法及图纸

本申请提出一种三维物体位姿准确性判断方法、装置及电子设备，属于计算机视觉技术领域。其中，该方法包括：获取待校验的目标物体的网格模型、目标物体所在的场景图像及目标物体在场景图像中的第一位姿；根据第一位姿，将目标物体的网格模型进行投影，获取目标物体当前对应的投影，其中，投影中包括外轮廓及内部结构线条；判断投影与场景图像的贴合度是否大于或等于第一阈值；若是，则确定第一位姿准确。由此，通过这种三维物体位姿准确性判断方法，根据由第一位姿确定的目标物体对应的投影，对第一位姿的准确度进行校验，提高了三维物体位姿判准的准确性。

Method, device and electronic equipment for judging accuracy of position and posture of three dimensional objects

【技术实现步骤摘要】
三维物体位姿准确性判断方法、装置及电子设备
本申请涉及图像处理
，尤其涉及计算机视觉
，提出一种三维物体位姿准确性判断方法、装置及电子设备。
技术介绍
三维物体位姿估计技术是计算机视觉中的一项基础技术，主要目标是获得场景图像中三维物体的6个自由度(SixDegreesofFreedom，简称6DoF)位姿，其中，三维物体的6DoF位姿指三维物体在场景中的三维位置及旋转姿态。三维物体的6DoF位姿具有广泛的应用场景，比如，在获取到三维物体的6DoF位姿后，可以根据该位姿在场景图像中添加虚拟物体、互动特效，以实现增强现实效果；或者，可以根据该位姿确定该三维物体在场景中的实际位置，驱动机械臂抓取实际物体或提示移动机器人躲避障碍等，以实现机器人与场景之间的互动。三维物体位姿判准技术是三维物体位姿估计技术的一项重要后处理步骤，主要目标是判断三维物体位姿估计技术输出的6DoF位姿是否准确，以为后续的增强现实等步骤是否进行提供判断依据。相关技术中，三维物体位姿估计技术通常可以输出三维物体的6DoF位姿及其置信度，并将位姿本身的置信度作为6DoF位姿的准确度得分。但是，由于6DoF位姿估计方法的局限性，导致确定的6DoF位姿的置信度不准确，从而使得三维物体位姿判准的准确性较低。
技术实现思路
本申请提出的三维物体位姿准确性判断方法、装置及电子设备，用于解决相关技术中，由于6DoF位姿估计方法的局限性，导致确定的6DoF位姿的置信度不准确，从而使得通过位姿置信度对三维物体位姿进行判准的方法的准确性较低的问题。本申请一方面实施例提出的三维物体位姿准确性判断方法，包括：获取待校验的目标物体的网格模型、所述目标物体所在的场景图像及所述目标物体在所述场景图像中的第一位姿；根据所述第一位姿，将所述目标物体的网格模型进行投影，获取所述目标物体当前对应的投影，其中，所述投影中包括外轮廓及内部结构线条；判断所述投影与所述场景图像的贴合度是否大于或等于第一阈值；若是，则确定所述第一位姿准确。本申请另一方面实施例提出的三维物体位姿准确性判断装置，包括：第一获取模块，用于获取待校验的目标物体的网格模型、所述目标物体所在的场景图像及所述目标物体在所述场景图像中的第一位姿；第二获取模块，用于根据所述第一位姿，将所述目标物体的网格模型进行投影，获取所述目标物体当前对应的投影，其中，所述投影中包括外轮廓及内部结构线条；判断模块，用于判断所述投影与所述场景图像的贴合度是否大于或等于第一阈值；确定模块，用于若是，则确定所述第一位姿准确。本申请再一方面实施例提出的电子设备，其包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的三维物体位姿准确性判断方法。本申请又一方面实施例提出的存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行如前所述的三维物体位姿准确性判断方法。上述申请中的任一个实施例具有如下优点或有益效果：通过根据待校验的目标物体在场景图像中的第一位姿，将目标物体的网格模型投影至目标物体所在的场景图像中，以根据目标物体对应的投影与场景图像的贴合度，确定第一位姿的准确度，从而通过根据由第一位姿确定的目标物体对应的投影，对第一位姿的准确度进行校验，提高了三维物体位姿判准的准确性。因为采用了通过获取待校验的目标物体的网格模型、目标物体所在的场景图像及目标物体在场景图像中的第一位姿，并根据第一位姿，将目标物体的网格模型进行投影，获取目标物体当前对应的投影，其中，投影中包括外轮廓及内部结构线条，进而在投影与场景图像的贴合度大于或等于第一阈值时，确定第一位姿准确的技术手段，所以克服了通过位姿置信度对三维物体位姿进行判准的方法的准确性较低的问题，进而达到了通过根据由第一位姿确定的目标物体对应的投影，对第一位姿的准确度进行校验，提高三维物体位姿判准的准确性的技术效果。上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1为本申请实施例所提供的一种三维物体位姿准确性判断方法的流程示意图；图2为本申请实施例所提供的另一种三维物体位姿准确性判断方法的流程示意图；图3为本申请实施例提供的一种三维物体位姿准确性判断装置的结构示意图；图4为本申请实施例提供的电子设备的结构示意图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。本申请实施例针对相关技术中，由于6DoF位姿估计方法的局限性，导致确定的6DoF位姿的置信度不准确，从而使得通过位姿置信度对三维物体位姿进行判准的方法的准确性较低的问题，提出一种三维物体位姿准确性判断方法。下面参考附图对本申请提供的三维物体位姿准确性判断方法、装置、电子设备及存储介质进行详细描述。图1为本申请实施例所提供的一种三维物体位姿准确性判断方法的流程示意图。如图1所示，该三维物体位姿准确性判断方法，包括以下步骤：步骤101，获取待校验的目标物体的网格模型、目标物体所在的场景图像及目标物体在场景图像中的第一位姿。需要说明的是，本申请实施例的三维物体位姿准确性判断方法可以应用在三维物体位姿估计的后续步骤中，以对三维物体位姿估计过程确定的三维物体位姿的准确性进行判断。其中，三维物体位姿，可以是任意一种三维物体位姿，本申请实施例对此不做限定。比如，可以为3DoF位姿、6DoF位姿、9DoF位姿等。本申请实施例以三维物体位姿为6DoF位姿进行具体说明。其中，待校验的目标物体，是指已经利用三维物体位姿估计算法确定出其在场景图像中的位姿、并需要对其位姿的准确性进行判断的三维物体。实际使用时，待校验的目标物体可以是在三维物体位姿估计过程中，从场景图像中识别出的任意三维物体。其中，目标物体的网格模型，可以是预先设置的，也可以是在三维物体位姿估计过程中建立的。比如，目标物体为“鸡蛋”，则目标物体的网格模型可以为“椭球体”。其中，第一位姿，是指利用三维物体位姿估计算法确定的目标物体在场景图像中的位姿。比如，可以为6DoF位姿估计算法确定的目标物体在场景图像中的6DoF位姿。在本申请实施例中，由于本申请实施例的三维物体位姿准确性判断方法，用于对通过三维物体位姿估计算法确定的三维物体位姿的准确性进行判断，并可以应用在三维物体位姿估计的后续步骤中，而目标物体的网格模型、目标物体所在的场景图像及目标物体在场景图像中的第一位姿，都是进行三维物体位姿估计后所获得本文档来自技高网...

【技术保护点】
1.一种三维物体位姿准确性判断方法，其特征在于，包括：/n获取待校验的目标物体的网格模型、所述目标物体所在的场景图像及所述目标物体在所述场景图像中的第一位姿；/n根据所述第一位姿，将所述目标物体的网格模型进行投影，获取所述目标物体当前对应的投影，其中，所述投影中包括外轮廓及内部结构线条；/n判断所述投影与所述场景图像的贴合度是否大于或等于第一阈值；/n若是，则确定所述第一位姿准确。/n

【技术特征摘要】
1.一种三维物体位姿准确性判断方法，其特征在于，包括：
获取待校验的目标物体的网格模型、所述目标物体所在的场景图像及所述目标物体在所述场景图像中的第一位姿；
根据所述第一位姿，将所述目标物体的网格模型进行投影，获取所述目标物体当前对应的投影，其中，所述投影中包括外轮廓及内部结构线条；
判断所述投影与所述场景图像的贴合度是否大于或等于第一阈值；
若是，则确定所述第一位姿准确。


2.如权利要求1所述的方法，其特征在于，所述根据所述第一位姿，将所述目标物体的网格模型进行投影，获取所述目标物体当前对应的投影，包括：
根据所述第一位姿，将所述目标物体的网格模型中的顶点及连线进行投影，形成所述目标物体的线框图；
将所述线框图进行二值化及边缘跟踪拓扑结构分析，确定所述目标物体当前对应的外轮廓；
根据所述目标物体的网格模型中相邻面片的法向量差值，确定相邻面片的角度差异；
将角度差异大于第二阈值的相邻面片间的交线，在所述线框图中对应的线条确定为所述目标物体当前对应的内部结构线条。


3.如权利要求1所述的方法，其特征在于，所述根据所述第一位姿，将所述目标物体的网格模型进行投影，获取所述目标物体当前对应的投影，包括：
根据所述第一位姿，将所述目标物体的网格模型中的面片进行投影，形成所述目标物体当前对应的深度图；
将所述深度图进行二值化及边缘跟踪拓扑结构分析，确定所述目标物体当前对应的外轮廓；
对所述深度图进行边缘检测算子处理，确定所述深度图中包含的边缘；
确定所述边缘中非外轮廓外的边缘，为所述目标物体当前对应的内部结构线条。


4.如权利要求1-3任一所述的方法，其特征在于，所述判断所述投影与所述场景图像的贴合度是否大于或等于第一阈值，包括：
按照预设的规则，将所述外轮廓进行分段处理，确定所述外轮廓中包括的各线段；
根据所述场景图像在各线段处的梯度值及梯度方向，依次判断各线段是否与所述场景图像贴合；
判断与场景图像贴合的各线段的总长度，与所述外轮廓总长度的比值是否大于或等于第一阈值。


5.如权利要求4所述的方法，其特征在于，所述根据所述场景图像在各线段处的梯度值及梯度方向，依次判断各线段是否与所述场景图像贴合，包括：
判断所述场景图像在第一线段处度的梯度值，是否大于或等于第三阈值；
若是，则判断所述场景图像在所述第一线段处的梯度方向，与所述第一线段的法线方向差是否小于或等于第四阈值；
若是，则判断所述场景图像在所述第一线段处的梯度方向的杂乱程度，是否小于或等于第五阈值；
若是，则确定所述第一线段与所述场景图像贴合。


6.如权利要求5所述的方法，其特征在于，所述判断所述场景图像在第一线段处度的梯度值，是否大于或等于第三阈值之前，还包括：
将所述场景图像的第二线段中各点的梯度值的加权均值，确定为所述场景图像在所述第一线段处的梯度值，其中所述第二线段为所述目标物体在所述场景图像中与所述第一线段对应的线段。


7.如权利要求5所述的方法，其特征在于，所述判断所述场景图像在所述第一线段处的梯度方向的杂乱程度，是否小于或等于第五阈值之前，还包括：
确定所述场景图像的第二线段中各点的梯度方向，分别对应的单位圆坐标值，其中所述第二线段为所述目标物体在所述场景图像中与所述第一线段对应的线段；
根据各单位圆坐标值的加权均值，确定所述场景图像在所述第一线段处的梯度方向的杂乱程度。


8.如权利要求5-7任一所述的方法，其特征在于，所述判断所述场景图像在第一线段处度的梯度值，是否大于或等于第三阈值之后，还包括：
若否，则确定所述第一线段与所述场景图像未贴合。


9.如权利要求5-7任一所述的方法，其特征在于，所述判断所述场景图像在所述第一线段处的梯度方向，与所述第一线段的法线方向差是否小于或等于第四阈值之后，还包括：
若否，则确定所述第一线段与所述场景图像未贴合。


10.如权利要求5-7任一所述的方法，其特征在于，所述判断所述场景图像在所述第一线段处的梯度方向的杂乱程度，是否小于或等于第五阈值之后，还包括：
若否，则确定所述第一线段与所述场景图像未贴合。


11.一种三维物体位姿准确性判断装置，其特征在于，包括：
第一获取模块，用于获取待校验的目标物体的网格模型、所述目标物体所在的场景图像及所述目标物体在所述场景图像...

【专利技术属性】
技术研发人员：刘赵梁，陈思利，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11