物体的姿态估计方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及计算机视觉技术领域，特别涉及一种物体的姿态估计方法、装置、电子设备及存储介质，方法包括：基于预先训练的物体检测器获取待测物体的所在区域，将其对应的深度图反投影至三维空间，得到待测物体的点云数据，并结合待测物体的类别的先验形状信息得到点云数据和形状先验信息的特征，将二者特征拼接并输入至回归姿态分支和预测边界框分支，得到待测物体的预测位姿和预测边界框，从而获取待测物体的姿态估计结果。由此，解决了因相关技术中的求解边界框方法缺乏先验知识的引导，从而导致求解精度受限，速度较慢及鲁棒性较差等问题，通过将形状先验信息和求解边界框相结合，从而简化了边界框的求解过程，并通过几何约束提高了求解精度。提高了求解精度。提高了求解精度。

【技术实现步骤摘要】
物体的姿态估计方法、装置、电子设备及存储介质


[0001]本申请涉及计算机视觉
，特别涉及一种物体的姿态估计方法、装置、电子设备及存储介质。

技术介绍

[0002]类别级别的物体姿态估计在“机械臂抓取”、“自动驾驶”、“增强现实”等领域中起着至关重要的作用。类别级别的物体姿态估计是从彩色图象和深度图中准确估计出特定类别的物体相对相机的姿态信息，通常包括：(1)三自由度的旋转，即相机坐标系相对于目标物体坐标系的旋转关系；(2)三自由度的平移，即相机坐标系原点相对于目标物体坐标系原点的平移信息；(3)三自由度的尺寸，即物体的长宽高。
[0003]相比于个例级别的物体姿态估计，类别级别的物体位姿估计方法对同一类别的所有物体均适用，不需要提前得知目标物体的形状与颜色，保证了其应用的广泛性与多样性。类别级别的物体位姿估计的难点在于应对类内物体在形状、材质、颜色上的多样性。
[0004]相关技术中，已有的效果较好的方法主要分为使用类别先验形状信息的间接法和直接法。直接法训练姿态预测模型直接从图片中预测物体姿态信息，计算效率高；间接法首先预测相机观测到的三维点云在归一化的物体坐标系下的坐标，建立起对应关系，然后通过Umeyama算法从对应关系中将物体姿态求解出来，间接法中很大一部分方法使用了物体类别级别的形状先验信息，即一个类别中物体的平均点云，来提升方法精度。他们首先计算变形场，将类别先验点云变形，估计当前待测物体的三位点云模型，然后再计算相似矩阵，将观测到的点云对应到估计的物体模型上，从而得到相应的坐标，从而求解姿态。
[0005]然而，这些方法大多存在一个问题，即通过形状先验信息用于引导求解点云对应的物体坐标，这就导致提取姿态相关的特征能力较弱，并且运行速率比较慢。相对于以上两种方法，还有一种方法是通过预测物体的三维边界框以提高姿态的求解精度，即预测每个点在边界框六个面上的投影，通过边界框和位姿的几何关系，同时提高了二者的求解精度。

技术实现思路

[0006]本申请提供一种物体的姿态估计方法、装置、电子设备及存储介质，以解决因相关技术中的求解边界框方法缺乏先验知识的引导，从而导致求解精度受限，速度较慢及鲁棒性较差等问题。
[0007]本申请第一方面实施例提供一种物体的姿态估计方法，包括以下步骤：
[0008]基于预先训练的物体检测器获取待测物体的所在区域，将所述待测物体的所在区域对应的深度图反投影至三维空间，得到所述待测物体的点云数据；
[0009]根据所述点云数据和所述待测物体的类别的先验形状信息得到所述点云数据的第一特征和所述形状先验信息的第二特征；以及
[0010]将所述第一特征和所述第二特征拼接，并输入至回归姿态分支和预测边界框分支，得到所述待测物体的预测位姿和预测边界框，并基于所述预测位姿和所述预测边界框
获取所述待测物体的姿态估计结果。
[0011]根据本申请的一个实施例，所述将所述第一特征和所述第二特征拼接，并输入至回归姿态分支和预测边界框分支，得到所述预测边界框，包括：
[0012]基于所述待测物体的形状先验信息，计算所述待测物体的每个点在物体坐标系空间的投影向量；
[0013]通过估计的姿态将所述投影向量从所述物体坐标系转换到相机坐标系，得到引导向量；
[0014]利用目标神经网络计算所述投影向量和所述引导向量的残差量，得到所述待测物体的预测边界框。
[0015]根据本申请的一个实施例，上述的物体的姿态估计方法，还包括：
[0016]基于一致性损失函数对所述投影向量进行修正，其中，所述一致性损失函数为：
[0017][0018]其中，P
o
为观测到的点云，B为检测框六个面，为预测位姿计算的投影向量，为残差量计算的投影向量。
[0019]根据本申请的一个实施例，所述预测位姿计算的投影向量为：
[0020][0021]所述残差量计算的投影向量为：
[0022][0023]其中，<
·
,
·
>为向量的内积，P为x+面上的一点，R
P,x+
为残差量，D
P,x+
为引导向量。
[0024]根据本申请的一个实施例，所述待测物体为旋转对称物体，在计算所述待测物体的每个点在物体坐标系空间的投影向量之后，还包括：
[0025]基于尺度变换公式，按照预设方向对所述待测物体进行拉伸，并获取拉伸后待测物体的每个点在物体坐标系空间的投影向量，其中，所述尺度变换公式为：
[0026][0027]其中，γ
max
，γ
min
为均匀采样的随机变量。
[0028]根据本申请实施例的物体的姿态估计方法，基于预先训练的物体检测器获取待测物体的所在区域，将其对应的深度图反投影至三维空间，得到待测物体的点云数据，并结合待测物体的类别的先验形状信息得到点云数据和形状先验信息的特征，将二者特征拼接并输入至回归姿态分支和预测边界框分支，得到待测物体的预测位姿和预测边界框，从而获取待测物体的姿态估计结果。由此，解决了因相关技术中的求解边界框方法缺乏先验知识的引导，从而导致求解精度受限，速度较慢及鲁棒性较差等问题，通过将形状先验信息和求解边界框相结合，从而简化了边界框的求解过程，并通过几何约束提高了求解精度。
[0029]本申请第二方面实施例提供一种物体的姿态估计装置，包括：
[0030]投影模块，用于基于预先训练的物体检测器获取待测物体的所在区域，将所述待测物体的所在区域对应的深度图反投影至三维空间，得到所述待测物体的点云数据；
[0031]第一获取模块，用于根据所述点云数据和所述待测物体的类别的先验形状信息得
到所述点云数据的第一特征和所述形状先验信息的第二特征；以及
[0032]第二获取模块，用于将所述第一特征和所述第二特征拼接，并输入至回归姿态分支和预测边界框分支，得到所述待测物体的预测位姿和预测边界框，并基于所述预测位姿和所述预测边界框获取所述待测物体的姿态估计结果。
[0033]根据本申请的一个实施例，所述第二获取模块，具体用于：
[0034]基于所述待测物体的形状先验信息，计算所述待测物体的每个点在物体坐标系空间的投影向量；
[0035]通过估计的姿态将所述投影向量从所述物体坐标系转换到相机坐标系，得到引导向量；
[0036]利用目标神经网络计算所述投影向量和所述引导向量的残差量，得到所述待测物体的预测边界框。
[0037]根据本申请的一个实施例，上述的物体的姿态估计装置，还包括：
[0038]修正模块，用于基于一致性损失函数对所述投影向量进行修正，其中，所述一致性损失函数为：
[0039][0040]其中，P
o
为观测到的点云，B为检测框六个面，为预测位姿计算的投影向量，为残差量计算的投影向量。
[0041]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体的姿态估计方法，其特征在于，包括以下步骤：基于预先训练的物体检测器获取待测物体的所在区域，将所述待测物体的所在区域对应的深度图反投影至三维空间，得到所述待测物体的点云数据；根据所述点云数据和所述待测物体的类别的先验形状信息得到所述点云数据的第一特征和所述形状先验信息的第二特征；以及将所述第一特征和所述第二特征拼接，并输入至回归姿态分支和预测边界框分支，得到所述待测物体的预测位姿和预测边界框，并基于所述预测位姿和所述预测边界框获取所述待测物体的姿态估计结果。2.根据权利要求1所述的方法，其特征在于，所述将所述第一特征和所述第二特征拼接，并输入至回归姿态分支和预测边界框分支，得到所述预测边界框，包括：基于所述待测物体的形状先验信息，计算所述待测物体的每个点在物体坐标系空间的投影向量；通过估计的姿态将所述投影向量从所述物体坐标系转换到相机坐标系，得到引导向量；利用目标神经网络计算所述投影向量和所述引导向量的残差量，得到所述待测物体的预测边界框。3.根据权利要求2所述的方法，其特征在于，还包括：基于一致性损失函数对所述投影向量进行修正，其中，所述一致性损失函数为：其中，P
o
为观测到的点云，B为检测框六个面，为预测位姿计算的投影向量，为残差量计算的投影向量。4.根据权利要求3所述的方法，其特征在于，所述预测位姿计算的投影向量为：所述残差量计算的投影向量为：其中，<
·
,
·
>为向量的内积，P为x+面上的一点，R
P,x+
为残差量，D
P,x+
为引导向量。5.根据权利要求1所述的方法，其特征在于，所述待测物体为旋转对称物体，在计算所述待测物体的每个点在物体坐标系空间的投影向量之后，还包括：基于尺度变换公式，按照预设方向对所述待测物体进行拉伸，并获取拉伸后待测物体的每个...

【专利技术属性】
技术研发人员：季向阳，张睿达，
申请(专利权)人：清华大学，
类型：发明
国别省市：