本申请涉及一种物体的姿态估计方法、装置、电子设备及存储介质，方法包括：基于预先训练的物体检测器获取待测物体的所在区域，将其对应的深度图反投影至三维空间，得到待测物体的点云数据，结合待测物体的类别的先验形状信息得到其特征进行拼接并输入至回归姿态分支、对称性重建分支和恢复物体形状分支，得到待测物体的预测位姿、对称性重建结果、每个点的掩码和点云数据中每个点的归一化坐标，并基于该坐标获取待测物体的的姿态估计结果。由此，解决了相关技术中的物体姿态估计方法的求解精度受限、速度较慢、易受外界干扰及鲁棒性较差等问题，通过引入类别的形状先验信息，恢复物体形状，再利用直接方法求解位姿，提高了求解精度和计算速率。精度和计算速率。精度和计算速率。
【技术实现步骤摘要】
物体的姿态估计方法、装置、电子设备及存储介质
[0001]本申请涉及计算机视觉
，特别涉及一种物体的姿态估计方法、装置、电子设备及存储介质。
技术介绍
[0002]类别级别的物体姿态估计在“机械臂抓取”、“自动驾驶”、“增强现实”等领域中起着至关重要的作用。类别级别的物体姿态估计是从彩色图象和深度图中准确估计出特定类别的物体相对相机的姿态信息，通常包括：(1)三自由度的旋转，即相机坐标系相对于目标物体坐标系的旋转关系；(2)三自由度的平移，即相机坐标系原点相对于目标物体坐标系原点的平移信息；(3)三自由度的尺寸，即物体的长宽高。
[0003]相比于个例级别的物体姿态估计，类别级别的物体位姿估计方法对同一类别的所有物体均适用，不需要提前得知目标物体的形状与颜色，保证了其应用的广泛性与多样性。类别级别的物体位姿估计的难点在于应对类内物体在形状、材质、颜色上的多样性。其中，已有的效果较好的方法主要分为使用类别先验形状信息的间接法和直接法。
[0004]直接法训练姿态预测模型直接从图片中预测物体姿态信息，计算效率高；间接法首先预测相机观测到的三维点云在归一化的物体坐标系下的坐标，建立起对应关系，然后通过 Umeyama算法从对应关系中将物体姿态求解出来，间接法中很大一部分方法使用了物体类别级别的形状先验信息，即一个类别中物体的平均点云，来提升方法精度。他们首先计算变形场，将类别先验点云变形，估计当前待测物体的三位点云模型，然后再计算相似矩阵，将观测到的点云对应到估计的物体模型上，从而得到相应的坐标，求解姿态。相比于直接法，间接法由于使用了类别的形状先验信息，准确率相对更高。
[0005]然而，在相关技术中，无论是直接法还是间接法都存在着一定的缺陷。如现有的直接求解方法往往忽略了物体类别的先验信息，这使得他们的求解精度受限；间接法引入了类别先验信息，准确度相对较高，但是容易受外点干扰，鲁棒性较差，并且求解速度比较慢。
技术实现思路
[0006]本申请提供一种物体的姿态估计方法、装置、电子设备及存储介质，以解决相关技术中的物体姿态估计方法的求解精度受限、速度较慢、易受外界干扰及鲁棒性较差等问题。
[0007]本申请第一方面实施例提供一种物体的姿态估计方法，包括以下步骤：
[0008]基于预先训练的物体检测器获取待测物体的所在区域，将所述待测物体的所在区域对应的深度图反投影至三维空间，得到所述待测物体的点云数据；
[0009]根据所述点云数据和所述待测物体的类别的先验形状信息得到所述点云数据第一特征和所述形状先验信息的第二特征；以及
[0010]将所述第一特征和所述第二特征拼接，并输入至回归姿态分支、对称性重建分支和恢复物体形状分支，得到所述待测物体的预测位姿、对称性重建结果、每个点的掩码和点云数据中每个点的归一化坐标，并基于所述预测位姿、对称性重建结果、每个点的掩码和点
云数据中每个点的归一化坐标获取所述待测物体的姿态估计结果。
[0011]根据本申请的一个实施例，所述基于所述预测位姿、对称性重建结果、每个点的掩码和点云数据中每个点的归一化坐标获取所述待测物体的姿态估计结果，包括：
[0012]根据所述待测物体的归一化坐标和所述待测物体的真实姿态得到所述待测物体的真实位置；
[0013]根据所述真实位置与观测位置的差的绝对值小于距离阈值，则判定所述观测位置为外点；
[0014]基于一致性损失函数，通过所述对称性重建分支为所述点云数据中每个点生成每个点的掩码，基于所述每个点的掩码对所述待测物体的进行姿态估计。
[0015]根据本申请的一个实施例，上述的物体的姿态估计方法，还包括：
[0016]在所述待测物体为旋转对称物体时，基于所述一致性损失函数，利用所述对称性重建分支确定所述旋转对称物体在正则坐标系下点云数据中每个点的第一镜像点；
[0017]在所述待测物体为反射对称物体时，基于所述一致性损失函数，利用所述对称性重建分支确定所述反射对称物体在正则坐标系下点云数据中每个点的第二镜像点；
[0018]在所述待测物体为无对称性物体时，基于所述一致性损失函数，利用所述对称性重建分支确定所述无对称性物体在正则坐标系下点云数据中每个点的第三镜像点。
[0019]根据本申请的一个实施例，在所述待测物体为所述旋转对称物体时，还包括：
[0020]确定多个待选姿态；
[0021]计算每个待选姿态观测点云中所有点对应的物体坐标；
[0022]根据所述所有点对应的物体坐标和预测坐标的最小平均距离得到姿态损失函数。
[0023]根据本申请的一个实施例，所述姿态损失函数为：
[0024][0025]其中，p为观测点云中的一个点的坐标，C为测点云中所有点对应的物体坐标，C
i
为第i 个待选姿态下的所有点对应的物体坐标，q为该点在待选姿态下的坐标。
[0026]根据本申请的一个实施例，所述待测物体的姿态和所述归一化坐标的几何关系为：
[0027]c
p
＝R
T
(p
‑
t)/L；
[0028]其中，p为观测点云中的一个点的坐标，c
p
为p的归一化坐标，L为物体三维边界框对角线的长度，R为旋转矩阵，t为平移量。
[0029]根据本申请实施例的物体的姿态估计方法，基于预先训练的物体检测器获取待测物体的所在区域，将其对应的深度图反投影至三维空间，得到待测物体的点云数据，结合待测物体的类别的先验形状信息得到其特征进行拼接并输入至回归姿态分支、对称性重建分支和恢复物体形状分支，得到待测物体的预测位姿、对称性重建结果、每个点的掩码和点云数据中每个点的归一化坐标，并基于该坐标获取待测物体的姿态估计结果。由此，解决了相关技术中的物体姿态估计方法的求解精度受限、速度较慢、易受外界干扰及鲁棒性较差等问题，通过引入类别的形状先验信息，恢复物体形状，再利用直接方法求解位姿，提高了求解精度和计算速率。
[0030]本申请第二方面实施例提供一种物体的姿态估计装置，包括：
[0031]投影模块，用于基于预先训练的物体检测器获取待测物体的所在区域，将所述待测物体的所在区域对应的深度图反投影至三维空间，得到所述待测物体的点云数据；
[0032]获取模块，用于根据所述点云数据和所述待测物体的类别的先验形状信息得到所述点云数据第一特征和所述形状先验信息的第二特征；以及
[0033]估计模块，用于将所述第一特征和所述第二特征拼接，并输入至回归姿态分支、对称性重建分支和恢复物体形状分支，得到所述待测物体的预测位姿、对称性重建结果、每个点的掩码和点云数据中每个点的归一化坐标，并基于所述预测位姿、对称性重建结果、每个点的掩码和点云数据中每个点的归一化坐标获取所述待测物体的姿态估计结果。
[0034]根据本申请的一个实施例，所述估计模块，具体用于：
[0035]根据所述待测物体本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种物体的姿态估计方法，其特征在于，包括以下步骤：基于预先训练的物体检测器获取待测物体的所在区域，将所述待测物体的所在区域对应的深度图反投影至三维空间，得到所述待测物体的点云数据；根据所述点云数据和所述待测物体的类别的先验形状信息得到所述点云数据的第一特征和所述形状先验信息的第二特征；以及将所述第一特征和所述第二特征拼接，并输入至回归姿态分支、对称性重建分支和恢复物体形状分支，得到所述待测物体的预测位姿、对称性重建结果、每个点的掩码和点云数据中每个点的归一化坐标，并基于所述预测位姿、对称性重建结果、每个点的掩码和点云数据中每个点的归一化坐标获取所述待测物体的姿态估计结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述预测位姿、对称性重建结果、每个点的掩码和点云数据中每个点的归一化坐标获取所述待测物体的姿态估计结果，包括：根据所述待测物体的归一化坐标和所述待测物体的真实姿态得到所述待测物体的真实位置；根据所述真实位置与观测位置的差的绝对值小于距离阈值，则判定所述观测位置为外点；基于一致性损失函数，通过所述对称性重建分支为所述点云数据中每个点生成每个点的掩码，基于所述每个点的掩码对所述待测物体的进行姿态估计。3.根据权利要求2所述的方法，其特征在于，还包括：在所述待测物体为旋转对称物体时，基于所述一致性损失函数，利用所述对称性重建分支确定所述旋转对称物体在正则坐标系下点云数据中每个点的第一镜像点；在所述待测物体为反射对称物体时，基于所述一致性损失函数，利用所述对称性重建分支确定所述反射对称物体在正则坐标系下点云数据中每个点的第二镜像点；在所述待测物体为无对称性物体时，基于所述一致性损失函数，利用所述对称性重建分支确定所述无对称性物体在正则坐标系下点云数据中每个点的第三镜像点。4.根据权利要求3所述的方法，其特征在于，在所述待测物体为所述旋转对称物体时，还包括：确定多个待选姿态；计算每个待选姿态观测点云中所有点对应的物体坐标；根据所述所有点对应的物体坐标和预测坐标的最小平均距离得到姿态损失函数。5.根据权利要求4所述的方法，其特征在于，所述姿态损失函数为：其中，p为观测点云中的一个点的坐标，C为观测点云中所有...
【专利技术属性】
技术研发人员：季向阳，张睿达，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。