三维物体位姿参数估计方法及视觉设备技术

本申请涉及一种三维物体位姿参数估计方法及视觉设备，其中视觉设备可执行该方法，该方法包括：获取基于三维物体的前一帧图像确定的位姿参数，作为确定当前帧图像对应位姿参数的初始位姿参数；基于初始位姿参数将三维物体的三维空间直线段投影至二维图像平面上，得到三维空间直线段的在二维图像平面上的投影直线段；确定投影直线段在二维图像平面上最接近的图像直线段，并确定投影直线段与最接近的图像直线段之间的距离误差；判断距离误差是否满足预设条件；如果不满足，基于距离误差确定新的位姿参数，并将新的位姿参数作为初始位姿参数；如果满足，将初始位姿参数作为当前帧图像的位姿参数。本申请实现了对纹理较少的物体的位姿参数估计。

Estimation of pose parameters of three-dimensional objects and vision equipment

【技术实现步骤摘要】
三维物体位姿参数估计方法及视觉设备
本申请涉及视觉设备领域，尤其涉及一种三维物体位姿参数估计方法及视觉设备。
技术介绍
对于纹理稀少的三维物体的位姿估计，点特征稀少影响位姿估计准确度，相对稳定的直线特征有利于位姿估计。采用直线特征进行位姿估计的核心问题是二维与三维直线特征匹配，由于三维直线可用的描述信息太少，难以直接完成二维与三维直线特征匹配。一般是利用已知二维与三维直线对应关系的参考帧，简化为二维与二维图像直线特征匹配。目前，直线特征匹配主要关注二维与二维图像直线特征匹配，应用于三维重建、运动恢复结构、即时定位与地图构建方面，并取得一定成效。直线特征匹配可分为特征描述方法、点线不变性方法和线线结合方法。特征描述方法利用直线特征邻域的灰度信息构造特征向量来表征该直线，通过比较特征向量相似性来判断是否为匹配直线；点线不变性方法依赖匹配点，利用共面点线的不变性约束来判断是否为匹配直线；线线结合方法利用不同直线间的约束关系来判断是否为匹配直线。利用图像与参考帧的二维与二维直线特征匹配，间接实现二维与三维直线特征匹配。一是需要线下标注好二维与三维对应关系的参考帧，数量多且繁琐；二是需要准确提取图像直线特征，但噪声、模糊等因素会影响直线特征的完整性。从以上分析可以看出，间接匹配方法实现纹理稀少物体的姿态估计，依赖历史图像标注参考帧，且线下标注工作量大。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种三维物体位姿参数估计方法及视觉设备。第一方面，本申请提供了一种三维物体位姿参数估计方法，包括：获取基于三维物体的前一帧图像确定的上述三维物体的位姿参数，作为确定上述三维物体的当前帧图像对应位姿参数的初始位姿参数；基于上述初始位姿参数将上述三维物体的三维空间直线段投影至上述当前帧图像的二维图像平面之上，得到上述三维空间直线段的在上述二维图像平面上的投影直线段；确定上述投影直线段在上述二维图像平面上最接近的图像直线段，并确定上述投影直线段与上述最接近的图像直线段之间的距离误差；判断上述距离误差是否满足预设条件；如果不满足上述预设条件，基于上述距离误差确定新的位姿参数，并将上述新的位姿参数作为上述初始位姿参数；如果满足上述预设条件，将上述初始位姿参数作为上述三维物体的上述当前帧图像的位姿参数。在一些实施例中，基于上述初始位姿参数将上述三维物体的三维空间直线段投影至上述当前帧图像的二维图像平面之上，得到上述三维空间直线段的在上述二维图像平面上的投影直线段之前，还包括：确定上述当前帧图像的视线与上述三维空间直线段所在平面的夹角大小，基于上述夹角大小判断上述三维空间直线段的投影可见性并去除被遮挡的三维空间直线段。在一些实施例中，确定上述投影直线段在上述二维图像平面上最接近的图像直线段，并确定上述投影直线段与上述最接近的图像直线段之间的距离误差，包括：在上述投影直线段上采样得到多个控制点；确定上述投影直线段的垂直方向；在上述多个控制点中每个控制点处的预设搜索范围沿上述垂直方向双向搜索，将最大似然比值的像素点作为候选对应点，得到多个候选对应点；确定上述多个候选对应点与投影直线段的距离误差。在一些实施例中，基于上述距离误差确定新的位姿参数，包括：利用李代数空间表征上述初始位姿参数；根据上述距离误差确定位姿增量；基于上述位姿增量确定新的位姿参数。在一些实施例中，根据上述距离误差确定位姿增量，包括：根据上述距离误差，采用鲁棒估计确定位姿增量。基于上述位姿增量确定新的位姿参数，包括：通过指数映射确定在欧式空间的旋转增量和平移增量，基于上述旋转增量和上述平移增量确定新的旋转矩阵和新的平移向量。第二方面，本申请提供了一种三维物体位姿参数估计方法，包括：获取上述三维物体的初始帧图像；提取上述初始帧图像中该三维物体的图像几何特征；将提取的图像几何特征与上述三维物体的参考特征库匹配，得到上述提取的图像几何特征对应的三维空间坐标，其中，上述参考特征库包含从上述三维物体的多个视角下的图像中提取的图像几何特征与三维空间坐标之间的对应关系；基于上述三维物体的三维模型以及上述提取的图像几何特征对应的二维图像坐标和三维空间坐标，使用N点透视方法确定上述三维物体的初始位姿参数；基于上述初始位姿参数将上述三维物体的三维空间直线段投影至上述初始帧图像的二维图像平面之上，得到上述三维空间直线段的在上述二维图像平面上的投影直线段；确定上述投影直线段在上述二维图像平面上最接近的图像直线段，并确定上述投影直线段与上述最接近的图像直线段之间的距离误差；判断上述距离误差是否满足预设条件；如果不满足上述预设条件，基于上述距离误差确定新的位姿参数，并将上述新的位姿参数作为上述初始位姿参数；如果满足上述预设条件，将上述初始位姿参数作为上述三维物体的位姿参数。在一些实施例中，上述图像几何特征为上述三维物体的关键角点特征和/或直线特征。在一些实施例中，提取上述初始帧图像中三维物体的图像几何特征，包括：在上述初始帧图像上提取上述三维物体的关键角点和/或直线段；基于提取的关键角点和/或直线段的局部灰度确定上述提取的关键角点和/或直线段的特征向量。在一些实施例中，基于上述初始位姿参数将上述三维物体的三维空间直线段投影至上述初始帧图像的二维图像平面之上，得到上述三维空间直线段的在上述二维图像平面上的投影直线段之前，还包括：确定上述初始帧图像的视线与上述三维空间直线段所在平面的夹角大小，基于上述夹角大小判断上述三维空间直线段的投影可见性并去除被遮挡的三维空间直线段。在一些实施例中，确定上述投影直线段在上述二维图像平面上最接近的图像直线段，并确定上述投影直线段与上述最接近的图像直线段之间的距离误差，包括：在上述投影直线段上采样得到多个控制点；确定上述投影直线段的垂直方向；在上述多个控制点中每个控制点处的预设搜索范围沿上述垂直方向双向搜索，将最大似然比值的像素点作为候选对应点，得到多个候选对应点；确定上述多个候选对应点与投影直线段的距离误差。在一些实施例中，基于上述距离误差确定新的位姿参数，包括：利用李代数空间表征上述初始位姿参数；根据上述距离误差确定位姿增量；基于上述位姿增量确定新的位姿参数。在一些实施例中，根据上述距离误差确定位姿增量，包括：根据上述距离误差，采用鲁棒估计确定位姿增量。基于上述位姿增量确定新的位姿参数，包括：通过指数映射确定在欧式空间的旋转增量和平移增量，基于上述旋转增量和上述平移增量确定新的旋转矩阵和新的平移向量。第三方面，本申请提供了一种视觉设备，该视觉设备包括：存储器、处理器及存储在上述存储器上并可在上述处理器上运行的计算机程序；上述计算机程序被上述处理器执行时实现本申请任意的三维物体位姿参数估计方法的步骤。第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质上存储有三维物体位姿参数估计程序，上述三维物体位姿参数估计程序被处理器执行时实现本申请任意的三维物体位姿参数估计方法的步骤。本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，通过迭代投影确定三维物体的位姿参数，避免了依赖大量的历史图像标注，并且高效且准确的实现了纹理稀少的三维物体的位姿参数估计。特征匹配与位姿参数估计交替迭代进行本文档来自技高网...

【技术保护点】
1.一种三维物体位姿参数估计方法，其特征在于，包括：获取基于三维物体的前一帧图像确定的所述三维物体的位姿参数，作为确定所述三维物体的当前帧图像对应位姿参数的初始位姿参数；基于所述初始位姿参数将所述三维物体的三维空间直线段投影至所述当前帧图像的二维图像平面之上，得到所述三维空间直线段的在所述二维图像平面上的投影直线段；确定所述投影直线段在所述二维图像平面上最接近的图像直线段，并确定所述投影直线段与所述最接近的图像直线段之间的距离误差；判断所述距离误差是否满足预设条件；如果不满足所述预设条件，基于所述距离误差确定新的位姿参数，并将所述新的位姿参数作为所述初始位姿参数；如果满足所述预设条件，将所述初始位姿参数作为所述三维物体的所述当前帧图像的位姿参数。

【技术特征摘要】
1.一种三维物体位姿参数估计方法，其特征在于，包括：获取基于三维物体的前一帧图像确定的所述三维物体的位姿参数，作为确定所述三维物体的当前帧图像对应位姿参数的初始位姿参数；基于所述初始位姿参数将所述三维物体的三维空间直线段投影至所述当前帧图像的二维图像平面之上，得到所述三维空间直线段的在所述二维图像平面上的投影直线段；确定所述投影直线段在所述二维图像平面上最接近的图像直线段，并确定所述投影直线段与所述最接近的图像直线段之间的距离误差；判断所述距离误差是否满足预设条件；如果不满足所述预设条件，基于所述距离误差确定新的位姿参数，并将所述新的位姿参数作为所述初始位姿参数；如果满足所述预设条件，将所述初始位姿参数作为所述三维物体的所述当前帧图像的位姿参数。2.根据权利要求1所述的三维物体位姿参数估计方法，其特征在于，基于所述初始位姿参数将所述三维物体的三维空间直线段投影至所述当前帧图像的二维图像平面之上，得到所述三维空间直线段的在所述二维图像平面上的投影直线段之前，还包括：确定所述当前帧图像的视线与所述三维空间直线段所在平面的夹角大小，基于所述夹角大小判断所述三维空间直线段的投影可见性并去除被遮挡的三维空间直线段。3.根据权利要求1所述的三维物体位姿参数估计方法，其特征在于，确定所述投影直线段在所述二维图像平面上最接近的图像直线段，并确定所述投影直线段与所述最接近的图像直线段之间的距离误差，包括：在所述投影直线段上采样得到多个控制点；确定所述投影直线段的垂直方向；在所述多个控制点中每个控制点处的预设搜索范围沿所述垂直方向双向搜索，将最大似然比值的像素点作为候选对应点，得到多个候选对应点；确定所述多个候选对应点与投影直线段的距离误差。4.根据权利要求1所述的三维物体位姿参数估计方法，其特征在于，基于所述距离误差确定新的位姿参数，包括：利用李代数空间表征所述初始位姿参数；根据所述距离误差确定位姿增量；基于所述位姿增量确定新的位姿参数。5.根据权利要求4所述的三维物体位姿参数估计方法，其特征在于，根据所述距离误差确定位姿增量，包括：根据所述距离误差，采用鲁棒估计确定位姿增量；基于所述位姿增量确定新的位姿参数，包括：...

【专利技术属性】
技术研发人员：魏振忠，黄周弟，张广军，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11