一种3D目标6DoF精确定位方法及系统技术方案

本发明专利技术提供了一种3D目标6DoF精确定位方法及系统，其中方法步骤包括：基于图像M、深度图D及相机内参K，计算扫描场景点云数据P及目标模型在扫描场景中的初始位姿；统计图像M中目标边缘特征点到对应目标模型中尖锐边缘ME的投影线的垂直距离的平方和作线特征匹配误差；计算点云数据P中目标特征点到对应目标模型平面的距离作面特征匹配误差E

【技术实现步骤摘要】
一种3D目标6DoF精确定位方法及系统


[0001]本专利技术涉及空间定位技术，尤其涉及利用计算机视觉技术，实现3D目标6DoF精确定位的方法及系统。

技术介绍

[0002]6DoF六自由度目标识别（Six Degrees of Freedom Object Recognition）是在三维空间中通过对物体的特征进行识别，确定物体的位置和姿态，从而实现对物体的追踪和定位。此外，RGBD相机也可以实现对物体表面的纹理、颜色等特征的提取和分析，从而实现对物体的精准分类和识别。具体来说，6DoF目标识别能够识别并确定物体在三个方向上的平移和三个方向上的旋转，因此广泛应用于计算机视觉、机器人、增强现实、虚拟现实等领域。
[0003]其中在计算机视觉领域，6DoF目标识别主要应用于自动驾驶、智能家居、安防监控等场景中，智能汽车或扫地机器人可根据识别到物体的三维位姿实现自动导航。
[0004]在机器人领域，6DoF技术可以帮助机器人实现对环境中的物体进行快速准确的识别和定位，从而更好地完成拣选、包装、物流等任务。而在增强现实和虚拟现实领域，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D目标6DoF精确定位方法，其步骤包括：步骤S100 基于RGBD相机采集扫描场景的图像M、深度图D及相机内参K，计算出扫描场景的点云数据P，以供确定目标模型在扫描场景中的初始位姿；步骤S200统计图像M中目标边缘特征点集合到对应目标模型中尖锐边缘ME集合的投影线的垂直距离的平方和，作为线特征的匹配误差；步骤S300计算点云数据P中目标特征点到对应目标模型所在平面的距离，作为面特征的匹配误差；步骤S400 计算目标模型可观测区域内的纹理与图像M在相同像素点处的颜色差异，作为纹理特征的匹配误差；步骤S500将、和做非线性迭代优化，设置优化变量为目标模型在相机坐标系下的6DoF位姿，计算出累计误差最小的目标模型位姿。2.根据权利要求1所述的3D目标6DoF精确定位方法，其中步骤S200中所述目标边缘特征点集合的获取步骤包括：根据相机内参K及初始位姿，将目标模型尖锐边缘ME集合投影到像平面上，计算图像M在投影线段附近的梯度值和梯度方向，从而找到与投影线段匹配的目标边缘特征点集合。3.根据权利要求2所述的3D目标6DoF精确定位方法，其中将目标模型尖锐边缘ME集合投影到像平面上的步骤包括：设尖锐边缘其中一条线段，线段的起点为，终点为,变换到相机坐标系下的坐标值为 ，根据相机内参K可以得到相机坐标系下线段的起点、终点在图像上的投影点为：；其中，及分别为及的Z 轴坐标值；以极坐标的形式建立像平面上过和的直线方程为：；其中，为原点到直线的垂直距离，为过原点的垂线与X轴正方向的夹角，为图像坐标系下位于直线上的坐标点。4.根据权利要求3所述的3D目标6DoF精确定位方法，其中计算图像M在投影线段附近的
梯度值和梯度方向，从而找到与投影线段匹配的目标边缘特征点集合的步骤包括：以和连线为轴线，与垂直于轴线方向
±
n个像素区域的矩形框为模板区域RIO；将图像M对RIO区域内的像素求梯度，并计算梯度方向与直线的夹角；提取夹角符合阈值的像素点为目标边缘特征点建立集合。5.根据权利要求1所述的3D目标6DoF精确定位方法，其中步骤S200中所述目标模型中尖锐边缘ME集合的获取步骤包括：由目标模型中任意一个三角面开始判断该三角面与相连接的数个三角面的法向夹角，如果相连的两个三角面的夹角呈预设锐角，即认为两个三角面相交的边为尖锐边缘ME；持续判断，直至所有三角面全部判断完成后，获取所有尖锐边缘ME的集合。6.根据权利要求1所述的3D目标6DoF精确定位方法，其中步骤S300中计算点云数据P中目标特征点到对应目标模型所在平面的距离步骤包括：步骤S310根...

【专利技术属性】
技术研发人员：邓辉，赵越，李华伟，王益亮，沈锴，陈忠伟，石岩，陈丁，陆蕴凡，李虎，
申请(专利权)人：上海仙工智能科技有限公司，
类型：发明
国别省市：