基于实例分割技术的单目视觉引导AGV避障测距方法和装置制造方法及图纸

基于实例分割技术的单目视觉引导AGV避障测距方法和装置，其方法包括：首先安装固定好单目相机并确定其安装高度和俯仰角度；然后构建测距模型并得出坐标转换关系；标定相机得到内参矩阵；以相机光心作垂线垂直于地面，取垂足为测距参考点；再利用实例分割技术识别并获取障碍物对象像素区域，将该区域内纵坐标值最大的像素点对应的空间坐标点定义为障碍物对象触地点；在相机坐标系下对测距参考点与障碍物对象触地点之间的距离进行计算；最后建立测距校正模型进行校正并计算出方位角，得到障碍物对象的测距结果和方位信息。本发明专利技术在图像畸变干扰以及图像中不同障碍物对象像素区域重叠等复杂情形下具有测距精度高、鲁棒性好的优点。点。点。

【技术实现步骤摘要】
基于实例分割技术的单目视觉引导AGV避障测距方法和装置


[0001]本专利技术属于计算机视觉
，具体涉及一种基于实例分割技术的单目视觉引导AGV避障测距方法。

技术介绍

[0002]AGV是数字化、智能化车间中十分常见的一种智能化装备，其主要的工作任务是实现厂区、车间内物料的无人运输，达到节省人力，提高物料运输效率的目的。在AGV工作过程中，避障测距是AGV正常行驶的前提条件，提高测距的精确性能够进一步保障AGV行驶的安全性，也能为后续的定位导航、路径规划等工作提供更加精确的数据。相较于激光雷达、双目视觉引导的测距方法，采用单目视觉引导的AGV避障测距方法计算量小、避障处理更及时、成本低，因此被研究人员广泛关注。
[0003]传统的单目视觉引导AGV避障测距方法需要预先在障碍物实体对象上设定标记点然后进行障碍物对象像素尺寸信息的获取来完成测距。基于目标检测技术的测距方法则需要精确获取障碍物对象在图像中的最小外接矩形框底边像素信息来完成测距。基于语义分割技术的测距方法则需要精确获取障碍物对象在图像中的像素区域来完成测距。然而在AGV实际行驶避障过程中，图像中标记点像素信息由于噪声干扰导致提取不准确以及不同障碍物对象像素区域重叠等问题使得上述方法测距精度降低、鲁棒性差。
[0004]在实现本专利技术的过程中，专利技术人发现现有技术中至少存在如下问题：
[0005]现有的单目视觉引导AGV避障测距方法在图像畸变干扰以及图像中不同障碍物对象像素区域重叠等复杂情形下存在测距精度降低、鲁棒性差的问题。

技术实现思路

[0006]本专利技术要克服现有技术存在的上述问题，提供一种基于实例分割技术的单目视觉引导AGV避障测距方法和装置。本专利技术可在较短时间内求出障碍物对象与AGV车体之间的距离以及障碍物对象相对于AGV车体的方位信息，相较于现有技术，在图像畸变干扰以及图像中不同障碍物对象像素区域重叠等复杂情形下具有测距精度高、鲁棒性好的优点。
[0007]根据本专利技术的第一方面，提供一种基于实例分割技术的单目视觉引导AGV避障测距方法，包括：
[0008]步骤1：确定单目相机安装高度H和俯仰角度α：将单目相机安装固定在AGV车体上，测量出单目相机光心离地高度以及光轴与水平面之间的夹角；
[0009]步骤2：构建测距模型：基于单目相机安装位姿，建立像素坐标系、图像坐标系和相机坐标系并得出像素坐标系与相机坐标系之间的转换关系；
[0010]步骤3：标定单目相机内参矩阵：制作标定板，使用单目相机拍摄标定板图像，进行内参矩阵标定计算，得到单目相机内参矩阵；
[0011]步骤4：确定测距参考点和障碍物对象触地点：过相机光心作垂线垂直于地面，取垂足为测距参考点P1，其相机坐标为(X1,Y1,Z1)；利用实例分割技术对单目相机采集到的图
像进行处理，识别区分出图像中所有障碍物对象并获取每个障碍物对象的像素区域，通过分别对每个障碍物对象像素区域内所有像素点的像素坐标信息进行遍历，提取出每个障碍物对象区域内像素纵坐标值最大的像素点，将该点对应的空间坐标点定义为障碍物对象触地点P2，其像素坐标为(u2,v2)，相机坐标为(X2,Y2,Z2)；
[0012]步骤5：测算障碍物对象距离：在相机坐标系下对P1和P2两点之间的距离进行计算，得到障碍物对象距离测算值d；
[0013]步骤6：校正障碍物对象距离测算值并获得障碍物对象方位信息：建立测距校正模型对障碍物对象距离测算值d进行校正。
[0014]所述步骤2中，以单目相机成像平面的左上角顶点为像素坐标系的原点o，取成像平面左侧边朝下方向为v轴正方向，取成像平面上顶边朝右方向为u轴正方向，建立像素坐标系o
‑
uv；以单目相机光心在成像平面的投影点为图像坐标系的原点o
′
，x、y轴分别与像素坐标系的u、v轴平行且同向，建立图像坐标系o
′‑
xy；以单目相机光心为相机坐标系的原点O，取相机光轴为Z轴，X、Y轴分别与像素坐标系的u、v轴平行且同向，建立相机坐标系O
‑
XYZ；
[0015]在图像坐标系中，定义：x方向上每毫米存在1/dx个像素，y方向上每毫米存在1/dy个像素，图像坐标系的原点o
′
在像素坐标系中的坐标值为(u0,v0)，则可得出像素坐标系与图像坐标系之间的转换关系式：
[0016][0017]根据小孔成像原理可得出图像坐标系与相机坐标系之间的转换关系式：
[0018][0019]则像素坐标系与相机坐标系之间的转换关系式为：
[0020][0021]进一步地，像素坐标系与相机坐标系之间的转换关系式可写成：
[0022][0023]其中f/dx＝f
x
、f/dy＝f
y
分别为单目相机在x方向和y方向上的焦距，单位为pixel/mm；u、v分别为障碍物对象触地点在像素坐标系中的横坐标和纵坐标，单位为pixel；X、Y、Z分别为障碍物对象触地点在相机坐标系下的三维坐标值，单位为mm；
[0024]所述步骤3中，制作黑白棋盘格标定板，使用单目相机拍摄不少于20张标定板图像，采用张正友标定法进行内参矩阵标定计算，得到单目相机内参矩阵：
[0025][0026]所述步骤4中，根据三角形几何关系计算出P1点在相机坐标系下的坐标值(X1,Y1,Z1)：
[0027]X1＝0
ꢀꢀ
(6)
[0028]Y1＝H cosα
ꢀꢀ
(7)
[0029]Z1＝H sinα
ꢀꢀ
(8)
[0030]实例分割技术对不同类别障碍物对象以及同一类别的不同障碍物对象进行识别区分，并赋予不同的语义颜色，以提高对每一个障碍物对象区域的识别提取精度，确保障碍物对象触地点提取的合理性和精确性；
[0031]将障碍物对象像素区域内所有像素点的像素坐标信息存于二维数组array[i][2]中，其中i表示第i+1个像素点，array[i][0]表示第i+1个像素点的像素横坐标，array[i][1]表示第i+1个像素点的像素纵坐标；
[0032]通过遍历array[i][2]数组中的所有像素点坐标，利用max(array[i][1])函数找到数组中像素纵坐标值最大的像素点，即可得到P2点在像素坐标系下的坐标(u2,v2)；
[0033]根据三角形几何关系以及像素坐标系与相机坐标系之间的转换关系可以计算出P2点在相机坐标系下的坐标：
[0034][0035][0036][0037]其中β是相机光心和P2点的连线与相机光轴之间的夹角，可根据相似三角形和反三角函数求得：
[0038][0039]所述步骤5中，根据空间中两点间距离公式计算得到障碍物对象距离测算值：
[0040][0041]所述步骤6中，设定测距校正模型曲线回归方程为：
[0042]d
r
＝C1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实例分割技术的单目视觉引导AGV避障测距方法，其特征在于，步骤如下：步骤1：确定单目相机安装高度H和俯仰角度α：将单目相机安装固定在AGV车体上，测量出单目相机光心离地高度以及光轴与水平面之间的夹角；步骤2：构建测距模型：基于单目相机安装位姿，建立像素坐标系、图像坐标系和相机坐标系并得出像素坐标系与相机坐标系之间的转换关系；步骤3：标定单目相机内参矩阵：制作标定板，使用单目相机拍摄标定板图像，进行内参矩阵标定计算，得到单目相机内参矩阵；步骤4：确定测距参考点和障碍物对象触地点：过相机光心作垂线垂直于地面，取垂足为测距参考点P1，其相机坐标为(X1,Y1,Z1)；利用实例分割技术对单目相机采集到的图像进行处理，识别区分出图像中所有障碍物对象并获取每个障碍物对象的像素区域，通过分别对每个障碍物对象像素区域内所有像素点的像素坐标信息进行遍历，提取出每个障碍物对象区域内像素纵坐标值最大的像素点，将该点对应的空间坐标点定义为障碍物对象触地点P2，其像素坐标为(u2,v2)，相机坐标为(X2,Y2,Z2)；步骤5：测算障碍物对象距离：在相机坐标系下对P1和P2两点之间的距离进行计算，得到障碍物对象距离测算值d；步骤6：校正障碍物对象距离测算值并获得障碍物对象方位信息：建立测距校正模型对障碍物对象距离测算值d进行校正。2.根据权利要求1所述的基于实例分割技术的单目视觉引导AGV避障测距方法，其特征在于：所述步骤2中，以单目相机成像平面的左上角顶点为像素坐标系的原点o，取成像平面左侧边朝下方向为v轴正方向，取成像平面上顶边朝右方向为u轴正方向，建立像素坐标系o
‑
uv；以单目相机光心在成像平面的投影点为图像坐标系的原点o
′
，x、y轴分别与像素坐标系的u、v轴平行且同向，建立图像坐标系o
′‑
xy；以单目相机光心为相机坐标系的原点O，取相机光轴为Z轴，X、Y轴分别与像素坐标系的u、v轴平行且同向，建立相机坐标系O
‑
XYZ；在图像坐标系中，定义：x方向上每毫米存在1/dx个像素，y方向上每毫米存在1/dy个像素，图像坐标系的原点o
′
在像素坐标系中的坐标值为(u0,v0)，则可得出像素坐标系与图像坐标系之间的转换关系式：根据小孔成像原理可得出图像坐标系与相机坐标系之间的转换关系式：则像素坐标系与相机坐标系之间的转换关系式为：
进一步地，像素坐标系与相机坐标系之间的转换关系式可写成：其中f/dx＝f
x
、f/dy＝f
y
分别为单目相机在x方向和y方向上的焦距，单位为pixel/mm；u、v分别为障碍物对象触地点在像素坐标系中的横坐标和纵坐标，单位为pixel；X、Y、Z分别为障碍物对象触地点在相机坐标系下的三维坐标值，单位为mm。3.根据权利要求1所述的基于实例分割技术的单目视觉引导AGV避障测距方法，其特征在于：所述步骤3中，制作黑白棋盘格标定板，使用单目相机拍摄不少于20张标定板图像，采用张正友标定法进行内参矩阵标定计算，得到单目相机内参矩阵：4.根据权利要求1所述的基于实例分割技术的单目视觉引导AGV避障测距方法，其特征在于：所述步骤4中，根据三角形几何关系计算出P1点在相机坐标系下的坐标值(X1,Y1,Z1)：X1＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)Y1＝H cosα
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)Z1＝H sin α

【专利技术属性】
技术研发人员：孙毅，杨宇，李洪，尉勤，李锦华，项忠杭，
申请(专利权)人：浙江蓝海星盐制品有限公司，
类型：发明
国别省市：