港口集装箱自动装卸作业中的视觉识别、测距与定位方法技术

本发明专利技术提出一种港口集装箱自动装卸作业中的视觉识别、测距与定位方法，该方法包括如下步骤：步骤S1：组建双目相机系统，并部署安装到集装箱桥式吊车两端；步骤S2：对于目标集装箱进行识别与平面定位；步骤S3：得到目标集装箱的平面位置后，利用双目相机系统实现目标集装箱的初步测距，并结合目标集装箱的结构化尺寸信息实现目标集装箱高度的精确计算，通过反透视变换确定目标集装箱的空间位置坐标；步骤S4：通过对吊具上预涂装标记的识别，实现吊具的平面定位，利用单目相机或激光测距传感器，得到吊具与集装箱桥式吊车的移动小车之间的距离，从而确定吊具的空间位置坐标。本发明专利技术有效的降低了相机的部署难度以及维护成本。效的降低了相机的部署难度以及维护成本。效的降低了相机的部署难度以及维护成本。

【技术实现步骤摘要】
港口集装箱自动装卸作业中的视觉识别、测距与定位方法


[0001]本专利技术属于计算机视觉与图像处理领域，具体涉及一种港口集装箱自动装卸作业中的视觉识别、测距与定位方法。

技术介绍

[0002]目前港口集装箱抓取与堆放作业过程中，普遍采用人工控制吊具实现与集装箱的对接，该方法存在效率低下、精度较低、依赖工人经验等问题。因此，实现自动化的吊具与集装箱的精确对接是十分必要的。若要实现该技术，首先要解决的问题就是目标集装箱与吊具的精确识别与定位，获取到目标集装箱与吊具在空间坐标系中的精确位置坐标。现有的成熟定位方法通常采用2D与3D激光雷达扫描的方式，获取集装箱与吊具的三维点云信息，该方法定位精度较高且速度较快，但激光雷达的硬件成本较高，而且获取的信息内容较为单一，只能获得集装箱与吊具的位置信息。相比基于激光雷达的集装箱与吊具定位方法，基于视觉的识别与定位方案，其硬件成本较低，且获取的信息更为丰富，不仅能够获取集装箱与吊具的位置，还能够得到集装箱颜色、箱号与破损程度等信息，有助于实现港口集装箱的自动抓取与堆放作业。
[0003]港口集装箱抓取与堆放作业，对于集装箱与吊具的定位精度要求较高(2
‑
5cm)，对于位置的更新频率要求高(20
‑
50Hz)，而且吊车顶部距离地面的高度较大(轮胎吊车为20
‑
30m，轨道吊车为30
‑
50m)，这对基于视觉的集装箱于吊具识别与定位技术提出了较高的要求。为了满足定位精度要求，目前的视觉定位方案通常采用双目视觉技术实现目标集装箱的测距和定位，但双目测距的精度会随着工作距离的增加，而快速下降，因此通常需要把双目相机部署在吊具下方，来减少相机与目标集装箱之间的距离，保证测距的精度。但该方法需要对吊具进行改造，并部署相机的通信与供电线缆，其维护保养成本较高，并且无法获取吊具自身的位置信息，无法满足实际应用需求。
[0004]综上所述，利用激光雷达实现集装箱与吊具的识别与定位的方法存在成本较高，获取信息有限的问题；利用部署在吊具上的相机实现集装箱识别与定位的方法存在维护保养成本高，不能获取吊具位置等问题。针对这些问题，本专利技术提出一种将双目相机部署在横梁上方小车上，并通过融合港口集装箱结构化信息实现目标集装箱精确识别、测距与定位的方法。

技术实现思路

[0005]为解决上述问题，本专利技术提出一种港口集装箱自动装卸作业中的视觉识别、测距与定位方法，该方法包括如下步骤：
[0006]步骤S1：组建双目相机系统，并部署安装到集装箱桥式吊车横梁上可移动小车的两侧；
[0007]步骤S2：对于目标集装箱进行识别与平面定位；
[0008]步骤S3：得到目标集装箱的平面位置后，利用双目相机系统实现目标集装箱的初
步测距，并结合目标集装箱的结构化尺寸信息实现目标集装箱高度的精确计算，通过反透视变换确定目标集装箱的空间位置坐标；
[0009]步骤S4：通过对吊具上预涂装标记的识别，实现吊具的平面定位，利用单目相机或激光测距传感器，得到吊具与集装箱桥式吊车的移动小车之间的距离，从而确定吊具的空间位置坐标。
[0010]进一步地，步骤S1具体包括如下步骤：
[0011]步骤1
‑
1：将两个相同型号规格的相机固定在一刚性支架的基准面上组成一组双目相机系统，使得两个相机成像平面共面，光轴平行且以支架上的安装基准线为公垂线，两个相机之间的基线距离为D，所述相机选择帧率高于60FPS，分辨率高于2K的相机；
[0012]步骤1
‑
2：将两组双目相机系统部署在吊车横梁上可移动小车两侧同一水平高度上，与小车的行进方向垂直，使每组双目相机系统至少能够拍摄到目标集装箱与吊具顶面的一个端部。
[0013]进一步地，步骤S2具体包括如下步骤：
[0014]步骤2
‑
1：使用两组双目相机分别采集下方集装箱和吊具的RGB图像，并对采集的RGB图像进行滤波降噪；
[0015]步骤2
‑
2：将滤波降噪后的RGB图像转换到HSV颜色空间得到预处理后的图像，转换过程中图像的色调H取值范围为0
°
～360
°
，饱和度S取值范围为0～1，明度V取值范围为0～1；
[0016]步骤2
‑
3：从预先采集的标准的集装箱图像中提取大小为P*P的图块作为集装箱颜色模板，并计算其在HSV颜色空间的统计直方图；
[0017]步骤2
‑
4：取步骤2
‑
2预处理后的图像的中心位置处尺寸为N*M的区域作为感兴趣区域，并用大小为n*n的窗口，以l为步长遍历该区域，计算每个窗口中的图像与集装箱颜色模板之间颜色空间的统计直方图的匹配度，对所有匹配度超过阈值T
M
的窗口取并集，即得目标集装箱图像分割结果；
[0018]步骤2
‑
5：对步骤2
‑
4得到的目标集装箱图像分割结果取最小外接矩形，并向外拓展K个像素作为新的感兴趣区域，并在此区域内进行边缘检测；
[0019]步骤2
‑
6：将边缘检测所得的有效边缘像素进行组合，构成目标集装箱的轮廓特征；
[0020]步骤2
‑
7：对目标集装箱的轮廓特征进行多边形拟合，提取出所有的凸四边形，并去除其中面积小于阈值T
S1
的结果，依次计算提取的所有的凸四边形所有邻接直线的夹角，若所有夹角的角度值均满足阈值范围[T
D1
,T
D2
]，则可判定该四边形为矩形，所有满足上述条件的矩形构成目标集装箱的候选外接矩形框集合；
[0021]步骤2
‑
8：计算目标集装箱的候选外接矩形框集合中所有矩形的面积和长宽比，去除其中面积大于阈值T
S2
的矩形，并筛选出符合标准集装箱长宽比的矩形作为目标集装箱的外接矩形框；
[0022]步骤2
‑
9：取目标集装箱外接矩形框左上角坐标和右下角坐标计算得到目标集装箱中心点在图像坐标系下的位置坐标即目标集装箱的平面位置；
[0023]步骤2
‑
10：利用目标集装箱的外接矩形框，通过掩码的方式将目标集装箱从采集
图像中分割出来，以备后续测距与空间定位所用；
[0024]步骤2
‑
11：双目相机系统中的两个相机分别进行上述步骤2
‑
1至2
‑
10的操作，实现目标集装箱的识别与平面定位。
[0025]进一步地，步骤S3具体包括如下步骤：
[0026]步骤3
‑
1：对双目相机系统中两个相机获取的目标集装箱图像分别提取关键点特征，并对关键点进行特征匹配，筛除误匹配点。
[0027]步骤3
‑
2：通过立体匹配方法计算双目相机系统中两本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种港口集装箱自动装卸作业中的视觉识别、测距与定位方法，其特征在于，该方法包括如下步骤：步骤S1：组建双目相机系统，并部署安装到集装箱桥式吊车横梁上可移动小车的两侧；步骤S2：对于目标集装箱进行识别与平面定位；步骤S3：得到目标集装箱的平面位置后，利用双目相机系统实现目标集装箱的初步测距，并结合目标集装箱的结构化尺寸信息实现目标集装箱高度的精确计算，通过反透视变换确定目标集装箱的空间位置坐标；步骤S4：通过对吊具上预涂装标记的识别，实现吊具的平面定位，利用单目相机或激光测距传感器，得到吊具与集装箱桥式吊车的移动小车之间的距离，从而确定吊具的空间位置坐标。2.根据权利要求1所述的港口集装箱自动装卸作业中的视觉识别、测距与定位方法，其特征在于：步骤S1具体包括如下步骤：步骤1
‑
1：将两个相同型号规格的相机固定在一刚性支架的基准面上组成一组双目相机系统，使得两个相机成像平面共面，光轴平行且以支架上的安装基准线为公垂线，两个相机之间的基线距离为D，所述相机选择帧率高于60FPS，分辨率高于2K的相机；步骤1
‑
2：将两组双目相机系统部署在吊车横梁上可移动小车两侧同一水平高度上，与小车的行进方向垂直，使每组双目相机系统至少能够拍摄到目标集装箱与吊具顶面的一个端部。3.根据权利要求1所述的港口集装箱自动装卸作业中的视觉识别、测距与定位方法，其特征在于：步骤S2具体包括如下步骤：步骤2
‑
1：使用两组双目相机分别采集下方集装箱和吊具的RGB图像，并对采集的RGB图像进行滤波降噪；步骤2
‑
2：将滤波降噪后的RGB图像转换到HSV颜色空间得到预处理后的图像，转换过程中图像的色调H取值范围为0
°
～360
°
，饱和度S取值范围为0～1，明度V取值范围为0～1；步骤2
‑
3：从预先采集的标准的集装箱图像中提取大小为P*P的图块作为集装箱颜色模板，并计算其在HSV颜色空间的统计直方图；步骤2
‑
4：取步骤2
‑
2预处理后的图像的中心位置处尺寸为N*M的区域作为感兴趣区域，并用大小为n*n的窗口，以l为步长遍历该区域，计算每个窗口中的图像与集装箱颜色模板之间颜色空间的统计直方图的匹配度，对所有匹配度超过阈值T
M
的窗口取并集，即得目标集装箱图像分割结果；步骤2
‑
5：对步骤2
‑
4得到的目标集装箱图像分割结果取最小外接矩形，并向外拓展K个像素作为新的感兴趣区域，并在此区域内进行边缘检测；步骤2
‑
6：将边缘检测所得的有效边缘像素进行组合，构成目标集装箱的轮廓特征；步骤2
‑
7：对目标集装箱的轮廓特征进行多边形拟合，提取出所有的凸四边形，并去除其中面积小于阈值T
S1
的结果，依次计算提取的所有的凸四边形所有邻接直线的夹角，若所有夹角的角度值均满足阈值范围[T
D1
，T
D2
]，则可判定该四边形为矩形，所有满足上述条件的矩形构成目标集装箱的候选外接矩形框集合；步骤2
‑
8：计算目标集装箱的候选外接矩形框集合中所有矩形的面积和长宽比，去除其中面积大于阈值T
S2
的矩形，并筛选出符合标准集装箱长宽比的矩形作为目标集装箱的外接
矩形框；步骤2
‑
9：取目标集装箱外接矩形框左上角坐标和右下角坐标计算得到目标集装箱中心点在图像坐标系下的位置坐标即目标集装箱的平面位置；步骤2
‑
10：利用目标集装箱的外接矩形框，通过掩码的方式将目标集装箱从采集图像中分割出来，以备后续测距与空间定位所用；步骤2
‑
11：双目相机系统中的两个相机分别进行上述步骤2
‑
1至2
‑
10的操作，实现目标集装箱的识别与平面定位。4.根据权利要求1所述的港口集装箱自动装卸作业中的视觉识...

【专利技术属性】
技术研发人员：李俊，冯云剑，闫兴达，徐翔，
申请(专利权)人：东南大学，
类型：发明
国别省市：