一种基于机器视觉的集装箱自动对位方法及系统技术方案

一种基于机器视觉的集装箱自动对位方法及系统，包括(1)在吊具上安装工业相机拍摄集装箱；(2)对工业相机进行标定，分别得到四个箱角在对应图像中的标定位置；(3)吊具提升至最高位置时，对工业相机采集的实时视频进行处理，采用模板匹配算法实现箱角的自动检测，得到四个箱角的实时检测坐标位置；(4)根据四个箱角的实时检测坐标位置与标定得到的对应标定位置，计算吊具与集装箱的相对位置偏差；(5)将所述相对位置偏差接入吊具控制系统实现吊具提升至最高位置时的自动对位；(6)分别将吊具移动到中间位置以及下部位置，循环执行以实现集装箱在中间位置以及下部位置的自动对位抓取。

【技术实现步骤摘要】
一种基于机器视觉的集装箱自动对位方法及系统
本专利技术涉及一种集装箱自动对位方法，尤其是一种基于机器视觉的集装箱自动对位方法及系统。
技术介绍
集装箱是港口运输、装卸的重要物流工具。现阶段港口进行集装箱装卸作业时，龙门吊司机使用操作手柄手动控制吊具，进行集装箱的对位和抓取。操作过程中，司机需注意力高度集中，长时间作业会导致司机疲劳，进而降低对位作业效率和精确性。
技术实现思路
本专利技术的目的在于：提出了一种基于机器视觉的集装箱自动对位方法，能够自动对集装箱四个箱角进行识别、定位，通过四个箱角的位置控制吊具移动，实现集装箱自动对位抓箱。本专利技术的技术解决方案是：一种基于机器视觉的集装箱自动对位方法，步骤如下：(1)在吊具上安装工业相机拍摄集装箱；具体为：在吊具四个角上安装工业相机垂直向下拍摄集装箱，每个相机只拍摄集装箱的一个箱角，根据箱角在图像中的位置调整相机位置和角度，确保集装箱起吊过程中均能够拍摄到箱角。(2)对工业相机进行标定，分别得到四个箱角在对应图像中的标定位置；具体为：(2.1)将吊具与集装箱调整至正对位置，吊具提升至最高位置相机成像，框选图像中的箱角区域，得到该高度下的箱角模板Ti1,i＝1,2,3,4和箱角坐标；以左上角箱角为起点按顺时针方向，分别记录4个箱角在4幅图像中的标定位置(xi1,yi1),i＝1,2,3,4，其中图像左下角点为坐标原点，水平方向为x轴方向；(2.2)将吊具调整至最高位置的一半，相机成像，框选图像中的箱角区域，得到该高度下的箱角模板Ti2,i＝1,2,3,4和箱角坐标；以左上角箱角为起点顺时针方向，分别记录4个箱角在4幅图像中的标定位置(xi2,yi2),i＝1,2,3,4；(2.3)将吊具降至集装箱上方10cm处，相机成像，框选图像中的箱角区域，得到该高度下的箱角模板Ti3,i＝1,2,3,4和箱角坐标；以左上角箱角为起点顺时针方向，分别记录4个箱角在4幅图像中的标定位置(xi3,yi3),i＝1,2,3,4。(3)吊具提升至最高位置时，对工业相机采集的实时视频进行处理，采用模板匹配算法实现箱角的自动检测，得到四个箱角的实时检测坐标位置；对工业相机采集的实时视频进行处理是指将四个相机拍摄的视频当前帧转为灰度图像。采用模板匹配算法实现箱角的自动检测，具体为：(3.1)吊具在最高位置时，从Ti1中选择对应相机的箱角模板图T，大小为Mx×My，其中Mx<Nx,My<Ny，Nx×Ny为实时图S的大小；(3.2)模板图叠放在实时图上平移，模板覆盖的实时图为Si,j，Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值，匹配的相似程度计算公式为：当D(i,j)大于预设阈值时，则认为模板覆盖的实时图区域为箱角区域，即成功检测出箱角；该箱角区域的中心点坐标即为该箱角的实时检测坐标位置；(3.3)分别在4个相机拍摄的图像中检测箱角，即可得到4个箱角的实时检测坐标位置(si1,ti1),i＝1,2,3,4。(4)根据四个箱角的实时检测坐标位置与步骤(2)标定得到的对应标定位置，计算吊具与集装箱的相对位置偏差；具体为：通过(xi1,yi1)和(si1,ti1)，计算吊具在最高位置时与集装箱的位置偏差的平均值：其中，(xi1,yi1)为吊具在最高位置时，四个箱角的标定位置，Δx>0表示吊具位置偏右，Δy>0表示吊具位置偏上。(5)将所述相对位置偏差接入吊具控制系统实现吊具提升至最高位置时的自动对位；(6)分别将吊具移动到中间位置以及下部位置，重复步骤(3)～(5)，实现集装箱在中间位置以及下部位置的自动对位抓取。当吊具移动到中间位置，即最高位置一半时，箱角的实时检测坐标位置通过如下方式得到：(a.1)从Ti2中选择对应相机的箱角模板图T，大小为Mx×My，其中Mx<Nx,My<Ny，Nx×Ny为实时图S的大小；(a.2)模板图叠放在实时图上平移，模板覆盖的实时图为Si,j，Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值，匹配的相似程度计算公式为：当D(i,j)大于预设阈值时，则认为模板覆盖的实时图区域为箱角区域，即成功检测出箱角；该箱角区域的中心点坐标即为该箱角的实时检测坐标位置；(a.3)分别在4个相机拍摄的图像中检测箱角，即可得到4个箱角的实时检测坐标位置(si2,ti2),i＝1,2,3,4。吊具与集装箱的位置偏差的平均值：其中，(xi2,yi2)为当吊具在中间位置时，四个箱角的标定位置，Δx>0表示吊具位置偏右，Δy>0表示吊具位置偏上。当吊具移动到下部位置，即集装箱上方10cm时，箱角的实时检测坐标位置通过如下方式得到：(b.1)从Ti3中选择对应相机的箱角模板图T，大小为Mx×My，其中Mx<Nx,My<Ny，Nx×Ny为实时图S的大小；(b.2)模板图叠放在实时图上平移，模板覆盖的实时图为Si,j，Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值，匹配的相似程度计算公式为：当D(i,j)大于预设阈值时，则认为模板覆盖的实时图区域为箱角区域，即成功检测出箱角；该箱角区域的中心点坐标即为该箱角的实时检测坐标位置；(b.3)分别在4个相机拍摄的图像中检测箱角，即可得到4个箱角的实时检测坐标位置(si3,ti3),i＝1,2,3,4。吊具与集装箱的位置偏差的平均值：其中，(xi3,yi3)为当吊具在下部位置时，四个箱角的标定位置，Δx>0表示吊具位置偏右，Δy>0表示吊具位置偏上。一种基于机器视觉的集装箱自动对位系统，包括：相机模块：安装在吊具上，用于拍摄集装箱；标定模块：用于对工业相机进行标定，分别得到四个箱角在对应图像中的标定位置；箱角检测模块：用于当吊具提升至最高位置时、移动到中间位置以及下部位置时，分别对工业相机采集的实时视频进行处理，采用模板匹配算法实现箱角的自动检测，得到四个箱角的实时检测坐标位置；偏差计算模块：用于根据四个箱角的实时检测坐标位置与标定得到的对应标定位置，计算吊具与集装箱的相对位置偏差；自动对位模块：将相对位置偏差接入吊具控制系统实现吊具的自动对位。本专利技术与现有技术相比的有益效果是：(1)本专利技术利用机器视觉技术，通过图像处理技术实现吊具与集装箱的自动对位，与现有的利用激光传感器的对位系统相比，本专利技术在实现同样功能前提下硬件成本更低。(2)吊具下降的三个不同高度对箱角进行标定，计算得到三次吊具与集装箱的位置偏差，保证整个抓箱过程的对位精度。(3)箱角检测结果可通过显示器进行显示，辅助龙门吊司机进行作业，也可以将位置偏差结果直接输入吊具控制系统，实现集装箱的自动装卸。附图说明图1为本专利技术流程图；具体实施方式下面结合附图对本专利技术的具体实施方式进行进一步的详细描述。本专利技术提出的基于机器视觉的集装箱自动对位方法，通过在龙门吊吊具四个角上安装工业相机，在实时获取的视频图像上检测集装箱箱角并进行跟踪，获得箱角在图像中实时坐标位置，进而计算吊具与集装箱的相对位置偏差，并反馈给龙门吊司机或者自动控制系统。如图1所示本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的集装箱自动对位方法，其特征在于步骤如下：(1)在吊具上安装工业相机拍摄集装箱；(2)对工业相机进行标定，分别得到四个箱角在对应图像中的标定位置；(3)吊具提升至最高位置时，对工业相机采集的实时视频进行处理，采用模板匹配算法实现箱角的自动检测，得到四个箱角的实时检测坐标位置；(4)根据四个箱角的实时检测坐标位置与步骤(2)标定得到的对应标定位置，计算吊具与集装箱的相对位置偏差；(5)将所述相对位置偏差接入吊具控制系统实现吊具提升至最高位置时的自动对位；(6)分别将吊具移动到中间位置以及下部位置，重复步骤(3)～(5)，实现集装箱在中间位置以及下部位置的自动对位抓取。

【技术特征摘要】
1.一种基于机器视觉的集装箱自动对位方法，其特征在于步骤如下：(1)在吊具上安装工业相机拍摄集装箱；(2)对工业相机进行标定，分别得到四个箱角在对应图像中的标定位置；(3)吊具提升至最高位置时，对工业相机采集的实时视频进行处理，采用模板匹配算法实现箱角的自动检测，得到四个箱角的实时检测坐标位置；(4)根据四个箱角的实时检测坐标位置与步骤(2)标定得到的对应标定位置，计算吊具与集装箱的相对位置偏差；(5)将所述相对位置偏差接入吊具控制系统实现吊具提升至最高位置时的自动对位；(6)分别将吊具移动到中间位置以及下部位置，重复步骤(3)～(5)，实现集装箱在中间位置以及下部位置的自动对位抓取。2.根据权利要求1所述的一种基于机器视觉的集装箱自动对位方法，其特征在于：所述步骤(1)在吊具上安装工业相机拍摄集装箱具体为：在吊具四个角上安装工业相机垂直向下拍摄集装箱，每个相机只拍摄集装箱的一个箱角，根据箱角在图像中的位置调整相机位置和角度，确保集装箱起吊过程中均能够拍摄到箱角。3.根据权利要求1所述的一种基于机器视觉的集装箱自动对位方法，其特征在于：所述步骤(2)对相机进行标定，具体为：(2.1)将吊具与集装箱调整至正对位置，吊具提升至最高位置相机成像，框选图像中的箱角区域，得到该高度下的箱角模板Ti1,i＝1,2,3,4和箱角坐标；以左上角箱角为起点按顺时针方向，分别记录4个箱角在4幅图像中的标定位置(xi1,yi1),i＝1,2,3,4，其中图像左下角点为坐标原点，水平方向为x轴方向；(2.2)将吊具调整至最高位置的一半，相机成像，框选图像中的箱角区域，得到该高度下的箱角模板Ti2,i＝1,2,3,4和箱角坐标；以左上角箱角为起点顺时针方向，分别记录4个箱角在4幅图像中的标定位置(xi2,yi2),i＝1,2,3,4；(2.3)将吊具降至集装箱上方10cm处，相机成像，框选图像中的箱角区域，得到该高度下的箱角模板Ti3,i＝1,2,3,4和箱角坐标；以左上角箱角为起点顺时针方向，分别记录4个箱角在4幅图像中的标定位置(xi3,yi3),i＝1,2,3,4。4.根据权利要求1所述的一种基于机器视觉的集装箱自动对位方法，其特征在于：对工业相机采集的实时视频进行处理是指将四个相机拍摄的视频当前帧转为灰度图像。5.根据权利要求3所述的一种基于机器视觉的集装箱自动对位方法，其特征在于：采用模板匹配算法实现箱角的自动检测，具体为：(3.1)吊具在最高位置时，从Ti1中选择对应相机的箱角模板图T，大小为Mx×My，其中Mx<Nx,My<Ny，Nx×Ny为实时图S的大小；(3.2)模板图叠放在实时图上平移，模板覆盖的实时图为Si,j，Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值，匹配的相似程度计算公式为：当D(i,j)大于预设阈值时，则认为模板覆盖的实时图区域为箱角区域，即成功检测出箱角；该箱角区域的中心点坐标即为该箱角的实时检测坐标位置；(3.3)分别在4个相机拍摄的图像中检测箱角，即可得到4个箱角的实时检测坐标位置(si1,ti1),i＝1,2,3,4。6.根据权利要求5所述的一种基于机器视觉的集装箱自动对位方法，其特征在于：所述步骤(4)计算吊具与集装箱的相对位置偏差，具体为：通过(xi1,...

【专利技术属性】
技术研发人员：张聪，高仕博，刘燕欣，唐波，郑智辉，
申请(专利权)人：北京航天自动控制研究所，中国运载火箭技术研究院，
类型：发明
国别省市：北京,11