一种基于双目视觉的塔吊自动装载方法技术

本发明专利技术公开了一种基于双目视觉的塔吊自动装载方法，利用双目相机采集标志物图像，并进行图像处理，采用圆形度的方式筛选出所有椭圆轮廓，接着依次找出椭圆轮廓的内嵌轮廓，利用设计的十字形模板进行形状匹配，确定出标志板所在区域，计算出椭圆圆心坐标，之后根据双目测距原理计算出标志板中心在基座坐标系下的三维坐标，塔吊控制吊钩下降，根据力觉传感器的反馈值判断货物是否成功起吊，并完成自动装载。本发明专利技术采用双目视觉，具有稳定性好，准确度高的特点，同时基于标志物进行识别和定位，具有识别难度小、时间短、精度高等优势。

【技术实现步骤摘要】
一种基于双目视觉的塔吊自动装载方法
本专利技术设计图像信息处理和塔吊装载领域，具体涉及一种基于双目视觉的塔吊自动装载方法。
技术介绍
在塔式吊车货物吊装领域，现阶段主要靠人为指挥以及凭借塔吊司机的经验进行货物的吊运，这种方式存在人工操作工作量大，定位不准，需要反复调节才能使吊钩到达货物的起吊点等问题，因此研究塔式吊车货物快速定位已成为亟需解决的问题。机器视觉技术是利用相机代替人眼对目标进行识别、跟踪和测量，也是目前作为前沿的研究热点。机器视觉对目标的测量主要包括单目视觉测量方法和双目视觉测量方法。单目视觉测量需要相机从各个视角对目标进行拍摄，根据三角测距原理得到目标的三维坐标，其优点是成本低、便于安装，但是只能得到目标的相对位置，其测量误差与距离成正比，因此不适合应用于高空作业领域。在目标识别领域，以Faster-RCNN和Yolo算法为代表的的深度学习算法得到了广泛的发展与应用，但是其需要利用数量庞大的样本进行训练，算法复杂度高，实时性差，对硬件的要求较高，且不能识别出目标的细节部分。若将其应用到塔吊货物装载系统中，可能存在不能准确定位出货物的三维位置信息等问题。
技术实现思路
本专利技术的目的在于提供一种基于双目视觉的塔吊自动装载方法，可以解决塔式吊车高空作业时的货物定位与装载问题，提高作业效率。实现本专利技术目的的技术解决方案为：一种基于双目视觉的塔吊自动装载方法，包括以下步骤：步骤1：初始化相机内外参数，将标志板固定在钢丝绳上，确保标志板中心在起吊点正下方；步骤2：显示相机拍摄页面，获取所述拍摄界面的图像，根据所述图像确定所述拍摄界面上包括待吊装货物；步骤3：对采集到的左右目图像分别进行图像预处理，得到二值化图像；步骤4：采用opencv的findcontours函数提取二值化图像的所有轮廓，采用圆形度的方式初步筛选出所有椭圆轮廓，接着依次找出椭圆轮廓的内嵌轮廓，利用十字形模板进行形状匹配，确定出标志板所在区域；步骤5：基于最小二乘方法拟合出椭圆的圆心坐标，利用检测出的感兴趣区域轮廓和椭圆参数方程，建立目标度量函数，基于最小二乘方法计算出最优的椭圆参数以及椭圆中心坐标；步骤6：根据双目测距原理计算出标志板中心在基座坐标系下的三维坐标Pb(Xb,Yb,Zb)，根据该坐标控制塔吊起重臂和小车运动使吊钩位于起吊点正上方；步骤7：控制吊钩下降到Pb(Xb,Yb,Zb)，此时吊钩位于起吊点正下方，控制吊钩上升高度H0，根据小车上的力传感器判断货物是否成功起吊；步骤8：判断起吊次数N是否大于允许的最大次数N0，如果N>N0，则提示起吊失败，否则回到步骤7，重新尝试起吊，直至完成吊装作业。本专利技术与现有技术相比，具有以下有点：(1)相比于通过单目相机、传感器或者结合单目相机和传感器的方式进行的定位，双目视觉有稳定性好，准确度高的特点；(2)基于标志物进行识别和定位，具有识别难度小、时间短、精度高等优势；(3)小车上安装了力觉传感器，通过力觉反馈值可以判断货物是否成功起吊，如果起吊失败将尝试重新起吊，直到成功起吊或者达到最大起吊次数为止；(4)基于最小二乘方法拟合得到的椭圆圆心像素坐标可以达到亚像素精度，能够显著减小测量误差；(5)相比于现阶段通过遥操作来进行货物装载的方法，本专利技术能够更加精确地进行货物定位，并且实现了整个货物装载过程的自动化操作，能够节省人力，同时显著提高货物装载的效率。下面结合附图对本专利技术做进一步详细描述。附图说明：图1为本专利技术的塔吊自动装载系统结构图。图2为本专利技术的双目系统组成图，包括标志物、左右目相机、通信线缆和开发板。图3为本专利技术的自动装载流程图。图4为本专利技术的双目测距原理示意图。图5为本专利技术的左右摄像机参数标定结果。图6为本专利技术的双目摄像机位置标定结果。图7为本专利技术的图像预处理之后的灰度图。图8为本专利技术的图像去噪后的处理图。图9为本专利技术的图像二值化之后的处理图。图10为本专利技术的初步筛选出所有椭圆轮廓。图11为本专利技术的设计的十字形模板。图12为本专利技术的形状匹配结果。具体实施方式针对塔式吊车吊装货物大小形状各不相同这一问题，采用标志物识别来代替货物识别；针对单一形状标志物造成的误检测问题，设计以外层为圆形内层为十字形的混合标志物。采用双目测距原理来测量标志物中心的三维空间坐标，能够有效提高测距的精度，在小车上安装力觉传感器，根据其力觉反馈值可以判断货物是否成功起吊，如果起吊失败将尝试重新起吊，直到成功起吊或者达到最大起吊次数为止，同时给出货物识别定位方法与自动装载的完整流程。下面结合附图对本专利技术做进一步详细描述。一种基于双目视觉的塔吊自动装载方法，该方法包括以下步骤：步骤1：初始化相机内外参数，将标志板固定在钢丝绳上，确保标志板中心在起吊点正下方；步骤2：显示相机拍摄页面，获取所述拍摄界面的图像，根据所述图像确定所述拍摄界面上包括待吊装货物；步骤3：对采集到的左右目图像分别进行图像预处理，得到二值化图像，具体包括如下步骤：步骤3-1：将RGB图像转化为灰度图像，再通过中值滤波算法去除图像中的椒盐噪声，图片的灰度化采用如下公式：Gray＝0.299*R+0.578*G+0.114*B其中Gray表示计算出的灰度值，R、G、B分别表示红、绿、蓝三个通道的彩色分量值；步骤3-2：通过OSTU自适应滤波算法进行图像二值化：设定OSTU阈值k，将图像所有像素分为C1(小于k)和C2(大于k)两类，则这两类像素各自的灰度均值为m1、m2，同时像素被分为C1和C2的概率分别为p1、p2，求得类间方差σ2＝p1p2(m1-m2)，其中，p2＝1-p1，计算出使类间方差σ2最大的k值作为OTSU阈值进行图像二值化。步骤4：采用opencv的findcontours函数提取二值化图像的所有轮廓，采用圆形度的方式初步筛选出所有椭圆轮廓，接着依次找出椭圆轮廓的内嵌轮廓，利用十字形模板进行形状匹配，确定出标志板所在区域，具体包括如下步骤：步骤4-1：分别得到左右目的二值化图像后，利用Opencv函数检测所有的轮廓，采用圆形度计算公式，设定阈值d，初步筛选出所有的椭圆轮廓，具体公式为：其中是S是轮廓连通区域面积，C是轮廓周长，ρ为放大系数，取值为1.2，若d∈[0.6,1],则该轮廓为期望的椭圆轮廓；步骤4-2：依次找出第一步中筛选出轮廓的内嵌轮廓，利用十字形模板，分别计算模板轮廓与待匹配轮廓的7个Hu不变矩mi,i＝1,2,...,7，给出相似度计算公式：其中I为待匹配轮廓，T为模板轮廓，设定阈值范围0～0.2，如果计算出内嵌轮廓与模板的相似度S∈[0,0.2]，则该轮廓区域为标志物所在区域。步骤5：基于最小二乘方法拟合出椭圆的圆心坐标，利用检测出的感兴趣区域轮廓和椭圆参数方程，建立目标度量函数，基于最小二乘方法计算本文档来自技高网...

【技术保护点】
1.一种基于双目视觉的塔吊自动装载方法，其特征在于，包括以下步骤：/n步骤1：初始化相机内外参数，将标志板固定在钢丝绳上，确保标志板中心在起吊点正下方；/n步骤2：显示相机拍摄页面，获取所述拍摄界面的图像，根据所述图像确定所述拍摄界面上包括待吊装货物；/n步骤3：对采集到的左右目图像分别进行图像预处理，得到二值化图像；/n步骤4：采用opencv的findcontours函数提取二值化图像的所有轮廓，采用圆形度的方式初步筛选出所有椭圆轮廓，接着依次找出椭圆轮廓的内嵌轮廓，利用十字形模板进行形状匹配，确定出标志板所在区域；/n步骤5：基于最小二乘方法拟合出椭圆的圆心坐标，利用检测出的感兴趣区域轮廓和椭圆参数方程，建立目标度量函数，基于最小二乘方法计算出最优的椭圆参数以及椭圆中心坐标；/n步骤6：根据双目测距原理计算出标志板中心在基座坐标系下的三维坐标P

【技术特征摘要】
1.一种基于双目视觉的塔吊自动装载方法，其特征在于，包括以下步骤：
步骤1：初始化相机内外参数，将标志板固定在钢丝绳上，确保标志板中心在起吊点正下方；
步骤2：显示相机拍摄页面，获取所述拍摄界面的图像，根据所述图像确定所述拍摄界面上包括待吊装货物；
步骤3：对采集到的左右目图像分别进行图像预处理，得到二值化图像；
步骤4：采用opencv的findcontours函数提取二值化图像的所有轮廓，采用圆形度的方式初步筛选出所有椭圆轮廓，接着依次找出椭圆轮廓的内嵌轮廓，利用十字形模板进行形状匹配，确定出标志板所在区域；
步骤5：基于最小二乘方法拟合出椭圆的圆心坐标，利用检测出的感兴趣区域轮廓和椭圆参数方程，建立目标度量函数，基于最小二乘方法计算出最优的椭圆参数以及椭圆中心坐标；
步骤6：根据双目测距原理计算出标志板中心在基座坐标系下的三维坐标Pb(Xb,Yb,Zb)，根据该坐标控制塔吊起重臂和小车运动使吊钩位于起吊点正上方；
步骤7：控制吊钩下降到Pb(Xb,Yb,Zb)，此时吊钩位于起吊点正下方，控制吊钩上升高度H0，根据小车上的力传感器判断货物是否成功起吊；
步骤8：判断起吊次数N是否大于允许的最大次数N0，如果N>N0，则提示起吊失败，否则回到步骤7，重新尝试起吊，直至完成吊装作业。


2.根据权利要求1所述的一种基于双目视觉的塔吊自动装载方法，其特征在于，步骤1中的标志板外层为圆形，内层为十字形标记，标志板中心和圆形中心重合。


3.根据权利要求1所述的一种基于双目视觉的塔吊自动装载方法，其特征在于，步骤3中的对采集到的左右目图像分别进行图像预处理具体包括以下步骤：
步骤3-1：将RGB图像转化为灰度图像，再通过中值滤波算法去除图像中的椒盐噪声，图片的灰度化采用如下公式：
Gray＝0.299*R+0.578*G+0.114*B
其中Gray表示计算出的灰度值，R、G、B分别表示红、绿、蓝三个通道的彩色分量值；
步骤3-2：通过OSTU自适应滤波算法进行图像二值化：
设定OSTU阈值k，将图像所有像素分为C1(小于k)和C2(大于k)两类，则这两类像素各自的灰度均值为m1、m2，同时像素被分为C1和C2的概率分别为p1、p2，求得类间方差σ2＝p1p2(m1-m2)，其中，p2＝1-p1，计算出使类间方差σ2最大的k值作为OTSU阈值进行图像二值化。


4.根据权利要求1所述的一种基于双目视觉的塔吊自动装载方法，其特征在于，步骤4的确定标志物所在区域具体包括以下步骤：
步骤4-1：分别得到左右目的二值化图像后，利用Opencv函数检测所有的轮廓，采用圆形度计算公式，设定阈值d，初步筛选出所有的椭圆轮廓，具体公式为：



其中是S是轮廓连通区域面积，C是轮廓周长，ρ为放大系数，取值为1.2，若d∈[0.6,1],则该轮廓为期望的椭圆轮廓；
步骤4-2：依次找出第一步中筛选出轮廓的内嵌轮廓，利用十字形模板，分别计算模板轮廓与待匹配轮廓的7个Hu不变矩mi,i＝1,2,...,7，给出相似度计算公式：其中I为待匹配轮廓，T为模板轮廓，设定阈值范围0～0.2，如果计算出内嵌轮廓与模板的相似度S∈[0,0.2]，则该轮廓区域为标志物所在区域。

【专利技术属性】
技术研发人员：虞文杰，张述坚，叶嵩，王丁军，李元琪，郭毓，叶茂，郭健，王璟，刘阳，李林，
申请(专利权)人：南京理工大学，中建八局第三建设有限公司，
类型：发明
国别省市：江苏;32