基于视觉系统向集装箱角件内安装锁销的方法技术方案

本发明专利技术公开一种基于视觉系统向集装箱角件内安装锁销的方法，视觉识别模块通过机械臂末端部位的摄像头对集装箱各角件拍摄一段视频，对视频图片按照比例分为训练集和测试集，制作识别集装箱角件的数据集模型，然后基于该数据集模型，通过视觉识别模块判断角件上是否有锁，无锁时由视觉识别模块确定角件长方形锁孔中心位置，再通过视觉测距模块测量锁孔中心位置的距离，最后控制器控制机械臂和抓取机构将相应锁体装配于集装箱角件的长方形锁孔中心。本发明专利技术设计了一种基于视觉系统向集装箱角件内安装锁销的方法，实现了对待安装集装箱角件位置和形状高精度识别、机械臂高精度安装集装箱锁销和其运行状态下距离的可视化显示。装箱锁销和其运行状态下距离的可视化显示。装箱锁销和其运行状态下距离的可视化显示。

【技术实现步骤摘要】
基于视觉系统向集装箱角件内安装锁销的方法


[0001]本专利技术是基于视觉系统向集装箱角件内安装锁销的方法，主要应用在自动化码头中机械臂安装集装箱锁销方面，属于自动化视觉领域。

技术介绍

[0002]近年来自动化码头的发展十分火热，机械臂装配集装箱锁销对于自动化码头来说不可或缺，视觉识别技术和视觉测距技术应用在机械臂安装集装箱锁销的过程中必不可少，由于集装箱锁销的种类十分丰富，每类集装箱锁销对应的安装夹具也不一样，对于视觉识别技术，如果识别集装箱角件类别和位置的准确度不高，会使得机械臂选择夹具不匹配或安装位置有所偏差，导致机械臂无法安装集装箱锁销；对于视觉测距技术，如果测量夹具到集装箱锁销的距离不够精确，一方面会导致机械臂无法安装集装箱锁销，另一方面还可能损坏夹具、集装箱锁销和机械臂自身，因此对于机械臂安装集装箱锁销的视觉识别技术和视觉测距技术研究是十分必要的。
[0003]目前视觉识别技术和视觉测距技术的运用领域十分广泛，现有的自动识别技术有条形码识别技术、IC卡识别技术、光学字符识别技术和射频技术识别等等，但是应用在机械臂安装集装箱锁销中的识别技术比较少；现有的测距技术有超声波测距技术、红外线测距技术、电涡流测距技术、雷达测距技术和激光测距技术等等，但是应用在机械臂安装集装箱锁销中的测距技术比较少。
[0004]对于识别技术，目前存在的识别技术对于机械臂安装集装箱锁销的实用性不高，如条形码识别技术利用光电转换器和光学知识完成对条形码的识别；IC卡识别技术利用电磁波在寻呼器和应答器之间通信完成对IC卡的识别；光学字符识别技术利用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术；射频识别技术利用发射天线发送一定频率的射频信号，射频卡进入工作区域后产生感应电流，获得能量激活，将自身信息发生出去完成射频的识别；图像识别技术利用图像分割、图像特征提取和分类器的识别完成对图像的识别，这项技术被广泛应用于人脸识别、车牌识别、字迹识别等等，但是没有应用于集装箱锁销的图像识别技术。这些识别技术并不适用于对集装箱锁销的识别。
[0005]对于测距技术，目前应用的测距技术对于机械臂安装集装箱锁销存在各种各样的缺点，如电涡流测距技术容易受环境磁场影响；超声波测距技术不适宜测量较近物体，存在测量盲区；红外线测距技术受环境影响大；激光测距技术难以实现机械臂到达需要安装集装箱锁销的位置对该锁销实现安装；视觉测距技术单独应用于集装箱锁销的测距来说难以实现，因为集装箱锁销的测距点在待测距图像中不易定位，需要结合相关算法来完成对集装箱测距点的定位以实现对集装箱锁销的测距。使用这些技术无法保证机械臂可以高精度的完成集装箱锁销的安装，这样会使得机械臂在安装锁销的过程中损坏夹具、集装箱锁销和机械臂自身，影响自动化码头的工作效率，造成难以估量的损失。

技术实现思路

[0006]本专利技术提供一种基于视觉系统向集装箱角件内安装锁销的方法,解决现有集装箱锁销安装系统对集装箱锁销识别准确度和测距不高的问题，提高了对集装箱锁销的识别准确度和测距精度。
[0007]本专利技术解决其技术问题所采用的方案是：一种基于视觉系统向集装箱角件内安装锁销的方法，首先视觉识别模块通过机械臂末端部位的双目摄像头在设置好起点和终点的条件下，来回往复地对集装箱上的角件拍摄一段视频，将视频通过基于Python的OpenCV代码解码成若干张图片，按照m：n的比例分为集装箱角件的训练集和测试集，其中m为集装箱角件的训练集和n为集装箱角件的测试集；通过数据标注软件LabelImg在数据集上标注待测角件的矩形框；将数据集利用2080Ti上的GPU在Yolov4
‑
tiny模型上进行训练，通过通道修剪算法修剪训练后的Yolo
‑
V4tiny角件模型中的冗余通道和权重参数，将上述得到的权重参数应用于Yolov4
‑
tiny模型中用来检测角件的种类，制作识别集装箱角件的数据集模型，然后基于该数据集模型，通过视觉识别模块判断角件上是否有锁，无锁时由视觉识别模块确定角件长方形锁孔中心位置，再通过视觉测距模块测量锁孔中心位置的距离。
[0008]视觉测距模块首先通过棋盘标定法得到的双目相机立体标定参数，将其作为初代变量；通过Bouguet算法对含有棋盘格的左右图像进行立体校正，检测出左右图像中棋盘格上所有的角点并得到相应的像素纵坐标，计算每个棋盘角点在立体校正后的左右图像中成像点在像素坐标系下纵坐标的差值和的平均值作为初代优化函数值；设置好初代变量、初代优化函数值、步长、随机方向向量、迭代次数和变步长系数后通过基于双目平行极线约束的天牛须搜索算法优化双目相机立体标定参数以得到最优参数；制作视觉测距数据集采用与视觉识别同样的方法，通过数据标注软件LabelImg在数据集上标注待测距区域矩形框；将数据集利用2080Ti上的GPU在Yolov4
‑
tiny模型上进行训练以得到相应的权重参数为后续实时检测待测距区域矩形框做准备；将上述得到的权重参数应用于Yolov4
‑
tiny模型中用来检测实时图像中集装箱角件的待测距区域矩形框并将框的颜色显示成白色；之后利用图像二值化的特性通过将阈值设置为白色对应的灰度值对数据标注后的实时图像进行图像二值化以保留白色的待测距区域矩形框，滤除除白色外的冗余背景以减少后续检测出冗余的角点，最后利用矩形顶点特征的Harris算法检测出集装箱角件矩形框四个角点得到像素坐标；将优化后的立体标定参数和待测距点的像素坐标结合SGBM立体匹配算法进行测距以得到机器人到集装箱角件的距离。最后控制器控制机械臂和抓取机构将相应锁体装配于集装箱角件的长方形锁孔中心。
[0009]所述的视觉识别模块使用通道修剪的Yolo
‑
V4tiny的深度学习算法进行锁销种类的检测；视觉测距模块使用基于双目相机参数优化和角点检测的双目测距系统，使用基于双目平行极线约束的天牛须搜索算法优化双目相机的立体标定参数以提高双目相机的平行程度，待测距点的定位采用角点检测算法将待测距点作为角点进行检测并输出对应的像素坐标以实现精确的定位，通过Yolov4
‑
tiny和矩形顶点特征的Harris角点检测算法以实现对待测距点的精确定位，为后续的测距做好准备。
[0010]所述双目相机由DSL
‑
3079
‑
HE相机和索尼IMX179镜头组成。
[0011]视觉识别系统的包括程序环境搭建、卷积神经网络搭建程序设计、集装箱角件图像训练程序设计和集装箱角件图像识别程序设计；视觉测距系统包括程序环境搭建、图像
分割提取程序设计、双目相机测距程序设计和夹具到抓取位置距离计算程序设计。视觉识别模块和视觉测距模块共用一个程序环境，所述程序环境搭建是必要的前提，通过在PC机里借助Pycharm配置好Python、OpenCV、TensorFlow以实现双目相机模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉系统向集装箱角件内安装锁销的方法，其特征在于，首先视觉识别模块通过机械臂末端部位的双目摄像头在设置好起点和终点的条件下，来回往复地对集装箱上的角件拍摄一段视频，将视频通过基于Python的OpenCV代码解码成若干张图片，按照m∶n的比例分为集装箱角件的训练集和测试集，其中m为集装箱角件的训练集和n为集装箱角件的测试集；通过数据标注软件Labellmg在数据集上标注待测角件的矩形框；将数据集利用2080Ti上的GPU在Yolov4
‑
tiny模型上进行训练，通过通道修剪算法修剪训练后的Yolo
‑
V4tiny角件模型中的冗余通道和权重参数，将上述得到的权重参数应用于Yolov4
‑
tiny模型中用来检测角件的种类，制作识别集装箱角件的数据集模型，然后基于该数据集模型，通过视觉识别模块判断角件上是否有锁，无锁时由视觉识别模块确定角件长方形锁孔中心位置，再通过视觉测距模块测量锁孔中心位置的距离，视觉测距模块首先通过棋盘标定法得到的双目相机立体标定参数，将其作为初代变量；通过Bouguet算法对含有棋盘格的左右图像进行立体校正，检测出左右图像中棋盘格上所有的角点并得到相应的像素纵坐标，计算每个棋盘角点在立体校正后的左右图像中成像点在像素坐标系下纵坐标的差值和的平均值作为初代优化函数值；设置好初代变量、初代优化函数值、步长、随机方向向量、迭代次数和变步长系数后通过基于双目平行极线约束的天牛须搜索算法优化双目相机立体标定参数以得到最优参数；制作视觉测距数据集采用与视觉识别同样的方法，通过数据标注软件Labellmg在数据集上标注待测距区域矩形框；将数据集利用2080Ti上的GPU在Yolov4
‑
tiny模型上进行训练以得到相应的权重参数为后续实时检测待测距区域矩形框做准备；将上述得到的权重参数应用于Yolov4
‑
tiny模型中用来检测实时图像中集装箱角件的待测距区域矩形框并将框的颜色显示成白色；之后利用图像二值化的特性通过将阈值设置为白色对应的灰度值对数据标注后的实时图像进行图像二值化以保留白色的待测距区域矩形框，滤除除白色外的冗余背景以减少后续检测出冗余的角点，最后利用矩形顶点特征的Harris算法检测出集装箱角件矩形框四个角点得到像素坐标；将优化后的立体标定参数和待测距点的像素坐标结合SGBM立体匹配算法进行测距以得到机器人到集装箱角件的距离；最后控制器控制机械臂和抓取机构将相应锁体装配于集装箱角件的长方形锁孔中心。2.根据权利要求1所述的基于视觉系统向集装箱角件内安装锁销的方法，其特征在于，所述的视觉识别模块使用通道修剪的Yolo
‑
V4tiny的深度学习算法进行锁销种类的检测；视觉测距模块使用基于双目相机参数优化和角点检测的双目测距系统，使用基于双目平行极线约束的天牛须搜索算法优化双目相机的立体标定参数以提高双目相机的平行程度，待测距点的定位采用角点检测算法将待测距点作为角点进行检测并输出对应的像素坐标以实现精确的定位，通过Yolov4
‑
tiny和矩形顶点特征的Harris角点检测算法以实现对待测距点的精确定位，为后续的测距做好准备。3.根据权利要求1所述的基于视觉系统向集装箱角件内安装锁销的方法，其特征在于，所述双目相机由DSL
‑
3079
‑
HE相机和索尼IMX179镜头组成。4.根据权利要求1所述的基于视觉系统向集装箱角件内安装锁销的方法，其特征在于，视觉识别系统的包括程序环境搭建、卷积神经网络搭建程序设计、集装箱角件图像训练程序设计和集装箱角件图像识别程序设计；视觉测距系统包括程序环境搭建、图像分割提取程序设计、双目相机测距程序设计和夹具到抓取位置距离计算程序设计。5.根据权利要求4所述的基于视觉系统向集装箱角件内安装...

【专利技术属性】
技术研发人员：陈国初，张瑜杰，王西超，赵永新，曹乐，陈锦乾，焦斌，李保江，
申请(专利权)人：上海振华重工集团股份有限公司，
类型：发明
国别省市：