【技术实现步骤摘要】
集装箱锁销拆卸视觉系统
[0001]本专利技术是一种基于视觉检测与识别模块和视觉测距模块的集装箱锁销拆卸视觉系统，主要应用在自动化码头中机械臂拆卸集装箱锁销方面，属机器视觉领域。
技术介绍
[0002]近年来自动化码头的发展十分火热，机械臂拆卸集装箱锁销对于自动化码头来说不可或缺，视觉识别模块和视觉测距技术应用在机械臂拆卸集装箱锁销的过程中必不可少，由于集装箱锁销的种类十分丰富，每类集装箱锁销对应的拆卸夹具也不一样，所以对于机械臂拆卸集装箱锁销来说，通过视觉识别技术识别出待拆卸集装箱锁销的类别，接着机械臂装上对应的夹具，然后通过视觉测距技术测量出夹具到集装箱锁销的距离，使机械臂能够精准的完成对集装箱锁销的拆卸。对于视觉识别技术，如果识别集装箱锁销类别的准确度不高，会使得机械臂安装错误的夹具，导致机械臂无法拆卸集装箱锁销；对于视觉测距技术，如果测量夹具到集装箱锁销的距离不够精确，一方面会导致机械臂无法拆卸集装箱锁销，另一方面还可能损坏夹具、集装箱锁销和机械臂自身，因此对于机械臂拆卸集装箱锁销的视觉识别技术和视觉测距技术研究是十...
【技术保护点】
【技术特征摘要】
1.一种集装箱锁销拆卸视觉系统，包括视觉检测与识别模块、双目视觉测距模块、双目相机模块和位于机械臂末端的抓取机构，其特征在于，首先通过视觉检测与识别模块检测出待拆卸集装箱角件上是否存在待拆卸的锁销，如果存在待拆卸的锁销，则通过视觉检测与识别模块识别出待拆卸集装箱锁销的类别，依据识别出来的集装箱锁销类别，在机械臂装上对应的夹具，通过视觉测距技术测量出夹具到集装箱锁销的距离，依据测量出来的距离，机械臂能够精准的完成对集装箱锁销的拆卸；视觉检测与识别模块使用通道修剪的Yolo
‑
V4tiny的深度学习算法进行锁销种类的检测与识别，视觉测距模块使用基于双目相机参数优化和角点检测的双目测距系统，使用基于双目平行极线约束的天牛须搜索算法优化双目相机的立体标定参数以提高双目相机的平行程度，待测距点的定位采用角点检测算法将待测距点作为角点进行检测并输出对应的像素坐标以实现精确的定位，通过Yolov4
‑
tiny和矩形顶点特征的Harris角点检测算法以实现对待测距点的精确定位，为后续的测距做好准备。2.根据权利要求1所述的集装箱锁销拆卸视觉系统，其特征在于，所述的视觉检测与识别模块：首先制作识别集装箱锁销半锁状态的数据集，通过双目摄像头，在设置好起点和终点的条件下，来回往复地对挂在集装箱上的各类集装箱锁销拍摄一段视频，将视频通过基于Python的OpenCV代码解码成若干张图片，按照m：n的比例分为集装箱锁销全锁状态的训练集和测试集，其中m为集装箱锁销半锁状态的训练集和n为集装箱锁销半锁状态的测试集；通过数据标注软件LabelImg在数据集上标注待测锁销的矩形框；将数据集利用2080Ti上的GPU在Yolov4
‑
tiny模型上进行训练，通过通道修剪算法修剪训练后的Yolo
‑
V4tiny锁销模型中的冗余通道和权重参数，将上述得到的权重参数应用于Yolov4
‑
tiny模型中用来检测锁销的种类。3.根据权利要求1所述的集装箱锁销拆卸视觉系统，其特征在于，所述的视觉测距模块：首先通过棋盘标定法得到的双目相机立体标定参数，将其作为初代变量；通过Bouguet算法对含有棋盘格的左右图像进行立体校正，检测出左右图像中棋盘格上所有的角点并得到相应的像素纵坐标，计算每个棋盘角点在立体校正后的左右图像中成像点在像素坐标系下纵坐标的差值和的平均值作为初代优化函数值；设置好初代变量、初代优化函数值、步长、随机方向向量、迭代次数和变步长系数后通过基于双目平行极线约束的天牛须搜索算法优化双目相机立体标定参数以得到最优参数；制作视觉测距数据集采用与视觉识别同样的方法，通过数据标注软件LabelImg在数据集上标注待测距区域矩形框；将数据集利用2080Ti上的GPU在Yolov4
‑
tiny模型上进行训练以得到相应的权重参数为后续实时检测待测距区域矩形框做准备；将上述得到的权重参数应用于Yolov4
‑
tiny模型中用来检测实时图像中集装箱锁销的待测距区域矩形框并将框的颜...
【专利技术属性】
技术研发人员：王西超，曹乐，赵永新，张瑜杰，陈锦乾，陈国初，焦斌，李保江，
申请(专利权)人：上海振华重工集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。