一种基于视觉的集装箱自动抓箱方法及系统技术方案

本发明专利技术公开一种基于视觉的集装箱自动抓箱方法及系统，所述方法包括：在吊具的四个角点上任意选取一对角点分别安装相机，通过相机分别采集下方对应位置的集装箱锁孔图像；使用基于深度学习的方法训练锁孔定位模型；当吊具运行到距离下方箱面固定高度H时，连续多次通过锁孔定位模型定位出待识别锁孔区域，通过均值计算确定最终的锁孔定位点；将锁孔定位点转换为对应的世界坐标点；结合锁孔基准点计算吊具相对于待抓箱锁孔的偏移量，根据偏移量对吊具位置进行调整，直到所有偏移量均满足阈值要求，最后下放吊具完成抓箱。本发明专利技术通过视觉检测方法，对吊具的位置和姿态不断调整，实现吊具对下方集装箱的抓取功能，可以提高自动化抓箱效率。箱效率。箱效率。

【技术实现步骤摘要】
一种基于视觉的集装箱自动抓箱方法及系统


[0001]本专利技术属于港口起重机自动化吊装
，具体涉及一种基于视觉的集装箱自动抓箱方法及系统。

技术介绍

[0002]随着港口业务需求的飞速发展，港口已成为对外贸易的重要枢纽，对于港口高效自动化作业的需求越来越强烈。传统的集装箱吊运工作难度较高，需要经验丰富的作业人员。目前各个港口都朝着自动化、智能化方向发展，其中集装箱的全自动抓箱功能就是一项核心工作。
[0003]虽然部分港口采用了堆场自动化方案，但是仍然存在着标定困难、大车基准容易偏移、吊具当前姿态检测不便、姿态调整耗时长等缺点，作业效率得不到有效提升。现有的自动抓箱功能多基于激光雷达的方案，通过分析点云数据，来引导吊具抓箱。这些方案存在设备成本较高、系统资源占用较大、作业效率得不到保证的问题。
[0004]基于机器视觉的自动化吊装技术逐渐得到应用，比如公开号为CN109455622A的专利技术专利公开一种集装箱吊具的视觉识别系统以及集装箱的吊箱方法，其通过图像识别锁孔的中心坐标，判断吊具的偏转角度和偏移量，由plc控制吊具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的集装箱自动抓箱方法，其特征在于，所述方法包括：在吊具的四个角点上任意选取一对角点分别安装相机，通过相机分别采集下方对应位置的集装箱锁孔图像；通过张正友相机标定法标定相机参数，构建相机图像中二维坐标系到世界坐标系的坐标点之间的映射关系；人工对采集的集装箱锁孔图像的锁孔区域进行标注，使用基于深度学习的方法训练锁孔定位模型；当吊具运行到距离下方箱面固定高度H时，连续多次通过锁孔定位模型定位出待识别锁孔区域，分别选取锁孔定位区域的中心点作为锁孔特征点，并剔除异常值，对剩余中心点取均值作为最终的锁孔定位点；通过所述映射关系将锁孔定位点转换为对应的世界坐标点；结合锁孔基准点计算吊具相对于待抓取的集装箱的锁孔的偏移量，根据预设阈值判断偏移量是否满足下放要求，若均满足要求，直接下放吊具完成抓箱；若存在其中一个偏移量不满足要求，则根据偏移量对吊具位置进行调整，再次定位锁孔中心点并计算吊具偏移量，直到所有偏移量均满足阈值要求，下放吊具完成抓箱。2.根据权利要求1所述的基于视觉的集装箱自动抓箱方法，其特征在于，所述相机朝向地面方向拍摄，且相机安装角度应保证画面横向方向与集装箱长边方向平行。3.根据权利要求1所述的基于视觉的集装箱自动抓箱方法，其特征在于，所述对相机进行标定时，标定高度与抓箱调整高度H保持一致；标定外参时，棋盘格的长边与集装箱保持平行，棋盘格的短边与集装箱短边保持平行；多个相机的标定分开进行，无需标定到统一的世界坐标系，世界坐标系的零点分别相对于标定时棋盘格的零点。4.根据权利要求1所述的基于视觉的集装箱自动抓箱方法，其特征在于，所述基准点分别与两个相机相对应，在图像中为二维坐标表示，在实际计算中用转换后的世界坐标表示，使用不同的集装箱多次标定得出。5.根据权利要求1所述的基于视觉的集装箱自动抓箱方法，其特征在于，所述偏移量包括两个平移量和一个旋转量，所述偏移量是根据两个基准点和两个定位点以及对角锁孔中心的距离计算得到，吊具调整目标是使得相机画面中锁孔中心点向对应的基准点逼近；定义集装箱长边向右为X方向，集装箱短边向下为Y方向，集装箱对角锁孔距离为D，P1、P2分别表示两个基准点，C1、C2分别表示两个锁孔定位点，P1与C1的水平距离为dx1、竖直距离为dy1，P2与C2的水平距离为dx2、竖直距离为dy2，计算吊具在X方向上需平移dx的距离，在Y方向上需平移dy的距离，使得dx1＝
‑
dx2，dy1＝
‑
dy2，则有：P1.x
‑
...

【专利技术属性】
技术研发人员：邹永开，李恒，石先城，曹志俊，张涛，
申请(专利权)人：武汉港迪智能技术有限公司，
类型：发明
国别省市：