一种基于机器视觉的岸桥控制方法和装置制造方法及图纸

本申请涉及一种基于机器视觉的岸桥控制方法和装置，属于港口岸桥作业辅助技术领域，解决现有方法的集卡定位精度低和单双箱判断准确性率不足而导致岸桥抓放箱作业效率低的问题。方法包括：对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定；基于目标矩形区域和目标停车位置计算初定位偏差距离；对车身图像进行图像裁剪以生成车身子图像；利用第二目标检测模型识别出箱孔坐标和文字或车架导板坐标；基于是否是融合区域、箱孔坐标和文字进行单双箱判断；估计集装箱的高度；计算移动偏差距离以将集卡引导至目标停车位置；根据判断的单双箱调整岸桥的吊具形态进行抓箱或放箱作业。集卡定位精度和单双箱判断准确性高，提高岸桥抓放箱作业效率。提高岸桥抓放箱作业效率。提高岸桥抓放箱作业效率。

【技术实现步骤摘要】
一种基于机器视觉的岸桥控制方法和装置


[0001]本申请涉及港口岸桥作业辅助
，尤其涉及一种基于机器视觉的岸桥控制方法和装置。

技术介绍

[0002]集装箱作为现代物流运输过程中的重要载体，港口对集装箱的装卸作业效率，直接影响到整个物流运输效率。岸桥顾名思义是指岸边用的桥式设备，用于将集装箱从船舶卸到码头或从码头装在船舶的重要作业工具，但在装卸货船过程中，岸桥大车静止不动，岸桥司机通过手柄控制小车和吊具，从港口内集卡中进行抓、放箱作业。由于集卡司机没有正确的目标引导，所以在每次进行内集卡抓、放箱作业时，都需要在吊具到达内集卡车架或集装箱的正上方时，由集卡司机通过人工观察或外部人员引导，才能进行准确的抓、放箱作业。另一方面，岸桥司机也不得不集中精力观察当前作业车辆中的单双箱状况，进而控制吊具的不同形态。这样不仅大大降低了集装箱的作业效率，也对增加了集卡和岸桥司机的工作负担。集卡是集装箱卡车的简称，分为内集卡和外集卡，内集卡是指在集装箱港口内运行的卡车，外集卡是指在从外面到集装箱港口内的卡车。
[0003]传统一般利用激光雷达扫描方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的岸桥控制方法，其特征在于，包括：对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定；获取并利用第一目标检测模型识别出车身图像中的集装箱或车架的目标矩形区域，并且基于所述目标矩形区域和所述目标停车位置计算初定位偏差距离，其中，所述目标矩形区域包括最小外接矩形；对所述车身图像中的集装箱或车架的目标矩形区域进行图像裁剪以生成车身子图像；获取并利用第二目标检测模型识别出所述车身子图像中的集装箱上的箱孔坐标和文字或车架上的车架导板坐标；基于所述车身子图像中的集装箱的目标矩形区域是否是融合区域、所述车身子图像中的中间子区域的箱孔坐标和文字，进行单双箱判断；基于所述箱孔坐标或所述车架导板坐标获取所述车身子图像中的下部子区域图像的箱孔或车架导板的距离和位置以估计所述集装箱的高度；基于所述集装箱或车架的高度和由箱孔或车架导板生成的目标直线计算移动偏差距离，根据所述移动偏差距离将所述集卡引导至所述目标停车位置；以及在所述岸桥的吊具到达所述集装箱或所述车架正上方时，根据判断的单双箱调整所述岸桥的吊具形态，进行抓箱或放箱作业。2.根据权利要求1所述的基于机器视觉的岸桥控制方法，其特征在于，对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定进一步包括：预先采集所述集卡的目标停车位置的车身图像并对所述目标停车位置的车身图像进行识别，以获取所述集卡在所述目标停车位置处的集装箱和对应箱孔图像坐标或者车架和对应车架导板图像坐标；利用所述箱孔图像坐标或所述车架导板图像坐标生成目标直线并估计与高度相关的像素距离因子。3.根据权利要求1所述的基于机器视觉的岸桥控制方法，其特征在于，获取并利用第一目标检测模型识别出车身图像中的集装箱或车架的目标矩形区域进一步包括：从数据库中获取多幅历史车身图像并对所述多幅历史车身图像中的集装箱或车架进行标注；建立第一神经网络Yolov5并利用标注的多幅历史车身图像对所述第一神经网络Yolov5进行训练以获得第一目标检测模型；以及实时采集当前车身图像，并利用所述第一目标检测模型识别出所述当前车身图像中的集装箱或车架的目标矩形区域，以进行抓箱或放箱判定，其中，根据所述集装箱的目标矩形区域的大小判定所述集装箱是20尺还是非20尺，并将同一集卡上的两个20尺的集装箱的目标矩形区域融合以形成所述融合区域。4.根据权利要求3所述的基于机器视觉的岸桥控制方法，其特征在于，对所述车身图像中的集装箱或车架的目标矩形区域进行图像裁剪以生成车身子图像进一步包括：将所述历史车身图像或所述当前车身图像裁剪为历史车身子图像或当前车身子图像，其中，当所述目标矩形区域是集装箱区域时，所述历史车身子图像或所述当前车身子图像包括第一上部子区域、中间子区域和第一下部子区域，其中，对所述第一中间子区域进行箱孔
和文字检测，对所述第一上部子区域图像和所述第一下部子区域图像进行箱孔检测；以及当所述目标矩形区域是车架区域时，所述历史车身子图像或所述当前车身子图像包括第二上部子区域和第二下部子区域，其中，对所述第二上部子区域和所述第二下部子区域进行车架导板检测。5.根据权利要求4所述的基于机器视觉的岸桥控制方法，其特征在于，获取并利用第二目标检测模型识别出所述车身子图像中的集装箱上的箱孔坐标或车架上的车架导板坐标进一步包括：对所述历史车身子图像中的箱孔或车架导板进行标注；建立第二神经网络Yolov5并利用标注的历史车身子图像对所述第二神经网络Yolov5进行训练以获得第二目标检测模型；以及利用所述第二目标检测模型识别出当前车身子图像中的箱孔和文字或车架导板，并获取箱孔坐标或车架导板坐标。6.根据权利要求1所述的基于机器视觉的岸桥控制方法，其特征在于，在岸桥横梁上的车道相对两侧的隔离带处安装第一摄像机、第二摄像机、第三摄像机、第四摄像机、第五摄像机和第六摄像机，其中，利用所述第一摄像机至所述第四摄像机拍摄所述集卡的车头图像，以确认车辆身份以及车辆移动方向；以及利用所述第五摄像机和所述第六摄像机拍摄所述集卡的车身图像，以计算所述集卡的初定位偏差距离和移动偏差距离。7.根据权利要求6所述的基于机器视觉的岸桥控制方法，其特征在于，在对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定之后进一步包括：从数据库中获取多幅历史车头图像并对所述历史车头图像中的车头及二维码进行标注；建立第三神经网络Yolov5，并利用标注的历史车头图像对所述第三神经网络Yolov5进行训练以获得第三目标检测模型；实时采集当前车头图像，并利用第三目标检测模型识别出当前车头图像中的集卡车头和所述集卡车头上粘贴的二维码并确认集卡身份编码和行驶方向；以及通过网络根据所述集卡身份编码连接对应集卡驾驶室内的数据接收单元。8.根据权利要求7所述的基于机器视觉的岸桥控制方法，其特征在于，基于所述目标矩形区域和所述目标停车位置计算初定位偏差距离进一步包括：基于识别出的所述当前车身图像中的集装箱或车架的目标矩形区域与预先获取的目标停车位置，计算集卡的初定位偏差距离；以及通过所述网络将所述集卡的初定位偏差距离传输至数据接收单元，并经由LED显示屏进行显示，以引导集卡司机调整集卡位置，其中，通过以下公式计算所述集卡的初定位偏差距离：offset＝D(y
‑
y0)其中，y表示当前车辆区域图像的纵坐标，y0表示预先采集的目标停车位置的纵坐标，D表示与高度相关的实际像素距离因子。9.根据权利要求8所述的基于机器视觉的岸桥控制方法，其特征在于，基于所述集装箱
或车架的高度和由箱孔或车架导板生成的目标直线计算移动偏差距离，根据所述移动偏差距离将所述集卡引导至所述目标停车位置进一步包括：通过以下公式计算所述集卡的移动偏差距离进一步包括：其中，x0,y0分别当前检测到的两个箱孔的中点，A,B,C表示预先检测到两箱孔的直线方程参数，E表示与高度相关的实际像素距离因子；通过所述网络将所述移动偏差距离发送至所述数据接收单元并在所述LED显示器上显示所述移动偏差距离，以继续引导司机调整集卡位置，直到所述移动偏差距离小于阈值时完成集卡定位引导。10.一种基于机器视觉的岸桥控制装置，其特征在于，包括：视频处理器和控制模块，所述视频处理器包括标定模块、初定位模块、图像裁剪模块、识别模块、单双箱判断模块、高度估计模块和移动偏差距离计算模块，其中，所述标定模块，用于对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定；所述初定位模块，用于获取并利用第一目...

【专利技术属性】
技术研发人员：郑智辉，闫威，唐波，郭宸瑞，王硕，董昊天，闫涛，李钊，张伯川，张海荣，赵玲，朱泽林，亓欣媛，常城，朱敏，许敏，张艺佳，武鹏，彭皓，任子建，
申请(专利权)人：北京航天自动控制研究所，
类型：发明
国别省市：