一种基于机器视觉的集卡定位方法和装置制造方法及图纸

本发明专利技术涉及一种基于机器视觉的集卡定位方法和装置，属于港口岸桥作业辅助技术领域，解决现有集卡可引导定位的距离小和集卡定位精度低的问题。该方法包括：对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定；利用第一目标检测模型识别出车身图像中的集装箱或车架的目标矩形区域，并且基于目标矩形区域和目标停车位置计算初定位偏差距离；对目标矩形区域进行图像裁剪以生成车身子图像；利用第二目标检测模型识别出车身子图像中的箱孔和车架导板；基于箱孔坐标估计集装箱的高度；基于集装箱或车架的高度和目标直线计算移动偏差距离，根据移动偏差距离引导集卡定位。通过初定位增加引导定位的距离并由小目标检测提高定位精度。测提高定位精度。测提高定位精度。

【技术实现步骤摘要】
一种基于机器视觉的集卡定位方法和装置


[0001]本专利技术涉及港口岸桥作业辅助
，尤其涉及一种基于机器视觉的集卡定位方法和装置。

技术介绍

[0002]集装箱作为现代物流运输过程中的重要载体，港口对集装箱的装卸作业效率，直接影响到整个物流运输效率。岸桥顾名思义是指岸边用的桥式设备，用于将集装箱从船舶卸到码头或从码头装在船舶的重要作业工具，但在装卸货船过程中，岸桥大车静止不动，岸桥司机通过手柄控制小车和吊具，从港口集卡中进行抓、放箱作业。由于集卡司机没有正确的目标引导，所以在每次进行集卡抓、放箱作业时，都需要在吊具到达集卡车架或集装箱的正上方时，由集卡司机通过人工观察或外部人员引导，才能进行准确的抓、放箱作业。这样不仅大大降低了集装箱的作业效率，也对增加了集卡和岸桥司机的工作负担。集卡是集装箱卡车的简称，分为内集卡和外集卡，内集卡是指在集装箱港口内运行的卡车，外集卡是指在从外面到集装箱港口内的卡车。
[0003]现有的激光雷达扫描方法，识别集卡集装箱或车架，但由于激光雷达价格昂贵，功能单一，并且在精度上也不能得到有效的保证，所以本专利技术采用机器视觉的方法，有效的提高了集卡的引导定位精度，同时也大大降低了产品的成本。
[0004]现有的桥吊集卡安全定位方法预先通过摄像头标定车辆停车点，然后当车辆进入识别区时，根据标定的车辆停车点加减一定范围，对图像进行裁剪，并利用Mask
‑
RCNN算法识别分割出集卡集装箱或车架的区域，并获取中心点，并通过和预先标定的停车点计算其欧式距离，从而引导车辆到达准确位置。
[0005]现有方法中，存在以下问题：
[0006]1、该方法假定了车辆需要首先行驶到准确目标停车位置附近，所以并不能对偏差距离大时，即超出其设定一定范围的集卡进行有效的分割，进而导致不能准确的引导。
[0007]2、由于集装箱规格发生变化而引起高度变化时，该方法并不能有效的估计当前集卡上集装箱的高度，从而导致的引导误差。
[0008]3、由于集卡车架外形的复杂性，其方法比较难以对集卡车架进行有效准确的分割，进而导致引导误差。
[0009]4、由于该方法需要对各种工况和天气的集卡集装箱或车架进行分割二值化，所以需要大量标注集装箱或车架的轮廓mask数据，其需要的人工研发成本较高，同时其分割二维化算法运行也比较耗时，也会引起处理延时或提高硬件成本。
[0010]5、该方法并没有明确给出车辆行驶方向的判定方法，即车辆应该前进或后退。

技术实现思路

[0011]鉴于上述的分析，本专利技术实施例旨在提供一种基于机器视觉的集卡定位方法和装置，用以解决现有集卡可引导定位的距离范围小以及集装箱箱高不同等因素引起引导误差
的问题。
[0012]一方面，本专利技术实施例提供了一种基于机器视觉的集卡定位方法，包括：对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定；获取第一目标检测模型并利用所述第一目标检测模型识别出车身图像中的集装箱或车架的目标矩形区域，并且基于所述目标矩形区域和所述目标停车位置计算初定位偏差距离，其中，所述目标矩形区域包括最小外接矩形；对所述车身图像中的集装箱或车架的目标矩形区域进行图像裁剪以生成车身子图像；获取第二目标检测模型并利用所述第二目标检测模型识别出所述车身子图像中的集装箱上的箱孔和车架上的车架导板，以获取箱孔坐标和车架导板坐标；基于所述箱孔坐标获取所述集装箱的下部子区域图像的距离和位置以估计所述集装箱的高度；以及基于所述集装箱或车架的高度和由箱孔或车架导板生成的目标直线计算移动偏差距离，根据所述移动偏差距离引导集卡定位。
[0013]上述技术方案的有益效果如下：通过在岸桥横梁上安装摄像头，基于检测集卡集装箱或车架区域进行集卡初定位，能够增加岸桥内集卡可引导定位的距离范围。通过集装箱或车架共性特征(箱孔和导板)进行精确定位，同时通过车身子图像中的箱孔或导板等小目标的检测和定位，提高了内集卡定位精度，进而实现了内集卡的精确引导定位。
[0014]基于上述方法的进一步改进，对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定进一步包括：预先采集所述集卡的目标停车位置的车身图像并对所述目标停车位置的车身图像进行识别，以获取集卡在目标停车位置的集装箱和对应箱孔图像坐标或者车架和对应车架导板图像坐标；利用所述箱孔图像坐标或所述车架导板图像坐标生成目标直线并估计与高度相关的实际像素距离因子；以及通过间歇采集所述车身图像并保存集卡在同一车道不同位置时，两个箱孔之间的欧式距离。
[0015]基于上述方法的进一步改进，获取第一目标检测模型并利用所述第一目标检测模型识别出车身图像中的集装箱或车架的目标矩形区域进一步包括：从数据库中获取多幅历史车身图像并对所述多幅历史车身图像中的集装箱或车架进行标注；建立第一神经网络Yolov5并利用标注的多幅历史车身图像对所述第一神经网络Yolov5进行训练以获得第一目标检测模型；以及实时采集当前车身图像，并利用所述第一目标检测模型识别出所述当前车身图像中的集装箱或车架的目标矩形区域。
[0016]基于上述方法的进一步改进，对所述车身图像中检测到的集装箱或车架的目标矩形区域进行图像裁剪以生成车身子图像进一步包括：将所述历史车身图像或所述当前车身图像裁剪为历史车身子图像或当前车身子图像，其中，当所述目标矩形区域是集装箱区域时，所述历史车身子图像或所述当前车身子图像包括第一上部子区域、第一中间子区域和第一下部子区域，其中，对所述第一上部子区域图像和所述第一下部子区域图像进行箱孔检测；以及当所述目标矩形区域是车架区域时，所述历史车身子图像或所述当前车身子图像包括第二上部子区域和第二下部子区域，其中，对所述第二上部子区域和所述第二下部子区域进行车架导板检测。
[0017]上述技术方案的有益效果如下：这种图像裁剪方式能够确保识别出集卡上的两个集装箱上的8个箱孔以及集卡上的单个集装箱的4个箱孔(箱孔位于集装箱的四个角部处)。
[0018]基于上述方法的进一步改进，获取并利用第二目标检测模型识别出所述车身子图像中的集装箱上的箱孔和车架上的车架导板，以获取箱孔坐标和车架导板坐标进一步包
括：对所述历史车身子图像中的箱孔和车架导板进行标注；建立第二神经网络Yolov5并利用标注的历史车身子图像对所述第二神经网络Yolov5进行训练以获得第二目标检测模型；以及利用所述第二目标检测模型识别出当前车身子图像中的箱孔或车架导板，以获取箱孔坐标和车架导板坐标。
[0019]基于上述方法的进一步改进，在岸桥横梁上的车道相对两侧的隔离带处安装第一摄像机、第二摄像机、第三摄像机、第四摄像机、第五摄像机和第六摄像机，其中，利用所述第一摄像机至所述第四摄像机拍摄所述集卡的车头图像，以确认车辆身份以及车辆移动方向；以及利用所述第五摄像机和所述第六摄像机拍摄所述集卡的车身图像，以计算所述集卡的初定位偏差距离和移动偏差距离。
[0020]基于上述方法的进一步改进，在对集卡的目标停车位置以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的集卡定位方法，其特征在于，包括：对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定；获取第一目标检测模型并利用所述第一目标检测模型识别出车身图像中的集装箱或车架的目标矩形区域，并且基于所述目标矩形区域和所述目标停车位置计算初定位偏差距离，其中，所述目标矩形区域包括最小外接矩形；对所述车身图像中的集装箱或车架的目标矩形区域进行图像裁剪以生成车身子图像；获取第二目标检测模型并利用所述第二目标检测模型识别出所述车身子图像中的集装箱上的箱孔和车架上的车架导板，以获取箱孔坐标和车架导板坐标；基于所述箱孔坐标获取所述集装箱的下部子区域图像的距离和位置以估计所述集装箱的高度；以及基于所述集装箱或车架的高度和由箱孔或车架导板生成的目标直线计算移动偏差距离，根据所述移动偏差距离引导集卡定位。2.根据权利要求1所述的基于机器视觉的集卡定位方法，其特征在于，对集卡的目标停车位置以及装载集装箱的集卡高度估计进行标定进一步包括：预先采集所述集卡的目标停车位置的车身图像并对所述目标停车位置的车身图像进行识别，以获取集卡在目标停车位置的集装箱和对应箱孔图像坐标或者车架和对应车架导板图像坐标；利用所述箱孔图像坐标或所述车架导板图像坐标生成目标直线并估计与高度相关的实际像素距离因子；以及通过间歇采集所述车身图像并保存集卡在同一车道不同位置时，两个箱孔之间的欧式距离。3.根据权利要求1所述的基于机器视觉的集卡定位方法，其特征在于，获取第一目标检测模型并利用所述第一目标检测模型识别出车身图像中的集装箱或车架的目标矩形区域进一步包括：从数据库中获取多幅历史车身图像并对所述多幅历史车身图像中的集装箱或车架进行标注；建立第一神经网络Yolov5并利用标注的多幅历史车身图像对所述第一神经网络Yolov5进行训练以获得第一目标检测模型；以及实时采集当前车身图像，并利用所述第一目标检测模型识别出所述当前车身图像中的集装箱或车架的目标矩形区域。4.根据权利要求3所述的基于机器视觉的集卡定位方法，其特征在于，对所述车身图像中检测到的集装箱或车架的目标矩形区域进行图像裁剪以生成车身子图像进一步包括：将所述历史车身图像或所述当前车身图像裁剪为历史车身子图像或当前车身子图像，其中，当所述目标矩形区域是集装箱区域时，所述历史车身子图像或所述当前车身子图像包括第一上部子区域、第一中间子区域和第一下部子区域，其中，对所述第一上部子区域图像和所述第一下部子区域图像进行箱孔检测；以及当所述目标矩形区域是车架区域时，所述历史车身子图像或所述当前车身子图像包括第二上部子区域和第二下部子区域，其中，对所述第二上部子区域和所述第二下部子区域
进行车架导板检测。5.根据权利要求4所述的基于机器视觉的集卡定位方法，其特征在于，获取并利用第二目标检测模型识别出所述车身子图像中的集装箱上的箱孔和车架上的车架导板，以获取箱孔坐标和车架导板坐标进一步包括：对所述历史车身子图像中的箱孔和车架导板进行标注；建立第二神经网络Yolov5并利用标注的历史车身子图像对所述第二神经网络Yolov5进行训练以获得第二目标检测模型；以及利用所述第二目标检测模型识别出当前车身子图像中的箱孔或车架导板，以获取箱孔坐标和车架导板坐标。6.根据权利要求2所述的基于机器视觉的集卡定位方法，其特征在于，在岸桥横梁上的车道相对两侧...

【专利技术属性】
技术研发人员：郑智辉，闫威，唐波，郭宸瑞，王硕，董昊天，闫涛，李钊，张伯川，张海荣，赵玲，朱泽林，亓欣媛，常城，朱敏，许敏，张艺佳，武鹏，彭皓，任子建，
申请(专利权)人：北京航天自动控制研究所，
类型：发明
国别省市：