基于视觉单目标跟踪的集卡防吊起检测方法及检测系统技术方案

本发明专利技术为解决现有技术中机器检测存在预警延迟的问题，提供一种基于视觉单目标跟踪的集卡防吊起检测方法及检测系统。该方法包括以下步骤：获取第一陆侧初始图像和第一海侧初始图像；定位第一陆侧目标箱孔和第一海侧目标箱孔；推算第一陆侧目标锁头和第一海侧目标锁头；跟踪得到第一陆侧目标锁头的第一陆侧运动轨迹以及第一海侧目标锁头的第一海侧运动轨迹；运动轨迹分析，判断第一陆侧目标锁头和第一海侧目标锁头是否正常分离；判断集卡是否被吊起。该系统可实现上述方法。本发明专利技术智能化程度高，操作简单便捷，可通过对陆侧运动轨迹和海侧运动轨迹来预测后续起吊动作，提前发出示警，检测精度和灵敏性大大提升。检测精度和灵敏性大大提升。检测精度和灵敏性大大提升。

【技术实现步骤摘要】
基于视觉单目标跟踪的集卡防吊起检测方法及检测系统


[0001]本专利技术涉及港口作业
，尤其涉及一种基于视觉单目标跟踪的集卡防吊起检测方法及检测系统。

技术介绍

[0002]港口位于水陆交通的集结点和枢纽处，是一个区域经济发展的重要交通基础设施。其中，集装箱卡车（简称集卡）的防吊起是集装箱港口行业重要的一部分。如果集装箱未能很好地同集卡分离，会存在安全隐患，严重时，甚至会导致人员伤亡和车辆损失。
[0003]目前，对于集卡防吊起检测方法包括人工检测和机器检测两种方式。人工检测方式效率低，安全隐患较大。机器检测由于效率高，操作方便等优点，基本上已经完全取代了人工检测方式。
[0004]然而，现有机器检测也存在一些不足之处。比如利用激光扫描系统监测集装箱与集卡的拖板连接区域是否有空隙，据此进行粘合判断，完成集卡防吊起检测。该激光扫描系统主要的问题在于报警会有延迟，导致可能事故已经发生系统才给出预警信号。

技术实现思路

[0005]本专利技术为解决现有技术中机器检测存在预警延迟的问题，提供一种基于视觉单目标跟踪的集卡防吊起检测方法及检测系统，智能化程度高，操作简单便捷，可通过对陆侧运动轨迹和海侧运动轨迹来预测后续起吊动作，提前发出示警，检测精度和灵敏性大大提升。
[0006]本专利技术采用的技术方案是：
[0007]基于视觉单目标跟踪的集卡防吊起检测方法，所述方法包括以下步骤：
[0008]步骤S1，获取集装箱起吊前集卡托板长度方向一端相对两侧的陆侧视频监控区域的第一陆侧初始图像，以及海侧视频监控区域的第一海侧初始图像；
[0009]步骤S2，分别对所述第一陆侧初始图像和所述第一海侧初始图像进行识别处理，定位第一陆侧目标箱孔和第一海侧目标箱孔；
[0010]步骤S3，基于集装箱起吊前集装箱上的箱孔与集卡托板上的锁头之间的相对位置，通过所述第一陆侧目标箱孔在所述第一陆侧初始图像中的像素位置推算所述第一陆侧初始图像中第一陆侧目标锁头的像素位置，并将推算得到的所述第一陆侧目标锁头所在的所述第一陆侧初始图像中的区域设置为第一陆侧目标跟踪区域；同理，由第一海侧目标箱孔推算得到第一海侧目标锁头对应的第一海侧目标跟踪区域；
[0011]步骤S4，保持所述陆侧视频监控区域和所述海侧视频监控区域的拍摄角度和拍摄高度不变，分别获取集装箱起吊时的第一陆侧连续实时图像和第一海侧连续实时图像，将所述第一陆侧目标跟踪区域和所述第一海侧目标跟踪区域在所述第一陆侧连续实时图像和第一海侧连续实时图像中连续变化的像素位置连接成线即构成所述第一陆侧目标锁头的第一陆侧运动轨迹以及第一海侧目标锁头的第一海侧运动轨迹；
[0012]步骤S5，分别对所述第一陆侧运动轨迹和所述第一海侧运动轨迹分析，判断所述
第一陆侧目标锁头和所述第一海侧目标锁头是否正常分离；
[0013]步骤S6，基于所述第一陆侧目标锁头和所述第一海侧目标锁头是否正常分离的判断结果，判断集卡是否被吊起。
[0014]进一步地，所述步骤S5中分别对所述第一陆侧运动轨迹和所述第一海侧运动轨迹分析，判断所述第一陆侧目标锁头和所述第一海侧目标锁头是否正常分离的具体过程包括：
[0015]步骤S501，观测所述第一陆侧运动轨迹或者第一海侧运动轨迹上的连续移动的轨迹点与轨迹起点A的竖直距离，当所述第一陆侧运动轨迹或者第一海侧运动轨迹上的轨迹点B相较于轨迹起点A的竖直距离达到第一预设值时，启动分析；
[0016]步骤S502，继续观测，当所述第一陆侧运动轨迹或者第一海侧运动轨迹上连续移动的轨迹点C相较于轨迹点B高度先逐渐增加而后保持不变时，则所述第一陆侧目标锁头或者第一海侧目标锁头正常分离；
[0017]步骤S503，继续观测，当所述第一陆侧运动轨迹或者第一海侧运动轨迹上的轨迹点C相较于轨迹点B高度持续逐渐增加时，则所述第一陆侧目标锁头或者第一海侧目标锁头未正常分离；
[0018]步骤S504，继续观测，当所述第一陆侧运动轨迹或者第一海侧运动轨迹上的轨迹点C相较于轨迹点B高度降低，则进一步进行运动趋势分析，并由此判断所述第一陆侧目标锁头或者第一海侧目标锁头是否正常分离。
[0019]进一步地，所述步骤S504中进行运动趋势分析，并由此判断所述第一陆侧目标锁头或者第一海侧目标锁头是否正常分离的具体过程包括：
[0020]判断轨迹起点A与轨迹点B的向量与轨迹点B与轨迹点C的向量的夹角是超过第二预设值；
[0021]判断轨迹起点A与轨迹点B的向量与轨迹点B与后续连续移动的轨迹点Dn向量的夹角是超过第二预设值，n为大于等于1的整数；
[0022]若连续观测的夹角均超过第二预设值，且角度超过第二预设值的判定次数超过第三预设值，则所述第一陆侧目标锁头或者第一海侧目标锁头未正常分离。
[0023]进一步地，所述步骤S6中基于所述第一陆侧目标锁头和所述第一海侧目标锁头是否正常分离判断结果，判断集卡是否被吊起的具体过程包括：
[0024]步骤S601，若所述第一陆侧目标锁头和所述第一海侧目标锁头均正常分离，则所述集卡未被吊起；
[0025]步骤S602，若所述第一陆侧目标锁头或所述第一海侧目标锁头未正常分离，所述集卡被吊起，提出示警；
[0026]步骤S603，若所述第一陆侧目标锁头和所述第一海侧目标锁头均未正常分离，所述集卡被吊起，提出示警。
[0027]基于同样的专利技术构思，基于视觉单目标跟踪的集卡防吊起检测方法，所述方法包括以下步骤：
[0028]步骤S1，获取集装箱起吊前集卡托板长度方向两端相对两侧的陆侧视频监控区域的第一陆侧初始图像和第二陆侧初始图像，以及海侧视频监控区域的第一海侧初始图像和第二海侧初始图像；
[0029]步骤S2，分别对所述第一陆侧初始图像、所述第二陆侧初始图像、所述第一海侧初始图像和第二海侧初始图像进行识别处理，定位第一陆侧目标箱孔、第二陆侧目标箱孔、第一海侧目标箱孔和第二海侧目标箱孔；
[0030]步骤S3，基于集装箱起吊前集装箱上的箱孔和集卡托板上的锁头的相对位置，通过所述第一陆侧目标箱孔在所述第一陆侧初始图像中的像素位置推算所述第一陆侧初始图像中第一陆侧目标锁头的像素位置，并将推算得到的所述第一陆侧目标锁头的所在所述第一陆侧初始图像中的区域设置为第一陆侧目标跟踪区域；同理，分别由所述第二陆侧目标箱孔、第一海侧目标箱孔和第二海侧目标箱孔推算得到第二陆侧目标锁头对应的第二陆侧目标跟踪区域、第一海侧目标锁头对应的第一海侧目标跟踪区域以及第二海侧目标锁头对应的第二海侧目标跟踪区域；
[0031]步骤S4，保持所述陆侧视频监控区域和所述海侧视频监控区域的拍摄角度和拍摄高度不变，分别获取集装箱起吊时的第一陆侧连续实时图像、第二陆侧连续实时图像、第一海侧连续实时图像和第二海侧连续实时图像，分别将所述第一陆侧目标跟踪区域、所述第二陆侧目标跟踪区域、所述第一海侧目标跟踪区域和所述第二海侧目标跟踪区域分别第一陆侧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视觉单目标跟踪的集卡防吊起检测方法，其特征在于，所述方法包括以下步骤：步骤S1，获取集装箱起吊前集卡托板长度方向一端相对两侧的陆侧视频监控区域的第一陆侧初始图像，以及海侧视频监控区域的第一海侧初始图像；步骤S2，分别对所述第一陆侧初始图像和所述第一海侧初始图像进行识别处理，定位第一陆侧目标箱孔和第一海侧目标箱孔；步骤S3，基于集装箱起吊前集装箱上的箱孔与集卡托板上的锁头之间的相对位置，通过所述第一陆侧目标箱孔在所述第一陆侧初始图像中的像素位置推算所述第一陆侧初始图像中第一陆侧目标锁头的像素位置，并将推算得到的所述第一陆侧目标锁头所在的所述第一陆侧初始图像中的区域设置为第一陆侧目标跟踪区域；同理，由第一海侧目标箱孔推算得到第一海侧目标锁头对应的第一海侧目标跟踪区域；步骤S4，保持所述陆侧视频监控区域和所述海侧视频监控区域的拍摄角度和拍摄高度不变，分别获取集装箱起吊时的第一陆侧连续实时图像和第一海侧连续实时图像，将所述第一陆侧目标跟踪区域和所述第一海侧目标跟踪区域在所述第一陆侧连续实时图像和第一海侧连续实时图像中连续变化的像素位置连接成线即构成所述第一陆侧目标锁头的第一陆侧运动轨迹以及第一海侧目标锁头的第一海侧运动轨迹；步骤S5，分别对所述第一陆侧运动轨迹和所述第一海侧运动轨迹分析，判断所述第一陆侧目标锁头和所述第一海侧目标锁头是否正常分离；步骤S6，基于所述第一陆侧目标锁头和所述第一海侧目标锁头是否正常分离的判断结果，判断集卡是否被吊起。2.根据权利要求1所述的基于视觉单目标跟踪的集卡防吊起检测方法，其特征在于，所述步骤S5中分别对所述第一陆侧运动轨迹和所述第一海侧运动轨迹分析，判断所述第一陆侧目标锁头和所述第一海侧目标锁头是否正常分离的具体过程包括：步骤S501，观测所述第一陆侧运动轨迹或者第一海侧运动轨迹上的连续移动的轨迹点与轨迹起点A的竖直距离，当所述第一陆侧运动轨迹或者第一海侧运动轨迹上的轨迹点B相较于轨迹起点A的竖直距离达到第一预设值时，启动分析；步骤S502，继续观测，当所述第一陆侧运动轨迹或者第一海侧运动轨迹上连续移动的轨迹点C相较于轨迹点B高度先逐渐增加而后保持不变时，则所述第一陆侧目标锁头或者第一海侧目标锁头正常分离；步骤S503，继续观测，当所述第一陆侧运动轨迹或者第一海侧运动轨迹上的轨迹点C相较于轨迹点B高度持续逐渐增加时，则所述第一陆侧目标锁头或者第一海侧目标锁头未正常分离；步骤S504，继续观测，当所述第一陆侧运动轨迹或者第一海侧运动轨迹上的轨迹点C相较于轨迹点B高度降低，则进一步进行运动趋势分析，并由此判断所述第一陆侧目标锁头或者第一海侧目标锁头是否正常分离。3.根据权利要求2所述的基于视觉单目标跟踪的集卡防吊起检测方法，其特征在于，所述步骤S504中进行运动趋势分析，并由此判断所述第一陆侧目标锁头或者第一海侧目标锁头是否正常分离的具体过程包括：判断轨迹起点A与轨迹点B的向量与轨迹点B与轨迹点C的向量的夹角是超过第二预设值；
判断轨迹起点A与轨迹点B的向量与轨迹点B与后续连续移动的轨迹点D
n
向量的夹角是超过第二预设值，n为大于等于1的整数；若连续观测的夹角均超过第二预设值，且角度超过第二预设值的判定次数超过第三预设值，则所述第一陆侧目标锁头或者第一海侧目标锁头未正常分离。4.根据权利要求1、2或3所述的基于视觉单目标跟踪的集卡防吊起检测方法，其特征在于，所述步骤S6中基于所述第一陆侧目标锁头和所述第一海侧目标锁头是否正常分离判断结果，判断集卡是否被吊起的具体过程包括：步骤S601，若所述第一陆侧目标锁头和所述第一海侧目标锁头均正常分离，则所述集卡未被吊起；步骤S602，若所述第一陆侧目标锁头或所述第一海侧目标锁头未正常分离，所述集卡被吊起，提出示警；步骤S603，若所述第一陆侧目标锁头和所述第一海侧目标锁头均未正常分离，所述集卡被吊起，提出示警。5.基于视觉单目标跟踪的集卡防吊起检测方法，其特征在于，所述方法包括以下步骤：步骤S1，获取集装箱起吊前集卡托板长度方向两端相对两侧的陆侧视频监控区域的第一陆侧初始图像和第二陆侧初始图像，以及海侧视频监控区域的第一海侧初始图像和第二海侧初始图像；步骤S2，分别对所述第一陆侧初始图像、所述第二陆侧初始图像、所述第一海侧初始图像和第二海侧初始图像进行识别处理，定位第一陆侧目标箱孔、第二陆侧目标箱孔、第一海侧目标箱孔和第二海侧目标箱孔；步骤S3，基于集装箱起吊前集装箱上的箱孔和集卡托板上的锁头的相对位置，通过所述第一陆侧目标箱孔在所述第一陆侧初始图像中的像素位置推算所述第一陆侧初始图像中第一陆侧目标锁头的像素位置，并将推算得到的所述第一陆侧目标锁头的所在所述第一陆侧初始图像中的区域设置为第一陆侧目标跟踪区域；同理，分别由所述第二陆侧目标箱孔、第一海侧目标箱孔和第二海侧目标箱孔推算得到第二陆侧目标锁头对应的第二陆侧目标跟踪区域、第一海侧目标锁头对应的第一海侧目标跟踪区域以及第二海侧目标...

【专利技术属性】
技术研发人员：李华超，刘华亭，甘志杰，
申请(专利权)人：苏州物量智能科技有限公司，
类型：发明
国别省市：