基于视觉吊具与集装箱未分离状态检测方法技术

本发明专利技术公开了一种基于视觉吊具与集装箱未分离状态检测方法，所述方法利用基于视觉吊具与集装箱未分离状态检测装置进行，所述基于视觉吊具与集装箱未分离状态检测装置，包括安装在场桥吊具上与集装箱四个角位置对应的图像采集器，所述图像采集器与控制器通讯连接，每个所述图像采集器分别用于采集相应位置的集装箱的箱孔图像，并传输给所述控制器，所述控制器根据收到的所述箱孔图像，判断吊具和集装箱是否为分离状态。利用本申请提供的装置，可通过视觉实时检测有没有看到箱孔来判断是不是发生了勾挂，正常状况下，当吊具闭锁后，检测不到箱孔，则说明吊具和集装箱是正常的，如果检测到箱孔，则说明发生了勾挂，效果较好。效果较好。效果较好。

【技术实现步骤摘要】
基于视觉吊具与集装箱未分离状态检测方法


[0001]本专利技术涉及码头作业
，具体涉及一种基于视觉吊具与集装箱未分离状态检测方法。

技术介绍

[0002]由于机械原因，港机吊具的四个锁头偶尔会发生给了系统信号，但实际四个锁头没有打开的情况。在人工作业或者自动化作业的时候，人或者系统不能及时的发现问题则会造成严重的事故。

技术实现思路

[0003]针对
技术介绍
中指出的技术问题，本专利技术的目的在于提供一种基于视觉吊具与集装箱未分离状态检测方法。
[0004]为实现本专利技术的目的，本专利技术提供的技术方案如下：一种基于视觉吊具与集装箱未分离状态检测方法，所述方法利用基于视觉吊具与集装箱未分离状态检测装置进行，所述基于视觉吊具与集装箱未分离状态检测装置，包括安装在场桥吊具上与集装箱四个角位置对应的图像采集器，所述图像采集器与控制器通讯连接，每个所述图像采集器分别用于采集相应位置的集装箱的箱孔图像，并传输给所述控制器，所述控制器根据收到的所述箱孔图像，判断吊具和集装箱是否为分离状态。
[0005]其中，所述图像采集器采用摄像头。
[0006]其中，还包括报警器，所述报警器与所述控制器连接，所述控制器根据判断的结果控制所述报警器报警。
[0007]其中，所述控制器利用RefineDet网络模型判断吊具和集装箱是否为分离状态；
[0008]所述RefineDet网络模型中总体定位和分类损失函数采用如下：
[0009][0010]其中，其中Lb对应前景/背景的二分类损失，Lm对应前景多分类的损失，Lr为定位回归损失，采用了平滑L1损失。
[0011]与现有技术相比，本申请具有如下技术优势：利用本申请提供的装置，可通过视觉实时检测有没有看到箱孔来判断是不是发生了勾挂，正常状况下，当吊具闭锁后，检测不到箱孔，则说明吊具和集装箱是正常的，如果检测到箱孔，则说明发生了勾挂，效果较好。
附图说明
[0012]图1为本申请实施例装置的结构示意图；
[0013]图中，1为场桥吊具，2为摄像头。
[0014]图2为本申请中RefineDet的模型结构示意图；
[0015]图3为本申请中TCB结构示意图。
具体实施方式
[0016]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0017]如图1所示，本申请提供的一种基于视觉吊具与集装箱未分离状态检测方法，所述方法利用基于视觉吊具与集装箱未分离状态检测装置进行，所述基于视觉吊具与集装箱未分离状态检测装置，包括安装在场桥吊具1上与集装箱四个角位置对应的图像采集器，所述图像采集器与控制器通讯连接，每个所述图像采集器分别用于采集相应位置的集装箱的箱孔图像，并传输给所述控制器，所述控制器根据收到的所述箱孔图像，判断吊具和集装箱是否为分离状态。
[0018]其中，所述图像采集器采用摄像头2。
[0019]其中，还包括报警器，所述报警器与所述控制器连接，所述控制器根据判断的结果控制所述报警器报警。
[0020]利用本装置可通过视觉实时检测有没有看到箱孔来判断是不是发生了勾挂，正常状况下，当吊具闭锁后，检测不到箱孔，则说明吊具和集装箱是正常的，如果检测到箱孔，则说明发生了勾挂。
[0021]在作业时，当吊具开锁后吊具上升400mm的时候，场桥吊具上的视觉摄像头采集到的图像判断在指定的范围内是否存在四个箱角。当判断吊具和集装箱为未分离状态时，场桥自动化控制系统停止吊具和小车的动作，并进行报警转人工处理。
[0022]本申请利用网络模型进行检测，具体如下：
[0023](1)RefineDet网络模型：结合了SSD、RPN、FPN的思路，融合了但阶段目标检测方法与两阶段目标检测方法的优点，使用了两个互联模块结构的但阶段目标检测方法。它的两个同步串联模块为ARM(anchor refinement module锚点改进模块)和ODM(object detection module目标检测模块)。RefineDet中的TCB(transfer connectionblock转换连接模块)用于转换ARM中的特征并蒋其传递给ODM，具有特征融合的功能。RefineDet的模型结构如图2所示。
[0024]TCB部分进行的是特征的转换工作，也就是将ARM部分的输出特征图转换为ODM的输入。TCB结构图如图3所示，ARM中输出的特征图经过两个卷积层，得到了低层特征图。TCB通过反卷积操作实现上采样，将前一个TCB输出的较高层的特征图的尺寸扩大，使其与较低层的特征图一致，随后将两个特征图相加，实现特征融合。融合之后的特征图经过一个卷积层完成最终的转换，并被送入ODM进行检测
[0025]为了提高在码头作业张集装箱对齐的业务要求，改进定位精度，本申请在原有RefineDet的基础上尝试对总体定位和分类损失函数做了如下修改：其中Lb对应前景/背景的二分类损失，L
m
对应前景多分类的损失，L
r
为定位回归损失，采用了平滑L1损失。
[0026][0027](2)算法流程
[0028]2.1码头现场协助拍摄带有集装箱的图片或视频。
[0029]2.2从拍摄的图片或视频中，使用dlib自带的imglab标注工具，对要标注的数据创建xml文件。
[0030]2.3将标注好的数据按数据多少进行分配，分配的原则通常为：当数据量比较小时，可以使用7：3训练数据和测试数据,常见的做法是将大约2/3
‑
4/5的样本数据用于训练，剩余样本用于测试；也可以按照6：2:2将数据分为训练数据，验证数据和测试数据；当数据量非常大时，可以使用98:1:1的方式分配训练数据，验证数据和测试数据。
[0031]2.4将xml格式的数据转换成yolov3训练用的数据格式，即3个文本文件和2个目录：
[0032]train.txt：文本文件，保存训练图片目录列表
[0033]test.txt：文本文件，保存测试图片目录列表
[0034]class.names：文本文件，保存分类名称
[0035]Labels：目录，保存每个图片的边界框和分类信息
[0036]JPEGImages：目录，保存所有的图片
[0037]通过训练好的箱孔定位模型，用于完成作业时对锁头的实时定位进行实时定位，用于带箱集卡的引导(车开到固定位置后停车)，从集卡或者箱区抓取箱子和提供叠放箱的放置从而保证上下两层箱的对齐要求在误差范围内。
[0038]最后应当说明的是：上述实施例只是用于对本专利技术的举例和说明，而非意在将本专利技术限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本专利技术不局本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉吊具与集装箱未分离状态检测方法，其特征在于，所述方法利用基于视觉吊具与集装箱未分离状态检测装置进行，所述基于视觉吊具与集装箱未分离状态检测装置，包括安装在场桥吊具(1)上与集装箱四个角位置对应的图像采集器，所述图像采集器与控制器通讯连接，每个所述图像采集器分别用于采集相应位置的集装箱的箱孔图像，并传输给所述控制器，所述控制器根据收到的所述箱孔图像，判断吊具和集装箱是否为分离状态。2.根据权利要求1所述的一种基于视觉吊具与集装箱未分离状态检测方法，其特征在于，所述图像采集器采用摄像头(2)。3.根据权利要求1所述的...

【专利技术属性】
技术研发人员：石正雄，李辉辉，孙立，林洪为，王辉，李永华，申明昊，
申请(专利权)人：天津港欧亚国际集装箱码头有限公司，
类型：发明
国别省市：