一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备制造方法及图纸

本发明专利技术公开了一种基于机器视觉的棒材成品库行车安全监测方法，包括：将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。本发明专利技术利用深度学习算法与机器视觉相结合，实现对成品库中棒材捆的吊运情况进行实时检测，并在检测到散捆棒材、棒材吸取不牢固以及码垛不规整时反馈警告信号，提醒工人处理。

【技术实现步骤摘要】
一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备
本专利技术涉及及图像处理领域，尤其涉及一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备。
技术介绍
在棒材打捆入库环节中，需对成品库中的棒材进行吊运并码垛。其中，每一套行车吊运系统分别由三个行车组成，两台控制纵向的行车，一台控制横向的行车。正常情况下，横向行车上的磁盘吊将已经打捆完毕的棒材(即棒材捆)吊运至成品库规定的棒材堆放位置进行码垛。若出现散捆棒材、棒材吸取不牢固以及码垛不规整的情况，将会导致该环节运行停滞，出现巨大的生产损失。为确保该环节的持续顺畅运行，需实时检查吊运棒材是否存在散捆、吸吊不牢和堆放不规整的情况。而目前对于该吊运环节的检测主要依靠人工来进行，可能会出现漏检、错检的情况且不具备实时性。
技术实现思路
鉴于以上所述的现有技术缺点，本专利技术的目的在于提供一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备，用于解决现有技术的缺陷。为实现上述目的及其他相关目的，本专利技术提供一种基于机器视觉的棒材成品库行车安全监测方法，包括：将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。可选地，若不存在棒材捆吸取不牢固或散捆情况，则判断所述棒材捆是否存在码垛不规则的情况；若出现码垛不规则的情况，则输出报警信号。可选地，所述棒材捆的位置信息为：其中，每一行对应一个棒材捆识别框，Tie1xmin,Tie1ymin分别为第一个棒材捆识别框的左上角点的横、纵坐标；Tie1xmax,Tie1ymax分别为第一个棒材捆识别框右下角点的横、纵坐标；Tie2表示第二个棒材识别框，Tie3表示第三个棒材识别框，Tien表示第n个棒材识别框。可选地，所述磁盘吊的位置信息为：[Magnetxmin，Magnetymin，Magnetxmax，Magnetymax]，其中，Magnetxmin,Magnetymin分别为磁盘吊识别框的左上角点的横、纵坐标；Magnetxmax,Magnetymax分别为磁盘吊识别框的右下角点的横、纵坐标。可选地，所述基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离，包括：根据所述棒材捆的位置信息，得到棒材捆的中心位置坐标Cn；根据所述磁盘吊的位置信息，得到磁盘吊的中心位置坐标B(x，y)；基于所述棒材捆的中心位置坐标Cn与磁盘吊的中心位置坐标B(x，y)得到棒材捆与磁盘吊之间的距离；Dn＝|B(x,y)-Cn|其中，Dn表示编号为n的棒材捆与磁盘吊的距离。可选地，所述判定是否存在棒材捆吸取不牢固或出现散捆的情况，包括，若所述棒材捆与所述磁盘吊之间的距离Dn大于设定的距离D，则表示棒材捆出现吸取不牢固或者散捆的情况；若所述棒材捆与所述磁盘吊之间的距离Dn小于或等于设定的距离D，则表示棒材捆没有出现吸取不牢固或者散捆的情况。可选地，判定棒材捆是否存在码垛不规则的情况，包括：识别出所述棒材捆中的棒材；将棒材的轴线与水平方向的夹角与设定角度进行对比；若所述棒材的轴线与水平方向的夹角大于所述设定角度，则表示棒材捆摆放不规则；若所述棒材的轴线与水平方向的夹角小于或等于所述设定角度，则表示棒材捆摆放规则。可选地，采用SSD-MobileNet、R-CNN、Faster-RCNN或YOLO对训练所述棒材捆检测模型。可选地，获取所述棒材捆检测模型的方法包括：对棒材捆图片进行图像标注；使用识别框标出棒材捆在图像中的位置、记录下目标框的位置信息并制作成棒材捆训练集；用训练集的数据训练得到棒材捆检测模型。可选地，获取所述磁盘吊检测模型的方法包括：对磁盘吊图片进行图像标注；使用识别框标出磁盘吊在图像中的位置、记录下目标框的位置信息并制作成磁盘吊训练集；用训练集的数据训练得到磁盘吊检测模型。为实现上述目的及其他相关目的，本专利技术提供一种基于机器视觉的棒材成品库行车安全监测装置，，包括：目标检测模块，用于将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；距离计算模块，用于基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；判断模块，用于将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。可选地，若不存在棒材捆吸取不牢固或散捆情况，则判断所述棒材捆是否存在码垛不规则的情况；若出现码垛不规则的情况，则输出报警信号。可选地，所述棒材捆的位置信息为：其中，每一行对应一个棒材捆识别框，Tie1xmin,Tie1ymin分别为第一个棒材捆识别框的左上角点的横、纵坐标；Tie1xmax,Tie1ymax分别为第一个棒材捆识别框右下角点的横、纵坐标；Tie2表示第二个棒材识别框，Tie3表示第三个棒材识别框，Tien表示第n个棒材识别框。可选地，所述磁盘吊的位置信息为：[Magnetxmin，Magnetymin，Magnetxmax，Magnetymax]，其中，Magnetxmin,Magnetymin分别为磁盘吊识别框的左上角点的横、纵坐标；Magnetxmax,Magnetymax分别为磁盘吊识别框的右下角点的横、纵坐标。为实现上述目的及其他相关目的，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行所述的方法。如上所述，本专利技术的一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备，具有以下有益效果：本专利技术的一种基于机器视觉的棒材成品库行车安全监测方法，包括：将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。本专利技术利用深度学习算法与机器视觉相结合，实现对成品库中棒材捆的吊运情况进行实时检测，并在检测到散捆棒材、棒材吸取不牢固以及码垛不规整时反馈警告信号，提醒工人处理。附图说明图1为本专利技术一实施例中一种基于机器视觉的棒材成品库行车安全监测方法流程图；图2为本专利技术一实施例中球机拍摄棒材截面示意图；图3为本专利技术一实施例中相机、行车、棒材捆相对位置本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的棒材成品库行车安全监测方法，其特征在于，包括：/n将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；/n基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；/n将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。/n

【技术特征摘要】
1.一种基于机器视觉的棒材成品库行车安全监测方法，其特征在于，包括：
将实时采集的感兴趣区域的图像分别输入至预先训练的基于深度神经网络的棒材捆检测模型、磁盘吊检测模型，得到磁盘吊的位置信息与棒材捆的位置信息；
基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离；
将棒材捆与磁盘吊之间的距离与设定的距离进行对比，判断是否存在棒材捆吸取不牢固或出现散捆的情况。


2.根据权利要求1所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，若不存在棒材捆吸取不牢固或散捆情况，则判断所述棒材捆是否存在码垛不规则的情况；若出现码垛不规则的情况，则输出报警信号。


3.根据权利要求1所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，所述棒材捆的位置信息为：



其中，每一行对应一个棒材捆识别框，Tie1xmin,Tie1ymin分别为第一个棒材捆识别框的左上角点的横、纵坐标；Tie1xmax,Tie1ymax分别为第一个棒材捆识别框右下角点的横、纵坐标；Tie2表示第二个棒材识别框，Tie3表示第三个棒材识别框，Tien表示第n个棒材识别框。


4.根据权利要求3所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，所述磁盘吊的位置信息为：
[Magnetxmin，Magnetymin，Magnetxmax，Magnetymax]，
其中，Magnetxmin,Magnetymin分别为磁盘吊识别框的左上角点的横、纵坐标；Magnetxmax,Magnetymax分别为磁盘吊识别框的右下角点的横、纵坐标。


5.根据权利要求1所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，所述基于所述棒材捆的位置信息以及所述磁盘吊的位置信息，得到棒材捆与磁盘吊之间的距离，包括：
根据所述棒材捆的位置信息，得到棒材捆的中心位置坐标Cn；
根据所述磁盘吊的位置信息，得到磁盘吊的中心位置坐标B(x，y)；
基于所述棒材捆的中心位置坐标Cn与磁盘吊的中心位置坐标B(x，y)得到棒材捆与磁盘吊之间的距离；
Dn＝|B(x,y)-Cn|
其中，Dn表示编号为n的棒材捆与磁盘吊的距离。


6.根据权利要求5所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，所述判定是否存在棒材捆吸取不牢固或出现散捆的情况，包括，
若所述棒材捆与所述磁盘吊之间的距离Dn大于设定的距离D，则表示棒材捆出现吸取不牢固或者散捆的情况；
若所述棒材捆与所述磁盘吊之间的距离Dm小于或等于设定的距离D，则表示棒材捆没有出现吸取不牢固或者散捆的情况。


7.根据权利要求2所述的基于机器视觉的棒材成品库行车安全监测方法，其特征在于，判定棒材捆是否存在码垛不规则的情况，包括：
识别出所述棒材捆中的棒材；
将棒材的轴线与水平方向的夹角与设定角度进行对比；
若所述棒材的轴线与水平方向的夹角大于所述设定角度，则表示棒材捆摆放不规...

【专利技术属性】
技术研发人员：刘斌，袁钰博，庞殊杨，赵静，刘常坤，贾鸿盛，毛尚伟，
申请(专利权)人：中冶赛迪重庆信息技术有限公司，
类型：发明
国别省市：重庆;50