一种基于语义分割的皮带偏移检测算法制造技术

本发明专利技术公开了一种基于语义分割的皮带偏移检测算法，包括以下步骤：读取或绘制偏移限制区域；读取网路摄像头图像帧；图像预处理(尺寸调整、转tensor数据等)；预测神经网络；皮带位置预测；提取皮带位置和形状特征；计算皮带边缘与偏移限制区域的相对位置；皮带是否偏移否，(是)偏移计数，超过15次报警；(否)返回读取网路摄像头图像帧步骤进行循环。该基于语义分割的皮带偏移检测算法，只需采用云台摄像头进行实时视频采集，硬件开销少，稳定高、环境要求低并且相比现有的皮带偏移检测方法，可实时调整检测区域，操作方便；且实时显示皮带边缘位置，给客户直观的感受；当发生偏移时还能及时通知员工，对皮带采取相应的处理措施。对皮带采取相应的处理措施。对皮带采取相应的处理措施。

【技术实现步骤摘要】
一种基于语义分割的皮带偏移检测算法


[0001]本专利技术涉及计算机视觉检测
，具体为一种基于语义分割的皮带偏移检测算法。

技术介绍

[0002]现有的皮带偏移检测，主要有传统机械升降式压轮机固定、荧光检测、红外传感器检测，传统的视觉算法等方式，其中一机械升降式压轮机固定，传统机械升降式压轮机固定的检测方式加大了传送部件间的摩擦，同时在限制左右偏移时也会增加皮带的磨损，降低皮带传送效率；二荧光检测，虽然减少了外部可能对传送带进行磨损的可能性，但是当物料不均、物件偏移甚至有些传送时出现的沙尘遮挡等均会影响检测效果，从而出现遗漏或误报；三红外传感器检测，通过在皮带两侧边缘处放置检测装置，利用红外线传感器进行皮带偏移检测，但这种方法也会受安装位置和外力等影响，不便于根据现场情况实时调整；四传统视觉算法：对摄像头的分辨率要求非常高，对光照条件要求苛刻，不同的生产环境都要进行特定调整，部署繁琐。
[0003]综上所述，目前常见的皮带偏移检测方法，大多会借助于额外的接触式设备或者传感器，无法做到无接触式无人值守检测，且调整设备会比较繁琐。少数通过传统视觉算法的方案，对设备和生产环境要求苛刻，不利于部署。
[0004]所以我们提出了一种基于语义分割的皮带偏移检测算法，以便于解决上述中提出的问题。

技术实现思路

[0005]本专利技术的目的在于提供一种基于语义分割的皮带偏移检测算法，以解决上述
技术介绍
提出的目前市场上的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于语义分割的皮带偏移检测算法，包括以下步骤：读取或绘制偏移限制区域；读取网路摄像头图像帧；图像预处理(尺寸调整、转tensor数据等)；预测神经网络；皮带位置预测；提取皮带位置和形状特征；计算皮带边缘与偏移限制区域的相对位置；皮带是否偏移否；(是)偏移计数，超过15次报警；(否)返回读取网路摄像头图像帧步骤进行循环。
[0007]优选的，所述读取或绘制偏移限制区域采用的平台为X86平台PC，读取网路摄像头图像帧采用的是监控摄像头。
[0008]优选的，所述皮带位置预测采用以下流程进行：训练的数据准备；训练神经网络的搭建；数据的预处理；训练网络模型；数据迭代和损失计算；得到网络模型。
[0009]优选的，所述神经网络采用mobilenet作为backbone，mobilenet+Unet的语义分割模型，神经网络预测到皮带位置后提取出皮带特征，最后通过计算皮带边缘的位置判断皮带是否发生偏移。
[0010]优选的，所述Unet模型使用轻量级更快速的MobileNet网络。
[0011]优选的，所述Unet语义分割，采用一种对称的结构；首先通过卷积池化进行特征提取，然后经过上采样进行重构；其主要采用3x3的卷积核和relu激活函数进行特征提取，使用2x2的最大值池化进行下采样进行压缩；上采样时，使用了邻近插值，没有使用转置卷积；在每个上采样后进行跳跃连接，使用了concat操作，将特征在channel维度拼接在一起，形成更厚的特征，将全局特征和局部特征进行结合，而不是简单的相加；随后使用卷层进行channel维度压缩；跳跃连接时，将大图裁小，对全局的补充，辅助位置矫正。
[0012]优选的，所述训练神经网络的搭建采用Pytorch和Opencv，Pytorch为开源的神经网络框架，专门针对GPU加速的深度神经网络(DNN)编程，Opencv用于图像处理、分析、机器视觉方面的开源函数库。
[0013]优选的，所述图像预处理的对象为图片的形式，图片预处理的方式分为图片分辨率压缩和二值化，Unet神经网络输入大小为512X512X1，首先将图像压缩成512X512的分辨率，图片训练模型为单通道模型，需要将默认三通道二值化成单通道图片；图片转tensor，将处理完的图片转成Tensor格式送入神经网络。
[0014]优选的，所述计算皮带边缘与偏移限制区域的相对位置通过预测得到皮带MASK数据，MASK数据格式转化并提取二值图，二值图与限制区域二值图进行“与操作”，通过计算得出皮带偏移量。
[0015]与现有技术相比，本专利技术的有益效果是：该基于语义分割的皮带偏移检测算法，针对监控摄像头采集的图像视频流，进行图像预处理，通过基于语义分割的视觉算法实时识别皮带位置并提取出来，得到监控范围内的皮带形状、位置和边缘等信息。通过手动限定边缘的左右阈值来调整所允许的皮带偏移量，皮带偏移出阈值范围触发报警并上传服务器，通知安全人员解决隐患，只需采用云台摄像头进行实时视频采集，硬件开销少，稳定高、环境要求低并且相比现有的皮带偏移检测方法，可实时调整检测区域，操作方便；且实时显示皮带边缘位置，给客户直观的感受；当发生偏移时还能及时通知员工，对皮带采取相应的处理措施。
附图说明
[0016]图1为本专利技术一种基于语义分割的皮带偏移检测算法流程示意图；
[0017]图2为本专利技术一种基于语义分割的皮带偏移检测算法mobilenet网络结构示意图；
[0018]图3为本专利技术一种基于语义分割的皮带偏移检测算法Unet网络结构示意图。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]实施例一
[0021]一种基于语义分割的皮带偏移检测算法，包括以下步骤：
[0022]神经网络模型训练：训练的数据准备，提前准备多组训练参数；
[0023]训练神经网络的搭建，采用Pytorch和Opencv进行，Pytorch是开源的神经网络框
架，专门针对GPU加速的深度神经网络(DNN)编程。Torch是一个经典的对多维矩阵数据进行操作的张量(tensor)库，在机器学习和其他数学密集型应用有广泛应用。Opencv是用于图像处理、分析、机器视觉方面的开源函数库，该库的全部代码都经过优化，计算效率非常高，专注于设计成为一种用于实时系统的开源库，神经网络采用mobilenet作为backbone，mobilenet+Unet的语义分割模型，神经网络预测到皮带位置后提取出皮带特征，最后通过计算皮带边缘的位置判断皮带是否发生偏移，Unet模型使用轻量级更快速的MobileNet网络，Unet语义分割，采用一种对称的结构；首先通过卷积池化进行特征提取，然后经过上采样进行重构；其主要采用3x3的卷积核和relu激活函数进行特征提取，使用2x2的最大值池化进行下采样进行压缩；上采样时，使用了邻近插值，没有使用转置卷积；在每个上采样后进行跳跃连接，使用了concat操作，将特征在channel维度拼接在一起，形成更厚的特征，将全局特征和局部特征进行结合，而不是简单的相加；随后使用卷层进行channel维度压缩；跳跃连接时，将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义分割的皮带偏移检测算法，包括以下步骤：读取或绘制偏移限制区域；读取网路摄像头图像帧；图像预处理(尺寸调整、转tensor数据等)；预测神经网络；皮带位置预测；提取皮带位置和形状特征；计算皮带边缘与偏移限制区域的相对位置；皮带是否偏移否；(是)偏移计数，超过15次报警；(否)返回读取网路摄像头图像帧步骤进行循环。2.根据权利要求1所述的一种基于语义分割的皮带偏移检测算法，其特征在于：所述读取或绘制偏移限制区域采用的平台为X86平台PC，读取网路摄像头图像帧采用的是监控摄像头。3.根据权利要求1所述的一种基于语义分割的皮带偏移检测算法，其特征在于：所述皮带位置预测采用以下流程进行：训练的数据准备；训练神经网络的搭建；数据的预处理；训练网络模型；数据迭代和损失计算；得到网络模型。4.根据权利要求3所述的一种基于语义分割的皮带偏移检测算法，其特征在于：所述神经网络采用mobilenet作为backbone，mobilenet+Unet的语义分割模型，神经网络预测到皮带位置后提取出皮带特征，最后通过计算皮带边缘的位置判断皮带是否发生偏移。5.根据权利要求4所述的一种基于语义分割的皮带偏移检测算法，其特征在于：所述Unet模型使用轻量级更快速的MobileNet网络。6.根据权利要求4所述的一种基于语义分割的皮带偏移检测算法，其特征在于：所述Unet语义分割，采用一种对称的结构；首先通过卷积池化进行特征提取，然后经过上采样进行重构；其主要采用...

【专利技术属性】
技术研发人员：陈叶亮，徐晨鑫，雷凌，朱恩东，
申请(专利权)人：南京北新智能科技有限公司，
类型：发明
国别省市：