基于轻量化卷积神经网络的输送带实时跑偏检测方法技术

本发明专利技术实施例提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法，包括：生成数据集；通过图像分割网络FCN对图像进行分割，并根据分割的结果建立轻量化卷积神经网络，并生成损失函数；将所述数据集中的图片输入到所述轻量化卷积神经网络，以利用所述轻量化卷积神经网络的卷积层提取出训练集的图片中的输送带的边缘；然后将轻量化卷积神经网络的卷积层提取出图片中的输送带的边缘与验证集中的图片中的输送带的边缘进行验证以进行损失计算，并根据反向传播算法优化模型参数。

Real-time deviation detection method of conveyor belt based on lightweight convolution neural network

【技术实现步骤摘要】
基于轻量化卷积神经网络的输送带实时跑偏检测方法
本专利技术涉及计算机
，尤其是涉及一种基于轻量化卷积神经网络的输送带实时跑偏检测方法。
技术介绍
目前我国煤炭、矿山、港口码头、化工、冶金、电力等行业中广泛采用带式输送机作为运输的主要设备，但在运行过程中输送带会由于表面受力不均匀发生跑偏，轻则导致物料洒落，重则酿成人员、财产损失损伤。因此，提升煤矿生产设备的机械化水平，以及电气设备的自动化水平，研究输送带跑偏机理，提出适合的输送带跑偏检测方法就显得迫在眉睫。早期输送带检测主要依靠人工检查，劳动强度大且易出现少检漏检的情况。后期出现了输送带自动检测装置，且现有的输送带自动检测装置主要分为接触式与非接触式；此外，还有另外还有光电式、机器视觉等方法。其中接触式的工作原理是通过滚轮与输送带接触带动连杆机构动作，此检测装置只适用于转速较低的输送带，实际应用很少；而非接触式一般采用跑偏开关，当输送带发生一定量的跑偏时跑偏开关自动报警停机；这种非接触式的只能用作输送带极限跑偏急停，不能实现早期预警。在轻微扰动时容易误判停机，降低工作效率，甚至危害设备及人身安全。跑偏开关在恶劣环境下易受影响导致出现不动作的情况，从而造成严重后果；其中光电式检测设备主要依靠无线传感器模块来实现，其检测精度过度依赖传感器的安装密度，而且在恶劣且复杂的环境下传感器极容易损坏，难以保证检测的可靠性。同时传统的机器视觉方法多采用Canny边缘检测算法，其一般流程为：CCD相机实时采集输送带视频流图像，然后使用Canny算子检测输送带边缘。由于Canny算法是基于图像灰度梯度，所以它对噪声比较敏感，会检测到图片中运输的煤矿、物料等其他边缘，后续还需结合霍夫变换来提取输送带边缘特征，精度比较差[1]。在输送带被遮挡的地方，Canny算法检测的结果中还会出现间断部分。而且，对于不同场景需要多次调节算法中的参数。本专利技术实施例中所涉及的参考文献如下，本专利技术实施例将这些参考文献全文引用于此：[1]徐欢，李振璧，姜媛媛，等.基于OpenCV的输送带跑偏自动检测算法研究[J].工矿自动化，2014,40(9):48-52.[2]ShelhamerE,LongJ,DarrellT.FullyConvolutionalNetworksforSemanticSegmentation[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2014,PP(99):1-1.
技术实现思路
针对当前的对输送带实时跑偏检测技术存在的缺陷，本专利技术实施例提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法，能够通过卷积神经网络对输送带进行检测以提高检测效果。为了解决上述问题，本专利技术实施例提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法，包括：步骤1、通过采集的真实场景下的视频生成用于学习的数据集；对数据集中的图片进行处理以区分出输送带和背景以生成图片的标签；并将图片的标签进行0-1二值化处理；将数据集分为训练集和验证集；步骤2、通过图像分割网络FCN，将每个阶段池化后的输出先上采样2、4、8、16、32倍到原图大小，然后改变融合策略，采用Concat方式将各阶段特征图融合，获得各个尺度信息；并将网络中的普通卷积方式改为深度分离卷积，在第二、三个stage中输入经过下采样后的原图；并根据分割的结果建立轻量化卷积神经网络，并生成损失函数；步骤3、将所述数据集中的图片输入到所述轻量化卷积神经网络，以利用所述轻量化卷积神经网络的卷积层提取出训练集的图片中的输送带的边缘；然后将轻量化卷积神经网络的卷积层提取出图片中的输送带的边缘与验证集中的图片中的输送带的边缘进行验证以进行损失计算，并根据反向传播算法优化模型参数。2、根据权利要求1所述的基于轻量化卷积神经网络的输送带实时跑偏检测方法，其特征在于，所述对数据集中的图片进行处理以区分出输送带和背景以生成图片的标签，具体包括：将图片中的输送带的边缘采用1个像素宽的白色像素块描出，并将非输送带的背景部分处理成黑色；然后将标签进行0-1二值化处理。其中，生成的损失函数为loss＝posweight*targets*-log(sigmoid(logits))+(1-tergets)*-log(1-sigmoid(logits))其中posweight表示图片中边缘点的权重系数，targets表示标签，即像素点的类别，logits表示预测结果；其中posweight是通过试验确定。其中，所述像素点的类别为边缘点或者非边缘点。本专利技术的技术方案具有以下优势：上述方案提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法，至少具有以下的一条优点：能够抵抗输送带上其他物体边缘的干扰；能够提高输送带边缘检测的精度；能够实时进行输送带边缘跑偏检测；能够实现远程监测输送带运行状况，避免了恶劣复杂环境的影响。附图说明通过下面结合附图对本专利技术的一个优选实施例进行的描述，本专利技术的技术方案及其技术效果将变得更加清楚，且更加易于理解。其中：图1为本专利技术实施例的总体框架图；图2为检测结果图。具体实施方式以下将结合所附的附图对本专利技术的一个优选实施例进行描述。本专利技术实施例提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法，包括：步骤1、通过采集的真实场景下的视频生成用于学习的数据集；对数据集中的图片进行处理以区分出输送带和背景，以生成图片的标签；并将图片的标签进行0-1二值化处理；将数据集分为训练集和验证集；在本专利技术的一个实施例中个，该数据集可以包括500张原图，以及原图进行左右、上下翻转得到1000张扩充图，以及这1500张原图和扩充图所对应的1500个标签；具体的，该标签是指将图片中的输送带的边缘用一像素宽的白线描出来并将背景处理成黑色，通过这样的方式制作了标签，并将标签进行0-1二值化处理。步骤2、通过图像分割网络FCN，将每个阶段池化后的输出先上采样2、4、8、16、32倍到原图大小，然后改变融合策略，采用Concat方式将各阶段特征图融合，获得各个尺度信息；然后将网络中的普通卷积方式改为深度分离卷积，在第二、三个阶段(stage)中输入经过下采样后的原图；并根据分割的结果建立轻量化卷积神经网络，并生成损失函数；步骤3、将所述数据集中的图片输入到所述轻量化卷积神经网络，以利用所述轻量化卷积神经网络的卷积层提取出训练集的图片中的输送带的边缘；然后将轻量化卷积神经网络的卷积层提取出图片中的输送带的边缘与验证集中的图片中的输送带的边缘进行验证以进行损失计算，并根据反向传播算法优化模型参数。现有的FCN-8s只将最后三个阶段池化后的输出采用逐像素相加的方式融合然后进行上采样8倍恢复到原图大小，还是损失了较多细节信息。本申请实施例中对FCN网络进行了改进，将每个阶段池化后的输出先上采样2、4、8、16、32倍到原图大小，然后改变融合策略，采用Concat方式将各阶段特征图融合，获得各个尺度信息。本申请实施例中通过学习到的丰富的多尺度特征，完成边缘检测中的细节恢复问题。其中，生成的损失函数为loss＝posweight*targets*-log(sigmoid(logits))+(1-t本文档来自技高网...

【技术保护点】
1.一种基于轻量化卷积神经网络的输送带实时跑偏检测方法，其特征在于，包括：步骤1、通过采集的真实场景下的视频生成用于学习的数据集；对数据集中的图片进行处理以区分出输送带和背景以生成图片的标签；并将图片的标签进行0‑1二值化处理；将数据集分为训练集和验证集；步骤2、通过图像分割网络FCN，将每个阶段池化后的输出先上采样2、4、8、16、32倍到原图大小，然后改变融合策略，采用Concat方式将各阶段特征图融合，获得各个尺度信息；并将网络中的普通卷积方式改为深度分离卷积，在第二、三个stage中输入经过下采样后的原图；并根据分割的结果建立轻量化卷积神经网络，并生成损失函数；步骤3、将所述数据集中的图片输入到所述轻量化卷积神经网络，以利用所述轻量化卷积神经网络的卷积层提取出训练集的图片中的输送带的边缘；然后将轻量化卷积神经网络的卷积层提取出图片中的输送带的边缘与验证集中的图片中的输送带的边缘进行验证以进行损失计算，并根据反向传播算法优化模型参数。

【技术特征摘要】
1.一种基于轻量化卷积神经网络的输送带实时跑偏检测方法，其特征在于，包括：步骤1、通过采集的真实场景下的视频生成用于学习的数据集；对数据集中的图片进行处理以区分出输送带和背景以生成图片的标签；并将图片的标签进行0-1二值化处理；将数据集分为训练集和验证集；步骤2、通过图像分割网络FCN，将每个阶段池化后的输出先上采样2、4、8、16、32倍到原图大小，然后改变融合策略，采用Concat方式将各阶段特征图融合，获得各个尺度信息；并将网络中的普通卷积方式改为深度分离卷积，在第二、三个stage中输入经过下采样后的原图；并根据分割的结果建立轻量化卷积神经网络，并生成损失函数；步骤3、将所述数据集中的图片输入到所述轻量化卷积神经网络，以利用所述轻量化卷积神经网络的卷积层提取出训练集的图片中的输送带的边缘；然后将轻量化卷积神经网络的卷积层提取出图片中的输送带的边缘与验证集中的图片中的输送带的边缘进行验证以进行损失计算，并根据反向传...

【专利技术属性】
技术研发人员：李江昀，曾婵，郑俊锋，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京,11