一种基于深度学习的粮库通风窗状态检测算法制造技术

本发明专利技术公开了一种基于深度学习的粮库通风窗状态检测算法，通过图像或视频采集设备采集获取粮库的通风窗场景图片；在上位机中，将通风窗场景图片输入至粮库通风窗状态检测网络进行通风窗定位与状态分类；粮库通风窗状态检测网络以YOLOv5s网络为基础网络，包括依次连接的主干网络、特征融合网络和预测头三部分，主干网络的C3模块中加入挤压激励SE模块形成SE

A state detection algorithm of ventilation window in grain depot based on deep learning

【技术实现步骤摘要】
一种基于深度学习的粮库通风窗状态检测算法


[0001]本专利技术涉及目标识别神经网络
，具体是一种基于深度学习的粮库通风窗状态检测算法。

技术介绍

[0002]粮食不仅是人民生活中不可缺少的基础物资，还是国家重要的战略储备，在国家以及地方的粮食存储和粮食流通环节中，粮库发挥着不可代替的作用。粮库的主要职责在于完成粮食的接收、存储、运输、调度配置等各个环节，而粮食的安全存储，又是其中的重中之重。对封闭式粮库而言，合理、有效的通风是预防粮食变质的一项重要手段。目前国内外应用最广泛的通风技术依然是机械通风技术，根据天气条件控制通风窗的开启关闭是粮库通风的关键手段。
[0003]目前大部分粮仓确认通风窗的状态正常与否，需要依靠工作人员的巡逻检视，由于粮库中粮仓数量较多，工作人员工作量较大，漏检的现象经常出现，尤其是对于未紧密关闭的通风窗经常发现不及时，影响储量品质，造成不必要的经济损失。虽然目前已有一些智能化通风系统的研究，通过计算机智能系统和电信号传输监测通风情况，但是由于改造成本和难度问题，应用范围较小。所以通风窗状态检测方法的研究有很重要的现实意义。
[0004]虽然已有多种基于计算机视觉的门窗状态检测算法，但在粮库复杂环境下的通风窗检测问题上仍有不足，主要存在以下问题等待解决：
[0005](1)针对粮库通风窗的检测并无相关公开数据集可以直接使用，需要进行大量的数据采集，标注和预处理工作。
[0006](2)粮库环境复杂，通风窗数量较多且分布较为密集，使检测的难度上升。
[0007](3)粮库通风窗图像和视频由无人机和固定摄像头采集，当遇到雾天、雨天等复杂天气环境，对采集的图像视频造成较大噪声干扰，使得检测精度降低。
[0008](4)目前大多数门窗状态检测采用传统的图像处理方法，对视频流中读取到的图像进行灰度及高斯模糊处理，对判断区域进行泛洪填充操作，根据判断区域泛洪填充操作返回像素点数量与设定阈值的关系来判断开关门状态。但以上方法适用场景较为简单，在固定摄像头的条件下，对场景中单一的门窗进行检测，算法的泛化性和鲁棒性都有所不足，当观察角度、观察距离、环境光照出现变化时，算法的性能难以满足生产环境要求。

技术实现思路

[0009]本专利技术要解决的技术问题是提供一种基于深度学习的粮库通风窗状态检测算法，用以在粮库环境中对通风窗的开闭状态进行判断。
[0010]为了解决上述技术问题，本专利技术提供一种基于深度学习的粮库通风窗状态检测算法，包括过程为：通过图像或视频采集设备采集获取粮库的通风窗场景图片；在上位机中，将通风窗场景图片输入至粮库通风窗状态检测网络进行通风窗定位与状态分类，获得带有通风窗的预测框位置、通风窗的状态类别以及置信度的检测结果图像；
[0011]所述粮库通风窗状态检测网络以YOLOv5s网络为基础网络，包括依次连接的主干网络、特征融合网络和预测头三部分，所述主干网络的C3模块中加入挤压激励SE模块形成SE
‑
C3模块；所述预测头中，将原来的耦合头修改为解耦头。
[0012]作为本专利技术的一种基于深度学习的粮库通风窗状态检测算法的改进：
[0013]所述SE
‑
C3模块为将YOLOv5s基础网络的C3模块中的bottleneck修改为SE
‑
bottleneck，SE
‑
bottleneck的输入为上层网络的特征图X，特征图X首先经过两个卷积层形成特征图X1，特征图X1使用挤压激励SE模块进行处理得到一个维度为通道数*1的向量t1，将向量t1与特征图X1相乘得到特征图X2，最后将输入的特征图X与特征图X2相加得到SE
‑
bottleneck模块的输出；
[0014]所述挤压激励SE模块包含全局池化层、两个全连接层和sigmoid激活函数。
[0015]作为本专利技术的一种基于深度学习的粮库通风窗状态检测算法的进一步改进：
[0016]所述解耦头的输入为所述特征融合网络输出的特征图，首先经过一个1x1的卷积层，然后分别进入分类分支和定位分支：分类分支经过两个1*1的卷积层和sigmoid激活函数，输出所述通风窗的状态类别，定位分支经过一个1*1卷积层，再分为两个分支，一个分支经过1*1的卷积层和sigmoid激活函数输出所述置信度，另一个分支经过1*1的卷积层，输出所述通风窗的预测框位置。
[0017]作为本专利技术的一种基于深度学习的粮库通风窗状态检测算法的进一步改进：
[0018]所述粮库通风窗状态检测网络的训练和测试过程为：将训练集作为粮库通风窗状态检测网络训练的输入，以损失函数作为优化目标，利用后向传播算法进行网络参数的更新，训练方式采用训练预热+余弦退火的方式，以随机梯度下降SGD算法优化网络参数，每完成一个epoch会在验证集上进行一次验证，共迭代100个epoches，选择在验证集上的mAP值大于0.8的模型文件作为训练好的.pt模型文件；将测试集输入训练好的粮库通风窗状态检测网络，将得到的输出结果与测试集的标签进行比对，达到预设目标从而获得在线使用的所述粮库通风窗状态检测网络。
[0019]作为本专利技术的一种基于深度学习的粮库通风窗状态检测算法的进一步改进：
[0020]所述训练集和测试集的划分过程为：采集不同角度、天气、光照下对粮库中不同开关状态的通风窗的图像数据，筛选具有不同角度、天气和光照组合的粮库通风窗的图像进行数据增强操作，包括对比度增强、反转、镜像、裁剪，然后对数据增强操作后的图像标注出通风窗位置，并生成包含对应图像中目标位置和状态类别的txt标签文件，将标注后的图像及其对应txt标签文件按7：1：2的比例划分为所述训练集、验证集和测试集。
[0021]作为本专利技术的一种基于深度学习的粮库通风窗状态检测算法的进一步改进：
[0022]所述状态类别分为打开、闭合、半开、闭合不紧密四种。
[0023]作为本专利技术的一种基于深度学习的粮库通风窗状态检测算法的进一步改进：
[0024]所述损失函数包括分类损失、位置损失函数和置信度损失，分类损失和置信度损失与YOLOv5s网络的分类损失和置信度损失一致，位置损失函数为CIoU loss，公式如下：
[0025][0026]其中，d代表的是计算两个中心点之间的欧式距离，c代表闭包的对角线距离，IoU表示交并比(Intersection Over Union)为预测框和真实的标注框的重叠面积与二者总面
积的比值；α是用来调节的参数，v是衡量长宽比一致性的参数，计算方式为：
[0027][0028][0029]w表示预测框的宽度，h表示预测框的高度。
[0030]本专利技术的有益效果主要体现在：
[0031]1、本专利技术使用基于YOLOv5s的改进算法，在粮库环境下对通风窗开闭状态进行判断，在图片背景、拍摄角度、观察距离、光照条件等发生变化时，仍可以保持较高的检测精确度；
[0032本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的粮库通风窗状态检测算法，其特征在于：通过图像或视频采集设备采集获取粮库的通风窗场景图片；在上位机中，将通风窗场景图片输入至粮库通风窗状态检测网络进行通风窗定位与状态分类，获得带有通风窗的预测框位置、通风窗的状态类别以及置信度的检测结果图像；所述粮库通风窗状态检测网络以YOLOv5s网络为基础网络，包括依次连接的主干网络、特征融合网络和预测头三部分，所述主干网络的C3模块中加入挤压激励SE模块形成SE
‑
C3模块；所述预测头中，将原来的耦合头修改为解耦头。2.根据权利要求1所述的一种基于深度学习的粮库通风窗状态检测算法，其特征在于：所述SE
‑
C3模块为将YOLOv5s基础网络的C3模块中的bottleneck修改为SE
‑
bottleneck，SE
‑
bottleneck的输入为上层网络的特征图X，特征图X首先经过两个卷积层形成特征图X1，特征图X1使用挤压激励SE模块进行处理得到一个维度为通道数*1的向量t1，将向量t1与特征图X1相乘得到特征图X2，最后将输入的特征图X与特征图X2相加得到SE
‑
bottleneck模块的输出；所述挤压激励SE模块包含全局池化层、两个全连接层和sigmoid激活函数。3.根据权利要求2所述的一种基于深度学习的粮库通风窗状态检测算法，其特征在于：所述解耦头的输入为所述特征融合网络输出的特征图，首先经过一个1x1的卷积层，然后分别进入分类分支和定位分支：分类分支经过两个1*1的卷积层和sigmoid激活函数，输出所述通风窗的状态类别，定位分支经过一个1*1卷积层，再分为两个分支，一个分支经过1*1的卷积层和sigmoid激活函数输出所述置信度，另一个分支经过1*1的卷积层，输出所述通风窗的预测框位置。4.根据权利要求3所述的一种基于深度学习的粮库通风窗状态检测算法，其特征在于：所述...

【专利技术属性】
技术研发人员：金心宇，尚珂珂，
申请(专利权)人：浙江大学，
类型：发明
国别省市：