基于深度学习的变电站烟火智能识别监测方法技术

本发明专利技术公开一种基于深度学习的变电站烟火智能识别监测方法，通过针对变电站实际场景进行视频识别模型和图像识别模型的改进优化，紧接着融合两种改进之后的模型框架，尽可能多地避免二者的劣势，发挥出二者各自的优势，设计一种更加合理灵活的检测方法：平时利用图像识别模型进行监控，在检测到烟雾之后，自动调用视频识别模型进行二次复验，核验准确后再向监控平台发出报警信号，可以有效完成检测预警工作。

Intelligent recognition and monitoring method of substation pyrotechnics based on in-depth learning

【技术实现步骤摘要】
基于深度学习的变电站烟火智能识别监测方法
本专利技术涉及基于深度学习的变电站烟火智能识别监测方法，属于变电站安全人工智能监控识别的

技术介绍
火灾一直都是人民生命财产安全的巨大威胁之一，火灾的突发性、频繁性和高破坏力严重威胁到人的生命财产和自然环境。变电站是电力系统的枢纽，一旦发生火灾，有可能造成整个电网系统的瓦解，严重危害了供电的可靠性。所以做好变电站的防火措施，是保障电网安全稳定运行至关重要的一项工作。变电站内发生火灾主要有以下几个原因：电气设备引起火灾，变电站含有大量易发热、易燃易爆的电气设备，自然老化、操作不当都有可能导致生烟起火。在火灾初期，往往最先产生烟雾，如果能准确检测烟雾，则能够在初期便控制住险情。传统的基于传感器的烟雾检测方法易受环境的影响，有一定的报警延时并且不适用于户外等大范围的环境。随着智能视频技术的快速发展，利用图像识别或视频识别技术进行烟雾检测的研究已经开始，目前的应用多为单独使用图像进行检测或者单独使用视频进行检测，但是这两种方式均有其局限性：图像识别资源占用较少但更容易产生误报；视频识别准确率较高但资源占用过多，在网络带宽资源紧张，多路视频实时传输检测时服务器负载较重。
技术实现思路
针对现有技术的不足，本专利技术公开一种基于深度学习的变电站烟火智能识别监测方法。专利技术概述：本专利技术旨在通过针对变电站实际场景进行视频识别模型和图像识别模型的改进优化，紧接着融合两种改进之后的模型框架，尽可能多地避免二者的劣势，发挥出二者各自的优势，设计一种更加合理灵活的检测方法：平时利用图像识别模型进行监控，在检测到烟雾之后，自动调用视频识别模型进行二次复验，核验准确后再向监控平台发出报警信号，可以有效完成检测预警工作。本专利技术的技术方案如下：基于深度学习的变电站烟火智能识别监测方法，其特征在于，包括以下步骤：S1：对收集到的烟雾图像进行预处理并且构建图像模型数据集；S2：对收集到的烟雾和非烟雾视频进行预处理并且构建视频模型数据集；S3：基于目标识别yolov3算法框架进行改进优化，利用图像模型数据集训练迭代，完成图像识别模型的构建和训练；S4：利用视频模型数据集训练伪三维卷积残差网络，结合时域和频域信息提取烟雾的高维特征表征信息，完成视频识别模型的构建和训练；S5：通过rtsp协议进行视频取流并进行定时抓图，随后对得到的图像进行预处理操作，预处理之后将所处理后的图像送入所述图像识别模型：当检测到烟雾存在时，则自动调用视频识别模型进行二次复检，核验检测结果。根据本专利技术优选的，所述步骤S1中对收集到的烟雾图像进行预处理如步骤S11；构建图像模型数据集的步骤如步骤S12-S13；S11：自制图像数据集，收集整理监控设备拍摄的待处理的烟雾图像，应用gamma算法调整图像亮度和对比度，应用高斯滤波来减少噪声的干扰；S12：利用旋转、反射变换、尺度变换等数据增强技术来丰富图像训练集，增加数据样本数量；S13：利用标记工具对整理好的图像数据进行标记，生成yolo格式的标注文件。根据本专利技术优选的，所述步骤S2具体包括如下步骤：S21：自制视频数据集，选取一定室内和室外场景进行人工生烟，利用监控摄像头进行拍摄，同时也拍摄一定量的无烟雾视频也作为训练数据；S22：对拍摄的数据进行预处理，利用中值滤波进行噪声滤除；S23：对视频数据进行隔帧抽取并利用标记工具标注，生成VOC格式的标注文件。根据本专利技术优选的，所述步骤S3中的具体步骤如下：S31：网络的特征提取部分：利用darknet-53网络作为基础网络，主要包括B1和B2两个子单元，其中B1包括1个卷积层、1个BN层、1个LeakyRelu层，B2包括1个填充层、1个B1单元和1个Compose组合单元，其中Compose组合单元包含N个B1单元构成的残差网络；S32：网络的采样输出部分：对图像的特征进行上采样和连接，之后输出，该部分的输入是darknet-53的输出；S33：准确定位的公式如下：bx＝σ(tx)+cxby＝σ(ty)+cyPr(object)*IOU(b，object)＝σ(to)上述公式中，(tx，ty)表示边界框的中心横纵坐标；(cx,cy)表示网格的左上角坐标；(tw，th)表示边界框的宽度、高度；(bx，by，bw，bh)表示边界框相对于网格的中心横纵坐标、宽度、高度；pw，ph表示映射系数；Pr(object)*IOU(b,object)表示边界框中的分类置信度信息；S34：损失函数的计算：此处使用平方和误差来优化模型，包含定位误差和分类误差,上述公式中，第i个网格中是否含有目标，以及第i个网格中的第j个边框负责预测这个物体；λcoord、λnoord表示比例参数；Ci表示目标属于第i类；pi表示目标属于i类的概率；S35：通过迭代直至图像识别模型收敛，保存此时的yolo网络模型的参数。根据本专利技术优选的，所述步骤S4的具体步骤包括：S41：对视频进行抽帧，应用gamma算法调整图像亮度和对比度，应用高斯滤波来去除噪声；S42：利用运动检测对烟雾视频进行识别，包括：选用了高斯混合模型，公式如下所示：其中，K表示高斯分布的个数，N()表示多元高斯分布，πk表示混和加权值，πk满足0≦πk≦1和uk表示均值；p(x|k)＝N(x|uk,∑k)表示第k个高斯模型的概率密度函数；利用收集到的前N帧图像的像素值推算出GMM的概率分布，通过最大似然估计来确定其中的参数，GMM的似然函数公式如下：最后使用EM(ExpectationMaximizationAlgorithm)最大期望算法计算其中的参数：γ(i,k)表示第i个数据由第k个组件生产的概率；∑k表示方差从第N+1帧开始检测，判断该图像中的每一个像素点与构建好的k个高斯模型是否相匹配，如果匹配不成功则判定为前景点，否则为背景点；S43：引入卷积神经网络来提取高层特征，针对视频领域中采用的pseudo-3d卷积进行改造，同时考虑到spatial和temporal维度的特征；残差网络包括多个残差单元，包括如下：xt+1＝h(xt)+F(xt)；其中xt表示残差单元的输入，xt+1表示残差单元的输出；h(xt)＝xt表示恒等映射关系，F是非线性残差函数；S44：通过迭代直至视频识别模型收敛，保存深度三维残差网络模型的参数，即用来进行视频烟雾识别。根据本专利技术优选的，所述步骤S5的过程还包括：S51：通过rtsp协议从监控摄像头进行视频取流，随后进行图像增强；S52：利用抓图工具进行抓图，将图像被送入到图像烟雾识别模型中进行分类判别，若检测到烟雾，则发出预警，自动调用视频识别模型；S53：将接收到的图像后32-64帧视频序列送入到视频识别模型中进行二次复检，若未检测到烟雾，则视为误报警，保存数据；若检测到烟雾，则报警。本专利技术的有益效果如下：与其他烟雾识别方法只使用图像识别模型或者视频识别模型的模型相比，本专利技术充分利用了图像识别模型和视频模型的优点，避免了图像识别模型误报率高和视频识别模型占用带宽较多的缺点，无论是在准确率方面还是在效率方面均能够达到应用要求。变电站内往往有多路监控需要同时进行烟雾识别，在带宽压力较大的时候利用占用较少的图像烟雾识别模型进行安全监控，一旦出现了烟雾报警，自动调本文档来自技高网...

【技术保护点】
1.基于深度学习的变电站烟火智能识别监测方法，其特征在于，包括以下步骤：S1：对收集到的烟雾图像进行预处理并且构建图像模型数据集；S2：对收集到的烟雾和非烟雾视频进行预处理并且构建视频模型数据集；S3：基于目标识别yolov3算法框架进行改进优化，利用图像模型数据集训练迭代，完成图像识别模型的构建和训练；S4：利用视频模型数据集训练伪三维卷积残差网络，结合时域和频域信息提取烟雾的高维特征表征信息，完成视频识别模型的构建和训练；S5：通过rtsp协议进行视频取流并进行定时抓图，随后对得到的图像进行预处理操作，预处理之后将所处理后的图像送入所述图像识别模型：当检测到烟雾存在时，则自动调用视频识别模型进行二次复检，核验检测结果。

【技术特征摘要】
1.基于深度学习的变电站烟火智能识别监测方法，其特征在于，包括以下步骤：S1：对收集到的烟雾图像进行预处理并且构建图像模型数据集；S2：对收集到的烟雾和非烟雾视频进行预处理并且构建视频模型数据集；S3：基于目标识别yolov3算法框架进行改进优化，利用图像模型数据集训练迭代，完成图像识别模型的构建和训练；S4：利用视频模型数据集训练伪三维卷积残差网络，结合时域和频域信息提取烟雾的高维特征表征信息，完成视频识别模型的构建和训练；S5：通过rtsp协议进行视频取流并进行定时抓图，随后对得到的图像进行预处理操作，预处理之后将所处理后的图像送入所述图像识别模型：当检测到烟雾存在时，则自动调用视频识别模型进行二次复检，核验检测结果。2.根据权利要求1所述的基于深度学习的变电站烟火智能识别监测方法，其特征在于，所述步骤S1中对收集到的烟雾图像进行预处理如步骤S11；构建图像模型数据集的步骤如步骤S12-S13；S11：自制图像数据集，收集整理监控设备拍摄的待处理的烟雾图像，应用gamma算法调整图像亮度和对比度，应用高斯滤波来减少噪声的干扰；S12：利用旋转、反射变换、尺度变换等数据增强技术来丰富图像训练集，增加数据样本数量；S13：利用标记工具对整理好的图像数据进行标记，生成yolo格式的标注文件。3.根据权利要求1所述的基于深度学习的变电站烟火智能识别监测方法，其特征在于，所述步骤S2具体包括如下步骤：S21：自制视频数据集，选取一定室内和室外场景进行人工生烟，利用监控摄像头进行拍摄，同时也拍摄一定量的无烟雾视频也作为训练数据；S22：对拍摄的数据进行预处理，利用中值滤波进行噪声滤除；S23：对视频数据进行隔帧抽取并利用标记工具标注，生成VOC格式的标注文件。4.根据权利要求1所述的基于深度学习的变电站烟火智能识别监测方法，其特征在于，所述步骤S3中的具体步骤如下：S31：网络的特征提取部分：利用darknet-53网络作为基础网络，主要包括B1和B2两个子单元，其中B1包括1个卷积层、1个BN层、1个LeakyRelu层，B2包括1个填充层、1个B1单元和1个Compose组合单元，其中Compose组合单元包含N个B1单元构成的残差网络；S32：网络的采样输出部分：对图像的特征进行上采样和连接，之后输出，该部分的输入是darknet-53的输出；S33：准确定位的公式如下：bx＝σ(tx)+cxby＝σ(ty)+cyPr(object)*IOU(b,object)＝σ(to)上述公式中，(tx，ty)表示边界框的中心横纵坐标；(cx,cy)表示网格的左上角坐标；(tw，th)表示边界框的宽度...

【专利技术属性】
技术研发人员：聂礼强，宋雪萌，王英龙，战新刚，姚一杨，姚福宾，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37