一种工控系统智慧安防图像识别方法及系统技术方案

本发明专利技术公开一种工控系统智慧安防图像识别方法，包括：S1，对工控系统进行视频采集获得视频数据；S2，基于所述视频数据进行前景检测；S3，基于前景检测的结果进行运动目标识别，所述运动目标识别针对异常行为识别和异常情景判定进行综合特征提取，所述运动目标识别的方法为两阶段目标检测算法和一阶段目标检测算法综合进行的综合运动目标识别；S4，基于综合运动目标识别结果进行图像识别。还公开了对应的系统、电子设备及计算机可读存储介质。电子设备及计算机可读存储介质。电子设备及计算机可读存储介质。

【技术实现步骤摘要】
一种工控系统智慧安防图像识别方法及系统


[0001]本专利技术属于目标跟踪以及工控系统安防
，尤其涉及一种工控系统智慧安防图像识别方法及系统。

技术介绍

[0002]目前工控系统智慧安防图像识别技术主要为图像语义分割，是一种可以使计算机能够对图像实现自动分割并识别出图像内容的技术。在计算机视觉领域中图像语义分割技术指的是对图片中不同类型的对象以不同颜色标注分割，而图像语义分割技术中的语义指的是图像中所包含的各类别的物体所特有的类别名称，这种类别名称就称作图片的语义信息。应用语义分割技术就是利用计算机对于一幅图像的像素按照图像中表达的语义信息的不同进行分类。图像语义分割技术在现阶段主要是基于深度学习神经网络进行研究，而在深度学习技术的支持下，图像语义分割技术主要被应用在移动机器人、无人机、智能驾驶以及智慧安防的领域中。
[0003]现有的图像识别方法大致分为三类：
[0004](1)基于传统方法的图像语义分割技术时期
[0005]图像分割技术通过图像的低级特征进行分割，经此技术处理之后所输出的图像无法达到实现语义标注的效果。图像分割技术只能被称为图像分割，无法达到语义的概念。
[0006](2)深度学习与传统方法结合的图像语义分割技术时期
[0007]在这一个阶段主要是利用卷积神经网络算法实现语义分割效果，先利用传统的分割算法获得图像级的处理效果，然后利用CNN神经网络模型训练像素的特征分类器实现语义分割效果，这种方法准确性受到传统语义分割方法诸多不足的限制，因此准确性普遍较低。
[0008](3)基于全卷积神经网络的图像语义分割技术时期
[0009]2015年I EEE国际计算机视觉与模式识别会议，由Long等人提出了全卷积神经网络，至此图像语义分割技术进入到了全卷积神经网络时期。全卷积神经网络在深度学习中表现出了强大的潜力，计算机在图片通过深度学习网络进行深度学习后能够清楚地归纳出输入图片中的具有相同语义含义的像素点。深度学习方法成为了现今解决语义分割问题的主流。对比前两个时期，基于全卷积神经网络深度学习的语义分割技术能够获得更高的精度以及更好的运算效率，因此这一时期的语义分割技术方法介绍将会是整篇文章的讨论重点。2018年，Mi chae l i s等人根据He等人的研究工作对于语义分割提出了最新的成果，将语义分割技术与目标检测技术进行结合，对于图片中的目标达到了实例分割的效果，这意味着可以对于同一类别的不同物体进行不同的语义信息标注的效果。
[0010]随着近年来计算机硬件水平的提升、深度学习技术的发展以及各种高质量目标检测数据集的提出，涌现出越来越多优秀的目标检测算法。目标检测算法的发展大致分为两个阶段：第一阶段集中在2000年前后，这期间所提出的方法大多基于滑动窗口和人工特征提取，普遍存在计算复杂度高和在复杂场景下鲁棒性差的缺陷。为了使算法能够满足实际
需要，研究者不得不寻找更加精巧的计算方法对模型进行加速同时设计更加多元化的检测算法以弥补手工特征表达能力上的缺陷。代表性的成果包括Vio l a
‑
Jones检测器、HOG行人检测器等。第二阶段是2014年至今，以文献提出的R
‑
CNN算法作为开端。这些算法利用深度学习技术自动的抽取输入图像中的隐藏特征，从而对样本进行更高精度的分类和预测。随着深度学习和计算机视觉的不断突破，在R
‑
CNN之后又涌现出了Fast R
‑
CNN、Faster R
‑
CNN、SPPNet、YOLO等众多基于深度学习的图像目标检测算法。相比传统的目标检测算法，基于深度学习的目标检测算法具有速度快、准确性强、在复杂条件下鲁棒性强的优势，但是仍然无法达到工控系统智慧安防预期的技术效果。

技术实现思路

[0011]本专利技术的目的是提供一种工控系统智慧安防目标跟踪方法及系统，在双路网络中借鉴相关滤波器来提升模型的辨别能力；此外，受目标检测领域进展的启发，采用基于分类式的深度跟踪框架如MDNet、双路网络结合区域锚点的多尺度回归以及基于Transformer的深度跟踪器使用注意力机制进行跟踪模型建模的方法，以解决现有技术的问题。
[0012]本专利技术一方面提供了一种工控系统智慧安防图像识别方法，包括：
[0013]S1，对工控系统进行视频采集获得视频数据；
[0014]S2，基于所述视频数据进行前景检测；
[0015]S3，基于前景检测的结果进行运动目标识别，所述运动目标识别针对异常行为识别和异常情景判定进行综合特征提取，所述运动目标识别的方法为两阶段目标检测算法和一阶段目标检测算法综合进行的综合运动目标识别；
[0016]S4，基于综合运动目标识别结果进行图像识别。
[0017]优选的，所述两阶段目标检测算法包括：
[0018](1)输入将视频进行分解后获得的具有时间戳的图像；
[0019](2)基于显式的区域建议从具有时间戳的图像中获得的感兴趣区域作为候选区域；
[0020](3)在所述感兴趣区域中进行特征提取、分类和回归从而对目标检测进行微调，从而获得目标检测结果。
[0021]优选的，所述两阶段目标检测算法采用如下五种算法中的任意一种算法进行计算，包括：
[0022](1)R
‑
CNN目标检测算法，包括：
[0023]第一阶段：输入将视频进行分解后获得的具有时间戳的图像，基于选择性搜索获得感兴趣区域作为候选区域；
[0024]第二阶段：对感兴趣区域内的图像进行裁切、缩放的图像处理，然后对每个候选区域内的图像经过卷积神经骨干网络中的全连接层进行特征提取；缓存抽取到的特征后通过SVM分类器进行分类和回归的微调，获得目标检测结果；
[0025](2)SPP
‑
Ne目标检测算法，包括：
[0026]第一阶段，输入将视频进行分解后获得的具有时间戳的图像，基于选择性搜索获得感兴趣区域作为候选区域；
[0027]第二阶段，通过骨干网络直接得到整个输入图像的特征地图；通过金字塔空间池
化层将特征地图中与感兴趣区域对应的部分转化为固定尺寸的特征；对每个候选区域内的图像经过全连接层进行特征提取；缓存抽取到的特征后通过SVM分类器进行分类和回归的微调，获得目标检测结果
[0028](3)Fast R
‑
CNN算法，包括：
[0029]第一阶段，输入将视频进行分解后获得的具有时间戳的图像，基于选择性搜索获得感兴趣区域作为候选区域；
[0030]第二阶段，通过骨干网络直接得到整个输入图像的特征地图；通过感兴趣池化层将特征地图中与感兴趣区域对应的部分转化为固定尺寸的特征；对每个候选区域内的图像经过全连接层进行特征提取；缓存抽取到的特征后进行分类和回归的微调，基于多任务损失函数将分类任务与边框回归任务整合到主干卷积神经网络中获得目标检测结果；
[0031本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工控系统智慧安防图像识别方法，其特征在于，包括：S1，对工控系统进行视频采集获得视频数据；S2，基于所述视频数据进行前景检测；S3，基于前景检测的结果进行运动目标识别，所述运动目标识别针对异常行为识别和异常情景判定进行综合特征提取，所述运动目标识别的方法为两阶段目标检测算法和一阶段目标检测算法综合进行的综合运动目标识别；S4，基于综合运动目标识别结果进行图像识别。2.根据权利要求1所述的一种工控系统智慧安防图像识别方法，其特征在于，所述两阶段目标检测算法包括：(1)输入将视频进行分解后获得的具有时间戳的图像；(2)基于显式的区域建议从具有时间戳的图像中获得的感兴趣区域作为候选区域；(3)在所述感兴趣区域中进行特征提取、分类和回归从而对目标检测进行微调，从而获得目标检测结果。3.根据权利要求2所述的一种工控系统智慧安防图像识别方法，其特征在于，所述两阶段目标检测算法采用如下五种算法中的任意一种算法进行计算，包括：(1)R
‑
CNN目标检测算法，包括：第一阶段：输入将视频进行分解后获得的具有时间戳的图像，基于选择性搜索获得感兴趣区域作为候选区域；第二阶段：对感兴趣区域内的图像进行裁切、缩放的图像处理，然后对每个候选区域内的图像经过卷积神经骨干网络中的全连接层进行特征提取；缓存抽取到的特征后通过SVM分类器进行分类和回归的微调，获得目标检测结果；(2)SPP
‑
Ne目标检测算法，包括：第一阶段，输入将视频进行分解后获得的具有时间戳的图像，基于选择性搜索获得感兴趣区域作为候选区域；第二阶段，通过骨干网络直接得到整个输入图像的特征地图；通过金字塔空间池化层将特征地图中与感兴趣区域对应的部分转化为固定尺寸的特征；对每个候选区域内的图像经过全连接层进行特征提取；缓存抽取到的特征后通过SVM分类器进行分类和回归的微调，获得目标检测结果(3)Fast R
‑
CNN算法，包括：第一阶段，输入将视频进行分解后获得的具有时间戳的图像，基于选择性搜索获得感兴趣区域作为候选区域；第二阶段，通过骨干网络直接得到整个输入图像的特征地图；通过感兴趣池化层将特征地图中与感兴趣区域对应的部分转化为固定尺寸的特征；对每个候选区域内的图像经过全连接层进行特征提取；缓存抽取到的特征后进行分类和回归的微调，基于多任务损失函数将分类任务与边框回归任务整合到主干卷积神经网络中获得目标检测结果；(4)Faster R
‑
CNN算法，包括：第一阶段，输入将视频进行分解后获得的具有时间戳的图像，通过多卷积堆叠的骨干网络直接得到整个输入图像的特征地图；对特征地图中的图像经过区域预测网络进行特征提取、分类和回归；
第二阶段，将特征地图中与感兴趣区域对应的部分转化为固定尺寸的特征；对每个候选区域内的图像进行特征提取；缓存抽取到的特征后进行分类和回归的微调，基于多任务损失函数将分类任务与边框回归任务整合到主干卷积神经网络中获得目标检测结果；(5)R
‑
FCN算法，包括：第一阶段，输入将视频进行分解后获得的具有时间戳的图像，通过全卷积网络直接得到整个输入图像的特征地图；对特征地图中的图像经过区域预测网络进行特征提取、分类和回归；第二阶段，将位敏得分图与感兴趣区域对应的部分转化为固定尺寸的特征；基于位敏池化层对图像进行特征提取；缓存抽取到的特征后进行分类和回归的微调，获得目标检测结果。4.根据权利要求1所述的一种工控系统智慧安防图像识别方法，其特征在于，所述一阶段目标检测算法包括：(1)输入将视频进行分解后获得的具有时间戳的图像；(2)通过骨干网络抽取所述具有时间戳的图像的特征，基于隐式的区域建议、特征提取以及回归进行微调直接生成物体边界框，从而获得目标检测结果。5.根据权利要求4所述的一种工控系统智慧安防图像识别方法，其特征在于，所述一阶段目标检测算法采用如下五种算法中的任意一种算法进行计算，包括：(1)基于二进制掩膜的目标检测算法，包括：输入图像后，基于AlexNet作为骨干网络并将网络的最后一层替换成回归层；通过回归预测目标的二进制掩膜并以此为依据提取目标边界框；(2)Overfeat算法，包括：输入图像后，针对...

【专利技术属性】
技术研发人员：丁朝晖，张伟，杨国玉，车业蒙，刘腾，黄冠杰，
申请(专利权)人：中国大唐集团科学技术研究总院有限公司，
类型：发明
国别省市：