一种红外-可见光图像融合的异常行为识别方法技术

本发明专利技术涉及图像识别处理技术领域，具体地说，涉及一种红外

【技术实现步骤摘要】
一种红外
‑
可见光图像融合的异常行为识别方法


[0001]本专利技术涉及图像识别处理
，具体地说，涉及一种红外
‑
可见光图像融合的异常行为识别方法。

技术介绍

[0002]红外
‑
可见光系统，是利用可见光和红外两种技术实现全天时、全天候监控。通过网络、无线传输或光缆等多种传输手段，实现监视传输，使上级部门能够直观、实时地掌控现场情况，并可在千里之外操纵前方的摄像机，进行重点观察。系统也可用于军事、公安、消防、油田森林防火、交通管理、电力电网行业等重要场所等需要全天时、全天候监控的领域。但是，现有的系统，在面对恶劣环境下，如雾气、光照不足、恶劣天气时，监测的视频图像受到严重干扰和影响，导致最终的成像质量降低、目标识别率下降，甚至导致监控系统无法工作，从而影响工作稳定性。因此，研究多特征的红外
‑
可见光多源图像增强技术，为远方监控人员提供更好的监控视频效果，已是目前行业内的重要课题。
[0003]图像增强的主要目的是利用卷积神经网络，解决背景复杂和低光照问题，主要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外
‑
可见光图像融合的异常行为识别方法，其特征在于，包括如下步骤：S1、红外
‑
可见光图像均进行图像增强处理；S2、将图像增强过后的可见光与红外光输入Fusion
‑
GAN网络的生成器中，更改生成器与判别器的卷积为深度可分离卷积，采用mobilenet
‑
v3架构进行处理，减少计算量，输出融合图像；将输出的融合图像输入判别器单独调整融合图像信息，得到结果；在生成器和判别器的对抗学习过程当中，不断地对融合图像进行优化，损失函数达到平衡后，保留效果最佳的图像；S3、对融合后的图像进行目标分类并标注，根据类别坐标信息进行归一化处理，与融合图像输入进yolov5网络，将融合后的图像进行HLV颜色变换，采用Mosaic数据增强对图像进行拼接，作为训练样本；并提出了一种改进的特征金字塔模型，命名为AF
‑
FPN，它是利用自适应注意力模块和特征增强模块来减少特征图生成过程中的信息丢失并增强表示能力的特征金字塔，保证实时检测的前提下提高了YOLOv5网络对多尺度目标的检测性能，构建目标检测模型，将融合图像信息对应的特征向量输入目标检测模型当中，得到识别结果；S4、在改进Fusion
‑
GAN网络融合完红外和可见光图像后，将红外可见光融合视频流输入至3D神经网络，在视频数据的时间维度和空间维度上进行特征计算；S5、输入视频被分作两组独立的数据流：低分辨率的数据流和原始分辨率的数据流；两个数据流都交替的包含卷积层、正则层和抽取层，同时这两个数据流最后合并成两个全连接层用于后续的特征识别；S6、利用3D卷积神经网络对人体关节点相关数据进行特征提取，根据提取人体骨架得到的姿态信息和视角变换获得的目标位置信息检测异常行为。2.根据权利要求1所述的红外
‑
可见光图像融合的异常行为识别方法，其特征在于，在所述S1红外
‑
可见光图像均进行图像增强处理之前，还包括建立数据集的步骤：通过摄像头持续获取采集到的图像数据并传输至处理端，并进行逐帧抽取，采集图像信息；对输入的图像做简单的平移、缩放、颜色变化、裁剪及高斯模糊；采用改进yolov5方法对数据进行训练分别设置500轮次的训练次数，设置初始学习率为0.001；训练的动量选择0.9，训练批batch_size设置为2；损失函数采用交叉熵函数以提升使模型收敛得更加迅速和准确。3.根据权利要求1所述的红外
‑
可见光图像融合的异常行为识别方法，其特征在于，所述S1中的图像增强处理还包括：将图像特征点提取出来后，经过深度卷积神经网络的算法与训练反复进行特征增强，使需要的目标差异特征最大化，提升识别准确度，并在卷积层之后，加入Norm归一化层，以提升主体与其他部分的区分度；其中，所述深度卷积层神经网络包含5个卷积层，3个池化层，2个LRN层，2个随机采样层，3个全连接层和1个softmax分类回归层；卷积层和池化层交替出现，池化层为max
‑
pooling。4.根据权利要求3所述的红外
‑
可见光图像融合的异常行为识别方法，其特征在于，所述卷积层参数分别是：conv1、conv2、conv3、conv4、conv5的blob类型分别为[1，96，55，55]、[1，256，27，27]、[1，384，13，13]、[1，384，13，13]和[1，256，13，13]，步长分别为4、2、1、1、1；pool层参数为：pool l：[1，96，27，27]，pool2：[1，256，13，13]，pool5：[1，256，6，6]；
卷积的计算公式为：式(1)中，M
j
为输入特征图集合，为当前第1层的第j个输出，为卷积核，分别对输入特征图进行卷积，为偏置，ReLU表示激活函数；卷积层的输出维数的计算公式为：N2＝(N1‑
F1+2P)/S+1(2)；式(2)中，输入图片的大小为N1×
N1，卷积核的...

【专利技术属性】
技术研发人员：常荣，唐立军，党军朋，张毅，韩兆武，杨扬，易亮，
申请(专利权)人：云南电网有限责任公司玉溪供电局，
类型：发明
国别省市：