基于深度神经网络的红外与可见光融合的视觉系统及方法技术方案

本发明专利技术提供基于深度神经网络红外与可见光融合的视觉方法，涉及电力系统监测技术领域，包括以下步骤：通过巡检平台获取红外相机图像和可见光相机图像；对红外相机图像和可见光相机图像进行图像融合得到融合图像；对融合图像进行显著性区域测温；通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警。本发明专利技术提供基于深度神经网络红外与可见光融合的视觉系统。本发明专利技术将红外和可见光图像不同的融合权重，根据不同的权重进行图像融合，采用两点+神经网络+时域高通滤波联合非均匀校正算法，提高测温精度，通过基于深度神经网络的目标检测技术，提高目标识别精度。提高目标识别精度。提高目标识别精度。

【技术实现步骤摘要】
基于深度神经网络的红外与可见光融合的视觉系统及方法


[0001]本专利技术涉及电力系统监测
，具体涉及基于深度神经网络的红外与可见光融合的视觉系统及方法。

技术介绍

[0002]随着电力系统规模的发展，对电力线路的安全运行和供电可靠性的要求越来越高。为了保障电力系统的正常运转，电力巡检已经成为电力从业人员重要的日常工作之一。按照常规传统的人工巡检方式，运维人员都需要按照规划的巡视路线图按照顺序完成各项设备的巡视工作，此项工作耗费大量的人力与时间。
[0003]智能化无人值守巡检图像AI处理系统的工作流程通常包括三部分，即实现前端精细化图像采集、数据回传、后台数据处理。而如何保证图像采集数据的有效性和后台数据处理的效率则是衡量智能化无人值守电力巡检系统性能的重要指标。日常巡视过程中，重点是要能迅速发现线路、杆塔等设备的细节问题，对电力系统的状态进行监测和识别预警，尤其在恶劣环境下的灾害预警，但现场作业时，常常发生外力对无人机巡检精度产生消极影响的情况，这些外力包括:大风、强光、信号干扰。
[0004]以往的户外电力巡检，在恶劣的环境中，电力巡检人员需要翻山越岭，人力占用量非常大，且整体效率不高；巡检作业流程中的重要一环，是如何有效管理现场采集的所有数据，并将数据提炼成有效的信息。数据不等同于信息，数据可能是海量或者大尺寸的，但信息一定是凝练、可概括的。在当前的技术条件下，大尺寸的数据样本通过无线链路实时传输，尚不成熟。

技术实现思路

[0005]为了克服上述现有技术存在的问题，本专利技术提供基于深度神经网络的红外与可见光融合的视觉系统及方法。基于无人机平台，具有红外，可见光以及多光谱等多个有效载荷能够实时的对电力系统的状态进行监测和识别预警，极大提升了恶劣环境下灾害预警的成功率。
[0006]本专利技术的技术方案是：
[0007]基于深度神经网络的红外与可见光融合的视觉方法，包括以下步骤：
[0008]通过巡检平台获取红外相机图像和可见光相机图像；
[0009]对红外相机图像和可见光相机图像进行图像融合得到融合图像；
[0010]对融合图像进行显著性区域测温；
[0011]通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警。
[0012]作为本专利技术的进一步技术方案为，所述对红外相机图像和可见光相机图像进行图像融合得到融合图像；具体包括：
[0013]对采集的可见光相机和红外相机进行图像预处理；
[0014]计算可见光图像熵值，当熵值高于阈值时，已可见光图像作为融合图像，当熵值低
于阈值，采用VGG
‑
19深度神经网络完成可见光与红外图像融合得到融合图像。
[0015]作为本专利技术的进一步技术方案为，所述采用VGG
‑
19深度神经网络完成可见光与红外图像融合得到融合图像，具体包括：采用VGG
‑
19深度神经网络计算出不同波段图像的显著特征图，使得最后融合的图像能够保持各自图像的显著性特征，包括以下步骤：
[0016]图像尺度分割：对可见光图像进行尺度分解形成可见光基层和可见光细节层，对红外图像进行尺度分解形成红外基层和红外细节层；具体包括：
[0017]将原始图像分为两层，其中一层为基层，另外一层为细节层，假设源图像为I
k
，基层图像为细节层为基层图像通过解算如下方程得到：
[0018][0019]其中gx＝[
‑
1，1]，gy＝[
‑
1，1]T，它们是水平、垂直梯度算子，细节层图像等于源图像减去基层图像；
[0020][0021]基层图像融合：对可见光细节层和红外基层进行基层融合；具体包括：
[0022]基层图像包含有源图像的普遍特征和冗余信息，采用平均权重策略进行基层图像融合：
[0023][0024]其中，(x，y)代表图像中对应像素点的位置，α1和α2代表不同的融合权重值；
[0025]细节层图像融合：对可见光细节层和红外细节层通过深度神经网络进行细节层融合；具体包括：
[0026]对于细节层图像和采用深度学习网络VGG
‑
19计算融合权重值，通过VGG
‑
19网络进行深度特征提取，权重图通过多层融合策略获得，最终细节层融合结果由训练得到的权重值和细节层图像获得；其中，多层融合策略如下:
[0027]考虑到细节层图像为表明第K层细节层图像特征权重图，m是第i层的通道号；
[0028][0029]Φ
i
()代表VGG网络中的一层i属于{1，2，3，4}，代表了relu_1_1，relu_2_1， relu_3_1和relu_4_1；是M维向量；
[0030]的L1范数可作为源图像细节层的活跃等级评价函数，因此最初的活跃层权重图可以通过下式获得：
[0031][0032]利用基于块的平均算子计算最终的活跃权重图像可由下面公式获得：
[0033][0034]其中，γ代表块的大小；
[0035]当获得活跃层图像初始的权重图通过soft
‑
max函数得到：
[0036][0037]K代表活跃层图像的个数，设置K＝2，表明初始权重图在(0～1) 范围；已知VGG网络的池化层算子是一个下采样算法，每次这个算子都会将图像缩小为原来1/s倍，令s＝2，因此在VGG网络中将池化层的跨度设置为2，所以在不同的层权重图的大小是细节层图像的1/2i
‑
1倍，i属于{1， 2，3，4}，表示relu_1_1，relu_2_1，relu_3_1和relu_4_1四层；在得到初始的权重图后，对权重图进行上采样，将尺寸小的权重图放大到与细节层尺寸相同大小的图像，得到了四对权重图像，对于每一对权重图，细节层融合的结果如下式所示：
[0038][0039]最终，细节层图像融合由下面公式获得：
[0040]F
d
(x,y)＝max[F
d
(x,y)|i∈{1,2,3,4}]；
[0041]F
d
函数的含义是取每一层最大值作为细节层最终的融合图像；
[0042]图像最终融合：将基层融合和细节层融合进行融合形成融合图像；具体包括：
[0043]当基层图像和细节层图像都已融合完毕，我们采用下式将他们相加就得到了最终的融合图像：
[0044]F(x,y)＝F
b
(x，y)+F
d
(x,y)；
[0045]其中F
b
代表基层的融合图像，F
d
代表细节层的融合图像。
[0046]进一步地，所述γ取值为1。
[0047]进一步地，所述α1和α2分别都等于0.5。
[0048]作为本专利技术的进一步技术方案为，所述对融合图像进行显著性区域测温；具体包括：将融合后的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度神经网络的红外与可见光融合的视觉方法，其特征在于，包括以下步骤：通过巡检平台获取红外相机图像和可见光相机图像；对红外相机图像和可见光相机图像进行图像融合得到融合图像；对融合图像进行显著性区域测温；通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警。2.根据权利要求1所述的方法，其特征在于，所述对红外相机图像和可见光相机图像进行图像融合得到融合图像；具体包括：对采集的可见光相机和红外相机进行图像预处理；计算可见光图像熵值，当熵值高于阈值时，已可见光图像作为融合图像，当熵值低于阈值，采用VGG
‑
19深度神经网络完成可见光与红外图像融合得到融合图像。3.根据权利要求2所述的方法，其特征在于，所述采用VGG
‑
19深度神经网络完成可见光与红外图像融合得到融合图像，具体包括：采用VGG
‑
19深度神经网络计算出不同波段图像的显著特征图，使得最后融合的图像能够保持各自图像的显著性特征，包括以下步骤：图像尺度分割：对可见光图像进行尺度分解形成可见光基层和可见光细节层，对红外图像进行尺度分解形成红外基层和红外细节层；具体包括：将原始图像分为两层，其中一层为基层，另外一层为细节层，假设源图像为I
k
，基层图像为细节层为基层图像通过解算如下方程得到：其中g
x
＝[
‑
1，1]，g
y
＝[
‑
1，1]T，它们是水平、垂直梯度算子，细节层图像等于源图像减去基层图像；基层图像融合：对可见光细节层和红外基层进行基层融合；具体包括：基层图像包含有源图像的普遍特征和冗余信息，采用平均权重策略进行基层图像融合：其中，(x，y)代表图像中对应像素点的位置，α1和α2代表不同的融合权重值；细节层图像融合：对可见光细节层和红外细节层通过深度神经网络进行细节层融合；具体包括：对于细节层图像和采用深度学习网络VGG
‑
19计算融合权重值，通过VGG
‑
19网络进行深度特征提取，权重图通过多层融合策略获得，最终细节层融合结果由训练得到的权重值和细节层图像获得；其中，多层融合策略如下:考虑到细节层图像为W
im
表明第K层细节层图像特征权重图，m是第i层的通道号；Φ
i
()代表VGG网络中的一层i属于{1，2，3，4}，代表了relu_1_1，relu_2_1，relu_3_1和relu_4_1；是M维向量；
的L1范数可作为源图像细节层的活跃等级评价函数，因此最初的活跃层权重图可以通过下式获得：利用基于块的平均算子计算最终的活跃权重图像利用基于块的平均算子计算最终的活跃权重图像可由下面公式获得：其中，γ代表块的大小；当获得活跃层图像初始的权重图通过soft
‑
max函数得到：K代表活跃层图像的个数，设置K＝2，表明初始权重图在(0～1)范围；已知VGG网络的池化层算子是一个下采样算法，每次这个算子都会将图像缩小为原来1/s倍，令s＝2，因此在VGG网络中将池化层的跨度设置为2，所以在不同的层权重图的大小是细节层图像的1/2i
‑
1倍，i属于{1，2，3，4}，表示relu_1_1，relu_2_1，relu_3_1和relu_4_1四层；在得到初始的权重图后，对权重图进行上采样，将尺寸小的权重图放大到与细节层尺寸相同大小的图像，得到了四对权重图像，对于每一对权重图，细节层融合的结果如下式所示：最终，细节层图像融合由下面公式获得：F
d
(x,y)＝max[F
d
(x,y)|i∈{1,2,3,4}]；F
d
函数的含义是取每一层最大值作为细节层最终的融合图像；图像最终融合：将基层融合和细节层融合进行融合形成融合图像；具体包括：当基层图像和细节层图像都已融合完毕，我们采用下式将他们相加就得到了最终的融合图像：F(x,y)＝F
b
(x,y)+F
d
(x,y)；其中F
b
代表基层的融合图像，F
d
代表细节层的融合图像。4.根据权利要求3所述的方法，其特征在于，所述γ取值为1。5.根据权利要求3所述的方法，其特征在于，所述α1和α2分别都等于0.5。6.根据权利要求1所述的方法，其特征在于，所述对融合图像进行显著性区域测温；具体包括：将融合后的图像通过超像素分割提取显著性区域，对显著性区域进行温度测量并筛选，对温度大于设定值的显著性区域进行预警并发送预警信息；同时对大于设定值...

【专利技术属性】
技术研发人员：申强，杨晓望，黎斌，张洁，王晨宇，李波，杨新晖，程鹏，杨阳，孙元超，赵凡墨，陈稷，
申请(专利权)人：国网陕西省电力公司西咸新区供电公司，
类型：发明
国别省市：