基于SRU与残差网络的递归红外图像非均匀校正方法技术

本发明专利技术公开了一种基于SRU与残差网络的递归红外图像非均匀校正方法，将原始非均匀噪声图与原始非均匀噪声图进行通道数拼接，进行初步特征提取；其次，将初步特征提取结果经过简单递归单元(SRU)完成特征提取；经过多层残差块与卷积层处理，获得一阶段的红外图像非均匀校正结果；将所述一阶段的红外图像非均匀校正结果与原始非均匀噪声图进行通道数拼接，进行下一步特征提取，如此进行共N个阶段，获得最终的红外图像非均匀校正结果。本发明专利技术通过残差模块和简单递归单元共同作用，在以6个阶段作为递归的情况下，网络共享每个阶段的参数，大大降低了整体网络参数量，对大多数场景的红外图像都具有良好的非均匀性校正效果。像都具有良好的非均匀性校正效果。像都具有良好的非均匀性校正效果。

【技术实现步骤摘要】
基于SRU与残差网络的递归红外图像非均匀校正方法


[0001]本专利技术属于红外图像处理领域，具体涉及一种基于SRU与残差网络的递归红外图像非均匀校正方法。

技术介绍

[0002]红外焦平面阵列(Infrared Focus Plane Array，IRFPA)的不断进步提升了红外探测器的灵敏度、降低了制造成本和工作功耗，红外探测器的应用性和普及性得以大大提升；但是，由于半导体材料制作时达到均匀的掺杂浓度难度较大，IRFPA存在每个像素响应不均匀的问题所以传感器输出的红外图像会出现明暗不一的条纹状非均匀性噪声，这严重影响了实际应用中红外成像系统的图像质量。
[0003]现有的传统非均匀性校正方式基本分为两种。第一种是基于参考辐射源的非均匀性校正算法。典型的基于参考辐射源的校正方式主要有一点校正、两点校正和多点校正。虽然这一类方法计算过程简单、图像校正成果良好，但是每次重新工作时都需要再进行一次校正，可应用场景不够灵活。第二种为基于场景的非均匀性校正算法；基于场景的校正算法可通过待测场景的不断变化更新校正参数，基于场景的合理假设和变化的统计规律设计校正模型，因而不需要提前对辐射源进行定标，场景适应灵活，在基于场景的校正算法中应用的比较多的目前有基于时域高通滤波的校正算法，基于恒定统计的校正算法，基于神经网络的校正算法等。
[0004]随着深度学习不同模型和框架的广泛应用，随着卷积神经网络结构日渐复杂，大量对于图像的不同领域处理算法层出不穷，对于图像的特征提取能力也愈加强大。

技术实现思路

>[0005]鉴于此，本专利技术的主要目的在于提供一种基于SRU与残差网络的递归红外图像非均匀校正方法。
[0006]为达到上述目的，本专利技术实施例的技术方案是这样实现的：
[0007]本专利技术实施例提供一种基于SRU与残差网络的递归红外图像非均匀校正方法，该方法为：首先，将原始非均匀噪声图与原始非均匀噪声图进行通道数拼接，进行初步特征提取；其次，将初步特征提取结果经过简单递归单元(SRU)完成特征提取；最后，经过多层残差块与卷积层处理，获得一阶段的红外图像非均匀校正结果；将所述一阶段的红外图像非均匀校正结果与原始非均匀噪声图进行通道数拼接，进行下一步特征提取，如此进行共N个阶段，获得最终的红外图像非均匀校正结果。
[0008]上述方案中，所述将原始非均匀噪声图与原始非均匀噪声图进行通道数拼接，进行初步特征提取，具体为：在神经网络中将原始非均匀噪声图与原始非均匀噪声图进行concat操作，并进行卷积特征提取与Relu非线性激活，其中，卷积层的卷积核为3
×3×
32，步长为1，设Conv+Relu对应的映射函数为g
in
，x
t-1
和y为原始非均匀噪声图，则该步骤的初步特征提取过程可由下式所示：
[0009]x
t-0.5
＝g
in
(x
t-1
,y)
ꢀꢀ
(1)。
[0010]上述方案中，将初步特征提取结果经过简单递归单元(SRU)完成特征提取，具体为：将初步特征提取结果输入到简单递归单元中的轻度递归模块与高速网络的模块中，经过其中的参数矩阵与参数向量计算，得到SRU的图像特征提取结果，单层SRU的计算公式如式(2)～(5)所示：
[0011]f
t
＝σ(W
f
x
t
+v
f
⊙
c
t-1
+b
f
)
ꢀꢀ
(2)
[0012]c
t
＝f
t
⊙
c
t-1
+(1-f
t
)
⊙
(Wx
t
)
ꢀꢀ
(3)
[0013]r
t
＝σ(W
r
x
t
+v
r
⊙
c
t-1
+b
r
)
ꢀꢀ
(4)
[0014]h
t
＝r
t
⊙
c
t
+(1-r
t
)
⊙
x
t
ꢀꢀ
(5)
[0015]式中，其中，W、W
f
和W
r
是参数矩阵，v
f
、v
r
、b
f
和b
r
是要在训练期间学习的参数向量，完整的体系结构分解为两部分，其中公式(2)和公式(3)表示轻度递归，公式(4)和公式(5)表示高速网络。h
t
为SRU的图像特征提取结果。设SRU对应的映射函数为g
recurrent
，则该步骤的特征提取过程可由式(6)表示：h
t
＝g
recurrent
(h
t-1
,x
t-0.5
)
ꢀꢀ
(6)。
[0016]上述方案中，所述经过多层残差块与卷积层处理，获得一阶段的红外图像非均匀校正结果，具体为：将SRU单元的特征提取结果经过5层Resblock，每层Resblock中有两层卷积层和两层Relu激活层，卷积核大小均为3
×3×
32，采用跳连接的形式进行特征提取，最后再经过一层卷积进行特征提取，得到一阶段的红外图像非均匀校正结果，设Resblocks对应的映射函数为g
res
，最后一层conv对应的映射函数为g
out
，则该步骤的特征提取过程可由式(7)表示：
[0017]x
t
＝g
out
(g
res
(h
t
))
ꢀꢀ
(7)。
[0018]上述方案中，所述将所述一阶段的红外图像非均匀校正结果与原始非均匀噪声图进行通道数拼接，进行下一步特征提取，如此进行共N个阶段，获得最终的红外图像非均匀校正结果，具体为：将1阶段的红外图像非均匀校正结果与原始非均匀噪声图进行concat操作，经过卷积层进行特征提取与Relu非线性函数激活，进行第2阶段的进一步特征提取，共进行N个阶段，获得最终的红外图像非均匀校正结果，该过程可由式(8)表示：
[0019]x
t+0.5
＝g
in
(x
t
,y)
ꢀꢀ
(8)
[0020]网络损失函数为：采用多尺度结构相似性(MS-SSIM)，反映两幅图像相似度，可保留更多图像高频信息，损失函数由式(9)所示：
[0021]L
MS-SSIM
＝1-[MS-SSIM(V'(p),V(p))]ꢀꢀ
(9)
[0022]式中，V'、V分别表示目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SRU与残差网络的递归红外图像非均匀校正方法，其特征在于，该方法为：首先，将原始非均匀噪声图与原始非均匀噪声图进行通道数拼接，进行初步特征提取；其次，将初步特征提取结果经过简单递归单元(SRU)完成特征提取；最后，经过多层残差块与卷积层处理，获得一阶段的红外图像非均匀校正结果；将所述一阶段的红外图像非均匀校正结果与原始非均匀噪声图进行通道数拼接，进行下一步特征提取，如此进行共N个阶段，获得最终的红外图像非均匀校正结果。2.根据权利要求1所述的基于SRU与残差网络的递归红外图像非均匀校正方法，其特征在于，所述将原始非均匀噪声图与原始非均匀噪声图进行通道数拼接，进行初步特征提取，具体为：在神经网络中将原始非均匀噪声图与原始非均匀噪声图进行concat操作，并进行卷积特征提取与Relu非线性激活，其中，卷积层的卷积核为3
×3×
32，步长为1，设Conv+Relu对应的映射函数为g
in
，x
t-1
和y为原始非均匀噪声图，则该步骤的初步特征提取过程可由下式所示：x
t-0.5
＝g
in
(x
t-1
,y)
ꢀꢀ
(1)。3.根据权利要求2所述的基于SRU与残差网络的递归红外图像非均匀校正方法，其特征在于，将初步特征提取结果经过简单递归单元(SRU)完成特征提取，具体为：将初步特征提取结果输入到简单递归单元中的轻度递归模块与高速网络的模块中，经过其中的参数矩阵与参数向量计算，得到SRU的图像特征提取结果，单层SRU的计算公式如式(2)～(5)所示：f
t
＝σ(W
f
x
t
+v
f
⊙
c
t-1
+b
f
)
ꢀꢀ
(2)c
t
＝f
t
⊙
c
t-1
+(1-f
t
)
⊙
(Wx
t
)
ꢀꢀ
(3)r
t
＝σ(W
r
x
t
+v
r
⊙
c
t-1
+b
r
)
ꢀꢀ
(4)h
t
＝r
t
⊙
c
t
+(1-r
t
)
⊙
x
t
ꢀꢀ
(5)式中，其中，W、...

【专利技术属性】
技术研发人员：秦翰林，张嘉伟，延翔，梁毅，冯冬竹，马琳，曾庆杰，杨硕闻，乐阳，姚迪，乐子晗，周慧鑫，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：