一种基于跨分支连接网络的复合降质图像解耦分析与复原方法技术

一种基于跨分支连接网络的复合降质图像解耦分析与复原方法属于数字图像/视频信号处理领域。本发明专利技术设计了一个多分支并行的网络结构，分支网络内部为编解码的网络结构，并在其中添加短链接和长连接让分支网络可以充分的融合低层和高层的语义特征，同时还在分支网络内部添加注意力机制，让网络能够自适应地对不同程度的降质因素自适应的动态调整网络参数，达到一定的动态调整能力。本发明专利技术还在分支之间添加了跨分支连接，不仅可以保证了我们在不同分支只提取到一种降质因素，还兼顾了不同降质因素产生先后顺序。将加权后的融合降质特征输入到重建模块后得到清晰的复原图像。该技术在刑侦、目标跟踪、军事侦察等领域具有广泛的应用前景。用前景。用前景。

【技术实现步骤摘要】
一种基于跨分支连接网络的复合降质图像解耦分析与复原方法


[0001]本专利技术属于数字图像/视频信号处理领域，特别涉及一种基于跨分支连接网络的复合降质图像解耦分析与复原方法。

技术介绍

[0002]随着信息技术的不断发展，图像日益成为我们获取信息的重要方式。然而，受到拍摄设备、拍摄周围环境以及拍摄者抖动等影响，真实场景下得到的图像会夹杂不同类型的降质因素，例如模糊、噪声、压缩等，给人眼带来了极其不好的主观感受。因此，关于复杂降质图像复原的相关研究具有重要的学术价值和应用价值。
[0003]在真实自然环境下采集到的复合降质图像不同于实验室环境下的单一降质图像，复合降质图像内的降质类型复杂多变，不同降质之间随机耦合且不可预知。这些特点导致了复原复合降质图像的难度要远远高于单一降质图像。
[0004]近年来，基于深度学习的卷积神经网络在图像复原问题中得到了广泛的应用且取得了显著成果，但这些方法大部分都是应用于单一降质图像的。上述复合降质图像的那些特点也导致了将复原单一降质图像的方法应用于复合降质图像时，图像复原的性能会大大减弱，让原本就主观感受不佳的图像更加难以看清。为了解决这一问题，针对复杂降质图像复原的研究受到关注。但这些研究大部分只是向网络中添加动态模块，添加动态处理路径或者添加注意力模块的方式来动态调整网络的参数，增加网络的自适应能力，来提升网络网络的复原性能。这些方法仍然难以在复合降质图像中的多种不同降质之间找到一个很好的平衡点。
[0005]本专利技术从一个新的角度出发，利用多分支并行网络结构和多阶段的训练策略，让网络的不同分支分别提取复合降质图像中不同降质的特征并指导后续的图像复原，从而将先前技术方法需要在多种不同降质之间找到平衡点这一复杂问题，转化为了在同种降质之间寻找平衡点这一相对简单的问题。
[0006]本专利技术提出了一种基于跨分支连接的复合降质图像解耦分析与复原方法。设计了一个多分支并行的网络结构，分支网络内部为编解码的网络结构，并在其中添加短链接和长连接让分支网络可以充分的融合低层和高层的语义特征，同时还在分支网络内部添加注意力机制，让网络能够自适应地对不同程度的降质因素自适应的动态调整网络参数，达到一定的动态调整能力。本技术专利技术在分支之间添加了跨分支连接，不仅可以保证了我们在不同分支只提取到一种降质因素，还兼顾了不同降质因素产生先后顺序。不同分支提取到的降质特征和低质图像一起经过分支注意力模块给不同的降质特征分配不同的权重系数，让网络更加有侧重的复原复合降质图像中相对程度更深的降质因素。将加权后的融合降质特征输入到重建模块后得到清晰的复原图像。该技术在刑侦、目标跟踪、军事侦察等领域具有广泛的应用前景。

技术实现思路

[0007]本专利技术的目的在于缓解了先前大部分方法难以有效解决的两个问题。第一问题是处理复杂降质图像复原问题时难以在不同降质之间找到一个平衡点；第二个问题是传统端到端网络是一个难以有效解释的黑盒问题。针对第一问题，本专利技术技术将原先大部分方法需要在不同降质之间寻找平衡点这一非常复杂困难的问题，转化为了在同一降质内部找平衡点这一相对简单的问题，为卷积神经网络难以在不同降质之间找到一个平衡点提供了一个新的解决思路。针对第二个问题，本专利技术在不同分支内部提取不同降质的特征并予以显示，将原本的黑盒问题通过结合提取降质的特征的方式转变为了灰盒问题，提高了网络设计的可解释性。并且，提取到的降质特征让网络可以根据不同降质的差异，捕获不同降质的结构性特征，从而自适应的生成不同降质的权重，实现复合降质图像的动态动态复原。
[0008]本专利技术是采用以下技术手段实现的：
[0009]一种基于跨分支连接网络的复合降质图像解耦分析与复原方法。该方法基于多分支并行的网络结构框架；首先，复合降质图像通过不同的并行分支分贝在不同分支的末端提取到不同的降质特征；然后，利用分支注意力模块对不同的降质特征分配不同的权重并融合为混合降质特征；最后，将混合降质特征输送到后续的重建模块中得到最终的复原图像。该方法的整体网络如附图1所示，分为五部分：空间注意力分支、通道注意力分支、跨分支连接、分支注意力模块和重建模块，如附图2、4、6、7、8所示。
[0010]现有的针对复合降质图像复原的方法缺乏对降质成份的关注，大部分方法忽略了不同降质之间的特征存在巨大的差异，对复合降质图像中的所有降质均采用相同权重的网络结构进行处理，容易造成网络难以在不同降质之找到平衡点，使得重建效果不佳。本专利技术基于多阶段训练的多分支并行的网络结构，让不同分支分别提取复合降质图像中的不同降质特征，同时，在分支的末端添加分支注意力模块，让网络能够根据不同降质的特征以及降质程度不同，自适应的对不同特征分配不同的权重，从而让网络能够更好的在不同降质之间找到平衡点。
[0011]网络总体上划分为了6部分介绍，分别是各个分支、跨分支连接、分支注意力模块、整体重建模块和多阶段训练策略。
[0012]该方法具体包括以下步骤：
[0013]1)空间注意力分支：
[0014]分支的主要作用就是提取复合降质图像内的单一降质特征，用来指导后续的复原任务。空间注意力分支和通道注意力分支都是由特征升维网络、编解码网络、提取降质特征模块和这3部分组成。
[0015]第一步，特征升维网络提升特征维度。由于输入网络的图像只有三个维度，所以当我们需要获取图像中的更多信息时，需要对输入图像进行升维处理。特征降维网络由1个卷积操作组成，将三维的输入图像送入到一个7
×
7卷积层并输出64维的特征图，每个卷积层后都跟有LeakyReLU激活层提升训练网络时的收敛速度。
[0016]第二步，使用编解码网络结构融合多层语义信息。在一幅低质图像中，物体的边缘位置和降质出现的地方往往是频率较高的地方，都属于高频信息，因此不能一味的去除高频信息来复原图像，这样会让低质图像更加的模糊不清。因此，本技术引入编解码的网络结构，让分支网络在去除降质这一高频信息的同时，会在编码网络的末端获取低质图像的全
局概述信息，让网络在最大去除降质的前提下，最好的保留图像中有用的结构信息。并且，随着图像的尺度不断缩小，图像内的降质程度也会相应的减少，能够减少复原图像的复杂度。
[0017]编解码网络由编码网络和解码网络组成，其中编码网络内包含了3个不同尺度和通道数的含有短链接的密集子模块和两个升维卷积层，每个子模块都是由6个相同的残差模块组成，残差模块内部由一个短链接和两个卷积层组成，并在其中添加空间注意力模块来动态调整残差的权重系数，达到增强网络自适应能力的效果，同时，在卷积层之间加入ReLU激活函数保证网络在训练时更快的收敛。记密集子模块内第i个残差模块的输出特征为l
i
，则可用公式(1)表示：
[0018]l
i
＝SA(F(l
i
‑1))+l
i
‑1,#(1)
[0019]其中，l
i
表示第i个残差模块的输出特征，l本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨分支连接网络的复合降质图像解耦分析与复原方法，其特征在于，包括以下步骤：1)空间注意力分支：空间注意力分支和通道注意力分支都是由特征升维网络、编解码网络、提取降质特征模块和这3部分组成；第一步，特征升维网络提升特征维度；特征降维网络由1个卷积操作组成，将三维的输入图像送入到一个7
×
7卷积层并输出64维的特征图，每个卷积层后都跟有LeakyReLU激活层提升训练网络时的收敛速度；第二步，使用编解码网络结构融合多层语义信息；编解码网络由编码网络和解码网络组成，其中编码网络内包含了3个不同尺度和通道数的含有短链接的密集子模块和两个升维卷积层，每个子模块都是由6个相同的残差模块组成，残差模块内部由一个跨层连接和两个卷积层组成，跨层连接将前一个残差模块的输出与当前的残差输出进行对应位置相加的操作，并在残差模块内添加空间注意力模块来动态调整残差的权重系数，同时，在卷积层之间加入ReLU激活函数保证网络在训练时更快的收敛；记密集子模块内第i个残差模块的输出特征为l
i
，用公式(1)表示：l
i
＝SA(F(l
i
‑1))+l
i
‑1,#(1)其中，l
i
表示第i个残差模块的输出特征，l
i
‑1则表示通过跨层连接得到的前一个残差模块输出的特征，F(
·
)表示残差模块内两个卷积层的映射方程，包括LeakyReLU激活层和3
×
3卷积操作，SA(
·
)则表示空间注意力模块的映射方程；残差模块内的残差特征输入模块后，依次经过最大池化和平均池化操作后输入到一个卷积层中并经过Sigmoid函数归一化得到特征图并与输入的残差特征相乘得到加权后的残差特征图作为模块的输出SA(F(l
i
‑1))，即公式(2)表示：SA(F(l
i
‑1))＝Sig(F
′
(AP(MP(F(l
i
‑1)))))
⊙
F(l
i
‑1),
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中F(l
i
‑1)表达的是在当前残差模块中卷积层输出的残差特征；MP(
·
)表达的是最大池化操作，AP(
·
)表达的是平均池化操作，F
′
(
·
)表示的是一个卷积核为3
×
3的卷积操作，Sig(
·
)表达的是Sigmoid函数操作，
⊙
表示的是对应位置相乘操作；由于在密集子模块中引入了短链接来缓解高层语义特征与低层语义特征之间的语义鸿沟；因此，第i个密集子模块的整体输出可用公式(3)表示：其中τ
i
表示第i个密集子模块的输入特征，因此由公式(3)可得，第i个密集子模块的整体输出等于密集子模块的输入特征与其中内部第6个残差模块的输出特征之和；同时，由于三个密集子模块中卷积层的通道数分别为64，128和256，互不相同，因此，在每一个密集子模块之间加入一个升维卷积层和一个ReLU激活函数层，来对特征的通道数量进行升维操作，用公式(4)表达：τ
i+1
＝UP(O
i
),#(4)其中，O
i
表示第i个子模块的整体输出特征，τ
i+1
表示的是第i+1个子模块的整体输入特征，UP(
·
)表示的是升维操作；它是一个组合操作，包括ReLU激活层和3
×
3卷积操作；编码网络的输出为第三个密集子模块的整体输出，即O3，同时作为后续解码网络的输入特征
解码网络由两个逆卷积模块组成，每个逆卷积模块内部有一个逆卷积层和一个卷积层，并在两个层之间加入ReLU激活函数；第一个逆卷积模块将解码网络的输入的通道数由256个降低为128个，并将特征图的尺寸扩大为原来的两倍；第二个逆卷积模块将第一个模块的输出的通道数由128个再次降低为64个，并再次将特征图的尺寸扩大为原来的两倍，这样第二个逆卷积模块的输出与原先输入的低质图像的尺寸一致了；同时，会与编码网络的输入在对应位置相加并作为整个编解码网络的输出；第三步，提取降质特征模块来提取复合降质图像内降质的位置信息；提取降质特征模块内部有一个重建模块和一个全局连接，重建模块内部有两个卷积层，卷积层之间引入ReLU激活函数；针对缺乏对复合降质图像中空间降质信息的提取，设计了一个提取降质特征模块能够有效的提取复合降质图像内部的单一类型的降质特征；先将第二步中编解码网络提取到的64维的特征图通过重建模块将为3维特征图，并利用一个全局长连接与输入的低质图像对应位置相加，这个全局长连接将分支网络转变为了一个残差网络，因此，在残差部分提取到的特征即为低质图像与对应高质图像之间的差，为所求的降质特征ψ1；同时为了确保在每一个分支都只提取一种降质，后续会通过跨分支连接将ψ1输送到通道注意力分支；空间注意力分支提取ψ1的函数表达式为：ψ1＝N(M(P(U(x1)))),#(5)其中，x1表示为输入的压缩低质图像，U(
·
)表示第一步中特征升维网络的函数，P(
·
)表示为编码网络的函数，M(
·
)表示为解码网络的函数，N(
·
)表示为第三步提取降质特征模块的函数，方程(2)表达的是从分支内部看的函数表达式，当从分支外部看时，则为：ψ1＝y
‑...

【专利技术属性】
技术研发人员：李晓光，黄江鲁，景炜程，卓力，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：