一种基于模糊自引导的结构保护生成对抗网络的方法技术

本发明专利技术涉及高质量的医学图像领域，公开了一种基于模糊自引导的结构保护生成对抗网络的方法，包括以下步骤：基于自引导的结构保护模块探索并保留输入图像的结构信息；基于光照分布校正模块校正增强图像的照度分布；基于模糊判别器在真实域和模糊域中区分输入图像和增强图像；采用循环一致性损失以及纹理保真度损失表示损失函数。本发明专利技术基于模糊自引导的结构保护生成对抗网络的方法，采用模糊判别器来区分输入图像和增强图像在真实域和模糊域中的差异，从而提高识别能力并优化增强效果。本发明专利技术使用循环一致性损失和纹理保真度损失，使得网络适用于非成对训练的情况，从而图像的内容信息和纹理细节在增强过程中不会迁移和丢失。失。失。

【技术实现步骤摘要】
一种基于模糊自引导的结构保护生成对抗网络的方法


[0001]本专利技术涉及高质量的医学图像领域，具体为一种基于模糊自引导的结构保护生成对抗网络的方法。

技术介绍

[0002]医学图像含有大量与生物组织或解剖组织相关的信息，是临床诊断和治疗的重要依据。然而，在实际场景中采集的医学图像通常质量较低。近年来，医学图像增强因其具有较高的实用价值和广泛的应用场景而备受关注。医学图像增强的目的是统一图像亮度，改善图像结构，恢复图像的纹理细节，更清晰地显示图像所表达的特定病理内容。机器学习和计算机视觉技术已成为提高医学图像质量的研究热点。
[0003]在现有的图像增强方法中，用于提高图像质量的传统技术包括：直方图均衡化、使用小波变换的自适应滤波器、灰度校正等。传统的图像增强方法有一些明显的缺陷，例如导致高质量区域的过度增强和放大噪声。以直方图均衡化为例，采用累积分布函数作为映射函数。该原理简单快速，图像对比度可以直观地提高，但细节保存率低，噪声不可避免地会增强。此外，基于直方图均衡化的方法忽略了图像的不同部分对增强的不同要求，在医学图像处理中存在局限性。近年来，深度学习技术极大地提高了图像增强方法的性能。其中，生成对抗网络(GAN)作为经典的无监督网络，被广泛应用于图像增强任务中。用于图像增强的GAN通常使用成对图像进行训练。然而，成对的医学图像很难获取，模型的增强效果并不理想，为此本专利技术提出一种基于模糊自引导的结构保护生成对抗网络系统。

技术实现思路

[0004]解决的技术问题
[0005]针对现有技术的不足，本专利技术提供一种基于模糊自引导的结构保护生成对抗网络的方法，通过独特设计的模糊判别器来区分输入图像和增强图像在真实域和模糊域中的差异，采用自引导的结构保护模块(SSRM)和光照分布校正模块(IDCM)，捕获神经纤维的结构信息，并校正图像的光照分布，以解决上述的问题。
[0006](二)技术方案
[0007]为实现上述所述目的，本专利技术提供如下技术方案：
[0008]一种基于模糊自引导的结构保护生成对抗网络的方法，包括以下步骤：
[0009]第一步：利用基于模糊自引导的结构保护生成对抗网络系统中的自引导的结构保护模块探索并保留输入图像的结构信息；
[0010]第二步：基于光照分布校正模块校正增强图像的照度分布；
[0011]第三步：基于模糊判别器在模糊域中区分输入图像和增强图像；
[0012]第四步：采用循环一致性损失以及纹理保真度损失表示损失函数。
[0013]优选的，基于模糊自引导的结构保护生成对抗网络系统包括两个生成器以及分别与两个生成器连接的模糊判别器，生成器由图像增强模块、自引导的结构保护模块和光照
分布校正模块组成，自引导的结构保护模块负责探索医学图像中的神经纤维结构，并在解码期间按比例将特征图添加到主干网络中，光照分布校正模块通过使用低质量输入图像的先验注意图来校正主干网络输出图像的光照分布，使用两个具有相同体系结构的生成器。一个生成器的输出图像将被输入到另一个生成器，达到端到端的自学习。
[0014]优选的，所述图像增强模块以U
‑
Net为主干网络，U
‑
Net有八个编码层和八个解码层，编码层由残差卷积模块和最大池化层组成，解码层由上采样模块和残差卷积模块组成，编码层和解码层的残差卷积模块是相同的，包括两个堆叠卷积层+批次归一化层+LeakyReLU，其中输入和输出以残差的形式连接。上采样模块是双线性插值上采样层+3
×
3卷积层+批量归一化层+LeakyReLU+dropout层的串行结构。
[0015]优选的，所述自引导的结构保护模块提取的图像结构信息将与U
‑
Net的编码特征和前一层的解码特征逐级串联，并注入图像增强模块的解码路径。
[0016]优选的，所述自引导的结构保护模块用于探索和保留低质量输入图像的结构信息，并指导图像增强模块和光照分布校正模块重建医学图像，自引导的结构保护模块由两个结构相同的编码器
‑
解码器网络组成，编码器由预先训练好的Res
‑
Net
‑
34初始化。
[0017]自引导的结构保护模块将原始输入和IEM输出压缩到深度语义空间中，然后限制它们之间的距离，使两个阶段的潜在特征表示接近，两个网络的编码特征分别表示为E.1和E.2，并且自引导损失函数可以表示为：
[0018][0019]其中LQ和HQ分别代表低质量图像集和高质量图像集。
[0020]优选的，所述模糊判别器中模糊运算的具体步骤如下：
[0021](1)两个输入图像m1和m2分别通过一个1
×
1卷积层以获得相同大小和尺寸的特征图；
[0022](2)两个特征图由sigmoid函数进行非线性激活；
[0023](3)两个激活的特征图进行模糊和运算，即取同一维度的较小值，最后得到模糊特征图f.
[0024]上述步骤可以表示为：
[0025]f＝Fuzzy And[σ(c(m1)),σ(c(m2))]；
[0026]其中c和σ分别表示卷积层和sigmoid函数；
[0027]让G
LQ
→
HQ
和G
HQ
→
LQ
分别表示高质量图像生成器和低质量图像生成器,FD
HQ
和FD
LQ
分别表示高质量模糊判别器和低质量模糊判别器，模糊判别器和生成器的损失函数可以表示为:L
adv1
＝E
x∈LQ
[logFD
LQ
(x)]+E
y∈HQ
[log(1
‑
FD
LQ
(G
HQ
→
LQ
(y)))]+E
y∈HQ
[logFD
HQ
(y)]+E
x∈LQ
[log(1
‑
FD
HQ
(G
LQ
→
HQ
(x)))]；
[0028]图像块判别器的具体结构它包括3个步长为2的4
×
4卷积层和2个步长为1的4
×
3卷积层，它基于图像块来区分真假，图像块大小设置为50
×
50.同样，图像块判别器和生成器之间的对抗损失可以表示为:
[0029]L
adv2
＝E
x∈LQ
[logD
LQ
(x)]+E
y∈HQ
[log(1
‑
D
LQ
(G
HQ
→
LQ
(y)))]+E
y∈HQ
[logD
HQ
(y)]+E
x∈LQ
[log(1
...

【技术保护点】

【技术特征摘要】
1.一种基于模糊自引导的结构保护生成对抗网络的方法，其特征在于，包括以下步骤：第一步：利用基于模糊自引导的结构保护生成对抗网络系统中的自引导的结构保护模块探索并保留输入图像的结构信息；第二步：基于光照分布校正模块校正增强图像的照度分布；第三步：基于模糊判别器在模糊域中区分输入图像和增强图像；第四步：采用循环一致性损失以及纹理保真度损失表示损失函数。2.根据权利要求1所述的一种基于模糊自引导的结构保护生成对抗网络的方法，其特征在于：基于模糊自引导的结构保护生成对抗网络系统包括两个生成器以及分别与两个生成器连接的模糊判别器，生成器由图像增强模块、自引导的结构保护模块和光照分布校正模块组成，自引导的结构保护模块负责探索医学图像中的神经纤维结构，并在解码期间按比例将特征图添加到主干网络中，光照分布校正模块通过使用低质量输入图像的先验注意图来校正主干网络输出图像的光照分布。使用两个具有相同体系结构的生成器，一个生成器的输出图像将被输入到另一个生成器，达到端到端的自学习。3.根据权利要求2所述的一种基于模糊自引导的结构保护生成对抗网络的方法，其特征在于：所述图像增强模块(IEM)以U
‑
Net为主干网络，U
‑
Net有八个编码层和八个解码层，编码层由残差卷积模块和最大池化层组成，解码层由上采样模块和残差卷积模型组成，编码层和解码层的残差卷积模块是相同的，包括两个堆叠卷积层+批次归一化层+LeakyReLU，其中输入和输出以残差的形式连接。上采样模块是双线性插值上采样层+3
×
3卷积层+批量归一化层+LeakyReLU+dropout层的串行结构。4.根据权利要求2所述的一种基于模糊自引导的结构保护生成对抗网络的方法，其特征在于：所述自引导的结构保护模块提取的图像结构信息将与U
‑
Net的编码特征和前一层的解码特征逐级串联，并注入图像增强模块的解码路径。5.根据权利要求2所述的一种基于模糊自引导的结构保护生成对抗网络的方法，其特征在于：所述自引导的结构保护模块用于探索和保留低质量输入图像的结构信息，并指导图像增强模块和光照分布校正模块重建医学图像，自引导的结构保护模块由两个结构相同的编码器
‑
解码器网络组成，编码器由预先训练好的Res
‑
Net
‑
34初始化；自引导的结构保护模块将原始输入和IEM输出压缩到深度语义空间中，然后限制它们之间的距离，使两个阶段的潜在特征表示接近，两个网络的编码特征分别表示为E
·1和E
·2，并且自引导损失函数可以表示为：其中LQ和HQ分别表示低质量图像集和高质量图像集。6.根据权利要求1所述的一种基于模糊自引导的结构保护生成对抗网络的方法，其特征在于：所述模糊判别器中模糊运算的具体步骤如下：(1)两个输入图像m1和m2分别通过一个1
×
1卷积层以获得相同大小和尺寸的特征图；(2)两个特征图由sigmoid函数进行非线性激活；(3)两个激活的特征图进行模糊和运算，即取同一维度的较小值，最后得到模糊特征图f.上述步骤可以表示为：
f＝FuzzyAnd[σ(c(m1)),σ(c(m2))]；其中c和σ分别表示卷积层和sigmoid函数；让G
LQ
→
HQ
和G
HQ
→
LQ
分别表示高质量图像生成器和低质量图像生成器,FD
HQ
和FD
LQ
分别表示高质量模糊判别器和低质量模糊判别器，模糊判别器和生成器的损失函数可以表示为:L
adv1
＝E
x∈LQ
[logFD
LQ
(x)]+E
y∈HQ
[log(1
‑
FD
LQ
(G
HQ
→
LQ
(y)))]+E
y∈HQ
[logFD
HQ
(y)]+E
x∈LQ
[log(1
‑
FD
HQ
(G
LQ
→
HQ
(x)))]；图像块判别器的具体结构包括3个步长为2的4
×
4卷积层和2个步长为1的4
×
3卷积层，它基于图像块来区分真假，图像块大小设置为50
×
50.同样，图像块判别器和生成器之间的对抗损失可以表示为:L
adv2
...

【专利技术属性】
技术研发人员：余玉丰，钟国金，
申请(专利权)人：广州大学，
类型：发明
国别省市：