一种基于语义引导网络的医学图像融合系统技术方案

本发明专利技术公开了一种基于语义引导网络的医学图像融合系统，用于执行医学图像融合任务。通过边缘增强模块和对应的边缘损失函数，使融合结果的边缘纹理更加清晰。区域掩膜模块可以对原图像划分不同的区域来着重提取特征，同时全局细化模块可以优化融合结果的整体视觉效果。此外，通过语义损失函数来传递更多的语义信息，以提高融合图像的质量。本系统可以在视觉感知中生成生动的融合结果，也同时保证了量化指标。因此，本方法有助于医学图像融合的发展。展。展。

【技术实现步骤摘要】
一种基于语义引导网络的医学图像融合系统


[0001]本专利技术涉及图像融合
，具体涉及一种基于语义引导网络的医学图像融合系统。

技术介绍

[0002]在医学图像的发展中，多模态医学成像已经广泛的应用于临床诊断、医学研究和外科导航。由于成像技术的不同，不同医学图像凸显出的信息也各不相同，其大致可以分为两类：结构医学图像和功能医学图像。例如，磁共振MRI图像作为一种典型的结构医学图像，可以突出软组织信息；计算机断层扫描CT图像可以以高分辨率清晰地提供结构轮廓和脑解剖信息；但是，结构医学图像对人体代谢中的功能信息不敏感。在功能医学图像领域中，正电子发射断层扫描PET图像发挥着重要的作用，它可以表征脑组织中的代谢、血流和一些肿瘤信息。此外，单光子发射计算机断层扫描SPECT图像可以突出组织损伤和器官信息。尽管如此，功能医学图像仍然存在分辨率低的缺点，无法准确显示结构信息。
[0003]基于深度学习和传统的融合方法被广泛应用于现有多模态图像融合方法中，他们的共同目标是从不同的单源图像中提取实际特征，并通过设计的融合策略或网络模型生成融合图像。在大多数传统方法中，通常采用基于空间域和变换域变换的融合规则，其通过变换特定区域然后将它们一起重建来生成新的融合图像。然而这些方法中，手工计算复杂的融合策略是不可避免的，这使得融合过程效率降低。此外，通过使用相同的分解操作来处理不同模态的源图像，融合结果可能出现糟糕的伪影。
[0004]近年来，为了改善传统方法缺点，研究者们引入了基于深度学习方法来执行多模态图像融合任务。他们使用端到端的模型来避免手工设计的融合规则复杂性。此外，架构中的不同模块可以从多个单模态图像中正确提取其独特的特征。但是，仍然存在一定的局限性：(1)在多模态融合任务中，语义信息常常被忽略，因此会出现一些光晕从而降低生成结果的质量；(2)现有一些基于深度学习的方法为了提高融合图像质量而增加了网络规模，这导致了大量的冗余计算并使运行时间过长。(3)由于每个源图像中突出特征的不同，因此在融合图像中实现某些纹理细节的表现是不容易的。

技术实现思路

[0005]本专利技术的目的在于，提供一种基于语义引导网络的医学图像融合系统，其能够减少边缘伪影的出现并获得真实的融合结果，节约了融合时间。
[0006]为实现上述目的，本申请提出一种基于语义引导网络的医学图像融合系统，包括：
[0007]边缘增强模块，使用两个具有密集连接模式的3
×
3卷积和一个1
×
1卷积从源图像中提取浅层特征图ε
Conv
；通过新的梯度滤波器来学习梯度信息ε
G
；然后根据元素加法合并浅层特征图ε
Conv
和梯度信息ε
G
得到最终边缘增强特征ε
f
；
[0008]区域掩膜模块，通过一个区域掩码生成器RMG和多个区域掩码卷积RMC来学习和优化边缘增强特征ε
f
，以得到特征
[0009]全局细化模块，把所述特征导入到两个3
×
3卷积，以获得全局掩码优化特征然后，将来自MRI分支的边缘增强特征ε
f
与全局掩码优化特征相关联；最后通过元素加法来整合特征ε
f
与以生成全局的细化信息，并使用两个1
×
1卷积来消除信道维度的差异；该模块细化过程量化为：
[0010][0011]其中，
⊙
表示连接操作。
[0012]进一步的，所述新的梯度滤波器分别在水平方向和垂直方向部署具有Sobel算子的3
×
3卷积来得到水平梯度信息ε
G
，梯度信息ε
G
被输入到1
×
1卷积中，以消除信道维度的差异。
[0013]进一步的，在区域掩膜模块中，所述边缘增强特征ε
f
首先被馈送到具有LReLU层和平均池化层的3
×
3卷积中，在所述LReLU层通过另一个3
×
3卷积进行修改后，将提取的特征映射输入到转置卷积中，以获得上采样特征
[0014]进一步的，所述区域掩膜模块为了实现空间掩码自调节，其通过Gumbel softmax分布来估计一个One
‑
hot分布，具体为：
[0015][0016]其中，g和w表示垂直和水平方向上的因子；G
sp
是Gumbel softmax中的中间噪声张量，且所有元素都服从Gumbel分布；当超参数θ趋于无穷时，特征图能执行均匀分布；当超参数θ趋于0时，将会出现One
‑
hot分布。
[0017]进一步的，所述区域掩膜模块为了通过信道掩码M
c
标记“冗余”区域，在馈送Gumbel softmax之前将边缘增强特征ε
f
在高斯分布上随机转换成采样特征其中M
c
定义为：
[0018][0019]其中c为通道数，G
c
为中间噪声张量。
[0020]进一步的，在训练阶段，使用空间和信道掩码分别标记区域掩码生成器RMG中的“重要”和“冗余”区域；在测试阶段，引入了Argmax层替代Gumbel softmax以获得空间掩码和通道掩码，得到经掩码优化后的特征
[0021]更进一步的，使用跳跃连接将CT/PET/SPECT分支上的边缘增强模块与全局细化模块后面的3
×
3卷积连接起来。
[0022]更进一步的，通过损失函数来训练医学图像融合系统，所述损失函数包括边缘损失函数L
E
、结构相似性损失函数L
SSIM
和语义损失；故总损失函数L
total
定义为：
[0023]L
total
＝L
E
+αL
SSIM
+βL
S
[0024]其中α和β是平衡L
total
的超参数；
[0025]在训练阶段，所述边缘损失函数分为两部分：
[0026]L
E
＝L
c
+γL
g
[0027]其中，L
c
和L
g
分别代表内容和梯度损失；γ是控制L
g
大小的超参数；在内容损失L
c
中，使用L1范数来测量生成的输出图像与源图像之间差异；所述L
c
定义为：
[0028][0029]其中，H
F
和W
F
表示I
F
的高度和宽度；max(*)和||*||1分别表示最大选择策略和L1范数；I
F
是融合图像，I
A
,I
B
是源图像。
[0030]更进一步的，通过梯度损失来测量像素域中的梯度值，具体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义引导网络的医学图像融合系统，其特征在于，包括：边缘增强模块，使用两个具有密集连接模式的3
×
3卷积和一个1
×
1卷积从源图像中提取浅层特征图ε
Conv
；通过新的梯度滤波器来学习梯度信息ε
G
；然后根据元素加法合并浅层特征图ε
Conv
和梯度信息ε
G
得到最终边缘增强特征ε
f
；区域掩膜模块，通过一个区域掩码生成器RMG和多个区域掩码卷积RMC来学习和优化边缘增强特征ε
f
，以得到特征全局细化模块，把所述特征导入到两个3
×
3卷积，以获得全局掩码优化特征然后，将来自MRI分支的边缘增强特征ε
f
与全局掩码优化特征相关联；最后通过元素加法来整合特征ε
f
与以生成全局的细化信息，并使用两个1
×
1卷积来消除信道维度的差异；该模块细化过程量化为：其中，
⊙
表示连接操作。2.根据权利要求1所述一种基于语义引导网络的医学图像融合系统，其特征在于，所述新的梯度滤波器分别在水平方向和垂直方向部署具有Sobel算子的3
×
3卷积来得到水平梯度信息ε
G
，所述梯度信息ε
G
被输入到1
×
1卷积中。3.根据权利要求1所述一种基于语义引导网络的医学图像融合系统，其特征在于，在区域掩膜模块中，所述边缘增强特征ε
f
首先被馈送到具有LReLU层和平均池化层的3
×
3卷积中，在所述LReLU层通过另一个3
×
3卷积进行修改后，将提取的特征映射输入到转置卷积中，以获得上采样特征4.根据权利要求3所述一种基于语义引导网络的医学图像融合系统，其特征在于，所述区域掩膜模块为了实现空间掩码自调节，其通过Gumbel softmax分布来估计一个One
‑
hot分布，具体为：其中，h和w表示垂直和水平方向上的因子；G
sp
是Gumbel softmax中的中间噪声张量，且所有元素都服从Gumbel分布；当超参数θ趋于无穷时，特征图能执行均匀分布；当超参数θ趋于0时，将会出现One
‑
hot分布。5.根据权利要求4所述一种基于语义引导网络的医学图像融合系统，其特征在于，所述区域掩膜模块为了通过信道掩码M
c
标记“冗余”区域，在馈送Gumbel softmax之前将边缘增强特征ε
f
在高斯分布上随机转换成采样特征其中M
c
定义为：其中c为通道数，G
c
为中间噪声张量。
6.根据权利要求1所述一种基于语义引导网络的医学图像融合系统，其特征在于，在训练阶段，使用空间和信道掩码分别标记区域掩码生成器RMG中的“重要”和“冗余”区域；在测试阶段，引入了Argmax层替代Gumbel softmax以获得空间掩码和通道掩码，得到经掩码优化后的特征7.根据权利...

【专利技术属性】
技术研发人员：周士华，李嘉伟，李萍，
申请(专利权)人：大连大学，
类型：发明
国别省市：