【技术实现步骤摘要】
本专利技术属于医学影像处理，具体涉及一种基于显著信息增强的多模态医学图像融合方法。
技术介绍
1、医学图像技术可以提高诊断的准确性和效率，已成为当今医疗保健系统不可或缺的一部分。不同类型的医学图像包含不同的图像信息。例如，正电子发射断层扫描pet可以提供组织和器官中血流、代谢甚至某些癌细胞活动的信息，磁共振成像mri对高密度骨组织和软组织的鉴别能力更强，通常提供结构和解剖信息。这些不同设备获取的图像包含了大量的互补信息，能够有效结合多种图像信息的图像融合技术变得越来越重要。而pet-mri的融合，可以捕捉到解剖信息和病变信息，大大提高了临床诊断决策和诊断准确性，已成为辅助医生诊断和治疗的重要工具。
2、目前基于深度学习的图像融合网络成为了医学图像融合领域主流的方法，该方法需先将输入的彩色pet图像转换为灰度图像。该方法中特征提取有两种主流的方法：第一种将灰度pet图像与mri图像输入到特征提取网络，提取图像的特征信息后，将特征信息融合；第二种是直接将灰度pet图像与mri图像进行通道拼接即图像融合，再进行特征提取，最后通过特征重建模块重构出融合图像。然而这两种方法中所涉及的特征提取都是直接融合图像或特征，这不可避免地丢失了一部分图像信息，存在纹理或亮度信息丢失现象，导致最终融合效果不佳。
技术实现思路
1、本专利技术的目的在于提供一种基于显著信息增强的多模态医学图像融合方法，用以解决采用现有技术中方法由于丢失部分图像信息导致图像融合效果不佳的问题。
2、为解
3、1)构建并训练图像融合网络，所述图像融合网络包括浅层特征提取模块、特征重构模块和若干个依次连接的深层特征提取交互网络；浅层特征提取模块用于分别提取输入的医学图像对的浅层特征，并输入至第一个深层特征提取交互网络；每个深层特征提取交互网络均包括依次连接的注意力增强模块、特征交互模块和深层特征提取模块，注意力增强模块用于对输入的两个特征分别进行显著信息增强，特征交互模块用于融合显著信息增强后的两个特征彼此特有信息得到两个融合特征，深层特征提取模块用于根据两个融合特征分别进行深层特征提取；特征重构模块用于将最后一个深层特征提取模块输出的结果进行融合，并将融合结果还原为融合图像；
4、2)将已配准的医学图像对输入至训练后的图像融合网络得到融合图像。
5、上述技术方案的有益效果为：本专利技术所使用的图像融合网络，设计有浅层特征提取模块和深层特征提取交互网络，深层特征提取网络可以有多层，每层又包括有注意力增强模块、特征交互模块和深层特征提取模块，通过浅层特征提取模块和深层特征提取模块可以提取输入图像的细节和全局信息，通过注意力增强模块可以增强图像的显著信息，通过特征交互模块可以实现图像特征的多阶段融合，从而保留原始图像在不同特征提取阶段的显著特征，使得利用该图像融合网络得到的融合图像能够兼顾细节和全局信息，以及不同特征提取阶段的显著信息，从而构建出更为清晰和完整的融合图像，提高融合效果。
6、进一步地，所述深层特征提取模块为改进的transformer单元，所述改进的transformer单元包括2个层归一化、1个自注意力层和1个全连接层，其计算过程为：
7、fea_p3＝mlp(ln(att(ln(fus_p1))))
8、fea_m3＝mlp(ln(att(ln(fus_m1))))
9、其中，fea_p3和fea_m3表示改进的transformer单元的两个输出特征；fus_p1和fus_m1表示改进的transformer单元的两个输入特征，即所述两个融合特征；mlp()表示全连接层，ln()表示归一化层，att()表示自注意力层。
10、上述技术方案的有益效果为：此处使用改进的transformer单元进行深度特征提取，改进的自注意力层使用输入特征代替原自注意力层的query和key，可以保证图像细节和语义信息的获取，并为特征提取注入了全局依赖性。
11、进一步地，所述注意力增强模块包括1个通道自注意力和1个空间自注意力，通道自注意力用于对输入特征进行通道自注意力增强处理，空间自注意力用于对通道自注意力的输出进行空间自注意力增强处理。
12、上述技术方案的有益效果为：从通道自注意力和空间自注意力两方面去实现注意力增强，使得图像融合网络可以自适应地注意更为重要的信息，达到显著信息增强的目的。
13、进一步地，所述通道自注意力的计算过程为：
14、fea_cha_p1＝sig(con_cha(cat(conv(mp(fea_p1)),conv(ap(fea_p1)))))·fea_p1
15、fea_cha_m1＝sig(con_cha(cat(conv(mp(fea_m1)),conv(ap(fea_m1)))))·fea_m1其中，fea_p1和fea_m1表示注意力增强模块的两个输入特征；mp()表示最大池化，ap()表示平均池化；conv()表示卷积；cat()表示通道拼接；con_cha()表示通道卷积；sig()表示非线性激活处理；fea_cha_p1和fea_cha_m1表示两个通道注意力增强的特征；·表示数量积。
16、上述技术方案的有益效果为：通过平均池化操作、最大池化操作、卷积、通道拼接、通道卷积和非线性激活处理，实现通道注意力的有效增强。
17、进一步地，所述空间自注意力的计算过程为：
18、fea_p2＝sig(con_spa(cat(mp(fea_cha_p1),ap(fea_cha_p1))))·fea_cha_p1
19、fea_m2＝sig(con_spa(cat(mp(fea_cha_m1),ap(fea_cha_m1))))·fea_cha_m1其中，fea_p2和fea_m2表示注意力增强模块的两个输出特征；fea_cha_p1和fea_cha_m1表示两个通道注意力增强的特征；mp()表示最大池化，ap()表示平均池化；cat()表示通道拼接；con_spa()表示空间卷积；sig()表示非线性激活处理；·表示数量积。
20、上述技术方案的有益效果为：通过平均池化操作、最大池化操作、通道拼接、空间卷积和非线性激活处理，实现通道注意力增强的基础上空间注意力的有效增强。
21、进一步地，所述特征交互模块的计算过程为：
22、fus_p1＝sig(fea_m2-fea_p2)·(fea_m2-fea_p2)+fea_p2
23、fus_m1＝sig(fea_p2-fea_m2)·(fea_p2-fea_m2)+fea_m2
24、其中，fus_p1和fus_m1表示特征交互模块的两个输出，即所述两个融合特征；fea_p2和fea_m2表示注意力增强模块的两个输出特征本文档来自技高网...
【技术保护点】
1.一种基于显著信息增强的多模态医学图像融合方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，所述深层特征提取模块为改进的Transformer单元，所述改进的Transformer单元包括2个层归一化、1个自注意力层和1个全连接层，其计算过程为：
3.根据权利要求1所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，所述注意力增强模块包括1个通道自注意力和1个空间自注意力，通道自注意力用于对输入特征进行通道自注意力增强处理，空间自注意力用于对通道自注意力的输出进行空间自注意力增强处理。
4.根据权利要求3所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，所述通道自注意力的计算过程为：
5.根据权利要求3所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，所述空间自注意力的计算过程为：
6.根据权利要求1所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，所述特征交互模块的计算过程为：
7.根据权利要求1所述的基于
8.根据权利要求7所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，已配准的医学图像对中的一幅医学图像为PET图像，则根据灰度融合结果得到最终的融合图像的手段为：提取PET图像中的颜色通道信息，将提取的颜色通道信息直接赋予所述灰度融合结果从而得到最终的融合图像。
9.根据权利要求1～8任一项所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，训练图像融合网络的过程中利用损失函数计算损失时，将图像划分为不重叠的小块，比较原图像在每个小块上的方差，并选择方差较大的原图像作为目标与融合图像进行损失函数计算。
10.根据权利要求9所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，所使用的损失函数包括结构相似损失和梯度损失。
...【技术特征摘要】
1.一种基于显著信息增强的多模态医学图像融合方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，所述深层特征提取模块为改进的transformer单元，所述改进的transformer单元包括2个层归一化、1个自注意力层和1个全连接层，其计算过程为：
3.根据权利要求1所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，所述注意力增强模块包括1个通道自注意力和1个空间自注意力，通道自注意力用于对输入特征进行通道自注意力增强处理，空间自注意力用于对通道自注意力的输出进行空间自注意力增强处理。
4.根据权利要求3所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，所述通道自注意力的计算过程为：
5.根据权利要求3所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，所述空间自注意力的计算过程为：
6.根据权利要求1所述的基于显著信息增强的多模态医学图像融合方法，其特征在于，所述特征交互模块的计算过程为：
7.根据权...
【专利技术属性】
技术研发人员：樊超，陈志翔，陈佳奇，杨铁军，张自豪，王爱民，王晓，祝振通，轩智慧，朱心茹，彭彬铖，
申请(专利权)人：河南工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。