【技术实现步骤摘要】
本专利技术属于医学图像融合，具体涉及一种全局与局部特征交互并行的多模态医学图像融合方法。
技术介绍
1、随着医学成像技术的进步，医学图像在临床诊断中发挥了不可替代的作用。由于成像原理的差异，不同模态的医学图像能表达人体内组织或器官的不同结构信息。例如，电子计算机断层扫描(ct)图像包含身体内部骨骼结构信息，但是缺乏软组织细节信息；而核磁共振成像(mri)图像能够反映高分辨率的软组织以及血液流动信息，但对骨骼结构展示不明显。由于单个模态的医学图像只能提供有限的信息，医生在诊断过程中需要查看不同模态的图像，增加了诊断难度，降低了效率。因此，需要将来自不同模态图像中重要的和互补的信息整合起来，生成一幅信息丰富的融合图像，可以克服单模态医学图像的局限性。多模态融合图像能够同时保留不同模态源图像的丰富特征，成为临床诊断和有效治疗的可靠依据。
2、目前，多模态医学图像融合方法分为传统方法和基于深度学习的方法两类。传统的图像融合方法在空间域或变换域执行活动水平测量，并手动设计融合规则来实现图像融合。基于空间域的方法直接在图像的原始像素空间进行融合，融合规则采用简单的加权平均法和主成分分析法(pca)。简单直观、融合速度快，但会产生光谱和空间失真。为了获得更好的融合效果，j.piao等人(2019)引入小波变换。将源图像从空间域转换到变换域得到不同频率的分量，再针对不同的分量设计融合规则，最后通过逆变换得到融合图像。尽管这种方法具有良好的结构和避免失真的优点，但融合过程中会产生噪声，丢失边缘和纹理信息。同时，传统方法没有关注到模态之
3、基于深度学习的图像融合方法具有强大的特征表征能力，能够实现自适应特征融合，克服了传统融合方法的缺陷。基于自编码器(ae)的融合方法是目前深度学习的主流方法之一。自编码器通常利用卷积神经网络(cnn)进行特征提取和重建，在中间层使用特定融合规则进行融合。如prabhakar等人(2017)提出的deepfuse，编码器解码器由5个卷积层构成，编码器从图像中获取特征后，执行相加融合策略，再将融合特征输入到解码器中得到最终的融合图像，但由于网络结构过于简单导致图像信息丢失。hui等人(2019)提出的densefuse引入了密集块，将每一层的输出与其它层直接级联，可以保存更多的信息，但由于使用相加和l1-norm的融合策略，无法适应多样化的多模态数据，导致融合图像中细节不明显，影响融合效果。hui li(2021)等人提出的rfn-nest中使用残差融合网络(rfn)取代了人工设计的融合策略，通过细节损失函数和特征增强损失函数训练融合网络，保留了更多的纹理细节和特征。但由于cnn结构较小的感受野，只能提取到图像的局部信息，导致全局信息丢失。
4、目前，在多模态医学图像融合中通常利用transformer解决cnn无法捕获全局信息的缺陷。qu l等人(2021)提出了transmef，一种联合cnn和transformer的自编码器网络，可以在特征提取过程中同时捕获局部和全局信息。而其融合规则使用平均法，导致在融合过程中图像的重要细节信息丢失，影响了融合模型的性能。jiayi ma等人(2022)为了实现特征信息的充分融合，提出了swinfusion，其融合规则设计为注意力引导的跨域融合，利用自注意机制和交叉注意机制分别实现域间和跨域融合。而zixiang zhao等人(2023)考虑到局部或全局特征融合的归纳偏置和编码器中的局部或全局特征提取相同，在cddfuse中融合模块使用对应编码器的基础网络单元实现局部或全局特征融合。但由于cnn和transformer的输出表示不同，特征提取过程中无法实现不同分支之间的信息交互，造成了全局和局部信息的丢失。在图像去噪领域，jiale zhang等人(2023)提出了一种具有特征交互的双分支transformer，通过利用双向连接单元实现空间信息和通道信息的交互，从不同维度增强transformer全局信息建模。但是其无法捕获图像的局部信息。
技术实现思路
1、针对目前多模态医学图像融合方法中存在的transformer对局部特征提取能力不足、特征提取过程中纹理、边缘信息丢失的问题，本专利技术提供了一种全局与局部特征交互并行的多模态医学图像融合方法。
2、本专利技术以256×256×1的ct图像和256×256×1的mri图像的融合为例，介绍基于全局局部特征交互并行transforemr的多模态医学图像融合方法。不同模态的图像经过由convstem和全局局部特征交互并行transformer组成的encoder模块进行特征提取后，得到不同模态对应的全局深层特征和局部深层特征。并由fusion模块实现不同模态的全局深层特征融合和局部深层特征融合，在decoder模块中将融合特征重建到原始图像大小，得到最终融合结果。本专利技术通过重建原始输入图像来训练encoder模块和decoder模块的网络参数，损失函数使用图像重建损失和梯度损失。且fusion模块仅在测试阶段保留，在训练阶段移除。
3、总体架构如图1所示，融合方法的整体流程如图2所示。
4、为了达到上述目的，本专利技术采用了下列技术方案：
5、步骤1：将不同模态的图像分别经过由convstem和全局局部特征交互并行transformer组成的encoder模块提取特征，得到相应模态的全局深层特征xct、xmri和局部深层特征yct、ymri；
6、encoder模块由convstem和全局局部特征交互并行transformer组成，其中，convstem提取图像的浅层特征，全局局部特征交互并行transformer提取全局和局部深层特征，全局深层特征提取由global transformer block实现，局部深层特征提取由localtransformer block实现，为了在特征提取过程中避免全局和局部信息的丢失，在特征提取过程中加入全局局部特征交互模块，根据全局深层特征提取分支和局部深层特征提取分支之间的特征相关性来增强全局信息和局部信息；
7、步骤1.1：采用由4层卷积组成的convstem提取图像的浅层特征；
8、步骤1.2：采用global transformer block模块提取全局深层特征，globaltransformer block结构如图3(左)所示；具体步骤为：
9、步骤1.2.1：将特征图x∈rh×w×c输入到global transformer block中，对其进行层归一化；
10、步骤1.2.2：利用全局多头注意机制根据特征不同位置之间的自注意关系计算权重，捕捉输入特征之间的关系；
11、步骤1.2.3：将得到的特征进行层归一化后，送入前馈神经网络(ffn)中进行非线性变换和特征映射，提高模型的表达力和非线性拟合本文档来自技高网...
【技术保护点】
1.一种全局与局部特征交互并行的多模态医学图像融合方法，其特征在于：具体步骤为：
2.根据权利要求1所述的一种全局与局部特征交互并行的多模态医学图像融合方法，其特征在于：步骤1将不同模态的图像分别经过由ConvStem和全局局部特征交互并行Transformer组成的Encoder模块提取特征，得到相应模态的全局深层特征XCT、XMRI和局部深层特征YCT、YMRI的具体方法包括以下步骤：
3.根据权利要求2所述的一种全局与局部特征交互并行的多模态医学图像融合方法，其特征在于：步骤1.2采用Global Transformer Block模块作为全局深层特征提取分支提取全局深层特征的具体方法包括以下步骤：
4.根据权利要求2所述的一种全局与局部特征交互并行的多模态医学图像融合方法，其特征在于：步骤1.3采用Local Transformer Block模块作为局部深层特征提取分支提取局部深层特征，其使用与Glocal Transformer Block相同的Transformer编码器结构，不同的是Local Transformer Block
5.根据权利要求2所述的一种全局与局部特征交互并行的多模态医学图像融合方法，其特征在于：步骤1.4采用全局局部特征交互模块捕获全局和局部深层特征提取分支之间的特征相关性的具体方法包括以下步骤：
6.根据权利要求1所述的一种全局与局部特征交互并行的多模态医学图像融合方法，其特征在于：步骤2中Fusion模块使用统一的融合规则将不同模态的全局深层特征和局部深层特征融合后输入Decoder模块；在Decoder模块中，融合特征经过上采样、合并通道数，恢复为原始图像尺寸，得到融合图像IFusion的具体方法包括以下步骤：
7.根据权利要求1所述的一种全局与局部特征交互并行的多模态医学图像融合方法，其特征在于：步骤3训练Encoder-Decoder模块的具体方法包括以下步骤：
8.根据权利要求1所述的一种全局与局部特征交互并行的多模态医学图像融合方法，其特征在于：步骤4测试全局与局部特征交互并行的多模态医学图像融合网络具体方法包括以下步骤：
...【技术特征摘要】
1.一种全局与局部特征交互并行的多模态医学图像融合方法，其特征在于：具体步骤为：
2.根据权利要求1所述的一种全局与局部特征交互并行的多模态医学图像融合方法，其特征在于：步骤1将不同模态的图像分别经过由convstem和全局局部特征交互并行transformer组成的encoder模块提取特征，得到相应模态的全局深层特征xct、xmri和局部深层特征yct、ymri的具体方法包括以下步骤：
3.根据权利要求2所述的一种全局与局部特征交互并行的多模态医学图像融合方法，其特征在于：步骤1.2采用global transformer block模块作为全局深层特征提取分支提取全局深层特征的具体方法包括以下步骤：
4.根据权利要求2所述的一种全局与局部特征交互并行的多模态医学图像融合方法，其特征在于：步骤1.3采用local transformer block模块作为局部深层特征提取分支提取局部深层特征，其使用与glocal transformer block相同的transformer编码器结构，不同的是local transformer blo...
【专利技术属性】
技术研发人员：王丽芳，韩强，王晋光，靳凯欣，郭威，
申请(专利权)人：中北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。