【技术实现步骤摘要】
本专利技术属于医学图像处理，具体涉及基于扩张卷积与注意力gcn的多模态医学图像融合。
技术介绍
1、图像融合是图像处理的一项重要技术，旨在提取不同图像中的互补信息和重要信息，并将其融合为信息完整的单幅图像。图像融合技术能够融合多幅图像，以填补原始图像缺失的信息，增强原始图像的纹理细节信息，从而更好地展示图像的内容。目前图像融合广泛应用于军事和民用领域。
2、医学图像融合在临床医学的应用上发挥着至关重要的作用，医学图像融合可以划分为单模态融合和多模态融合，但单模态融合图像对人体组织表征具有一定的局限性。单一模态图像仅在特定方面提供了单一类型的信息，如计算机断层扫描(ct)提供了详细的骨骼结构信息，并且具有较高分辨率，但其软组织对比度较低；核磁共振成像(mri)对软组织细节表征清晰，但对骨骼结构信息表征不完整，其分辨率也较低。而多模态医学图像融合能够将来自多个模态图像的重要信息和互补信息整合到一张具有丰富信息的图像上，以帮助医生诊断和治疗。
3、现有的多模态医学图像融合方法分为传统的融合方法和基于深度学习的融合方法。传统的融合方法存在融合质量不佳和计算复杂的问题，如基于空间域的方法会带来空间畸变和光谱畸变的问题；基于变换域的方法存在参数过多，参数设置复杂的问题。基于深度学习的融合方法具有强大的特征提取能力和数据表达能力，在特征提取中发挥着不同作用。其中，卷积神经网络通过其内部卷积核的局部感受野，能够充分提取局部重要信息，如xu等人提出基于卷积的u2fusion方法，与li等人提出的基于cnn的多模态医学监督融
4、图神经网络(graph neural networks，gnn)作为深度学习中另一个重要分支，相比于传统的神经网络模型，gnn通过迭代更新每个节点的表示向量，实现节点之间的信息传递和聚合，可以将节点的特征信息与邻居节点的特征信息结合，学习包含更多语义信息的特征表示，但在多模态医学图像融合过程中，会出现纹理、边缘等低级特征丢失的问题。
5、现有的基于深度学习的多模态医学图像融合方法具有强大的特征提取能力和数据表达能力，而图神经网络(gnn)作为深度学习中一个重要分支，其通过将节点的特征信息与邻居节点的特征信息结合，学习包含更多语义信息的特征，具有强大的非结构化数据语义信息表示能力。如lin等人提出基于多尺度的语义图卷积神经网络ml-sgnn，与chen等人提出的领域卷积网络ncn，均从图数据中捕获了邻居上下文信息和节点信息，提取到丰富的语义信息；但是上述方法均容易丢失低级特征，如纹理细节等。为了充分保留纹理细节和结构信息，duan等人使用cnn和gnn双分支架构，提出了图注意卷积神经网络(gacnn)，但其存在特征信息提取不完整的问题；而yu等人提出双分支深层gcn(tbdgcn)，采用cnn和gcn提取了多层次上下文完整的特征信息，但其对深层特征即高级语义信息的提取不足。
技术实现思路
1、针对多模态医学图像融合方法中存在着高级语义信息提取不足和低级特征容易丢失的问题，本专利技术提出基于扩张卷积与注意力gcn的多模态医学图像融合。
2、以256×256×1的ct图像和256×256×1的mri图像的融合为例，介绍本专利技术提出的基于扩张卷积与注意力gcn的多模态医学图像融合。具体包括基于扩张卷积与注意力gcn的多模态医学图像融合以及其内部的基于扩张卷积的低级cnn编码器、基于注意力的高级gcn编码器、基于conv-soft的多模态融合网络和解码器的详细结构。其中，基于扩张卷积与注意力gcn的多模态医学图像融合由编码器，融合模块和解码器三部分组成，网络架构如图1所示。
3、为了达到上述目的，本专利技术采用了下列技术方案：
4、步骤1：在编码器中使用基于扩张卷积的低级cnn编码器和基于注意力的高级gcn编码器提取特征，以ct和mri图像为例，将ct和mri分别输入到双分支编码器中；
5、进一步地，所述步骤1的具体过程如下：
6、步骤1.1：基于扩张卷积的低级cnn编码器中，使用多尺度模块提取不同尺度和感受野的纹理细节低级特征，将其卷积块中产生的特征图x送入高级gcn编码器中；其中，基于扩张卷积的低级cnn编码器从不同的尺度和感受野提取了图像的纹理、边缘等低级特征，整个分支由三层卷积块和多尺度模块构成。
7、步骤1.1.1：首先使用卷积块1和卷积块2提取浅层特征，如图4中的卷积块1和卷积块2所示，卷积块1由1*1卷积和relu函数构成，卷积块2由stride＝2，kenerl size＝3*3，padding＝1的卷积，批量归一和relu函数构成，经过两层的卷积块后得到浅层特征
8、步骤1.1.2：在多尺度模块中采用扩张卷积结构，该结构以不同的卷积核扩张感受野，提高了提取多尺度特征的能力，同时缓解了传统下采样会出现图像局部信息和精细细节丢失的问题。如图2中多尺度模块所示，采用三个具有不同卷积核的平行路径，依次是1*1，3*3，5*5卷积块，增强了cnn网络对多尺度信息的提取能力，多尺度模块中的卷积块由batchnorm，两层的k*k卷积和relu函数构成，同时在两层k*k卷积之间添加了kenerl size＝3*3，stride＝1，padding＝1的平均池化层，用于减少冗余信息，同时保持图像大小不变，如图2中k*k卷积块所示。经过多尺度模块后得到不同尺度和感受野的低级特征，将特征按通道连接送入卷积块3中，其结构与卷积块2相同，最终得到低级特征
9、步骤1.2：基于注意力的高级gcn编码器中，对图像进行分割并结合其特征图x进行节点初始化用以构建图结构；使用自注意力强调由图卷积局部聚合后的显著性节点特征，使用多头注意力基于显著性特征学习节点的全局结构信息，通过结合结构编码构建新的邻接矩阵表示节点的全局特征，由图卷积聚合得到高级特征；其中，基于注意力的高级gcn编码器充分学习图结构，捕获高级语义信息。整个分支分为三个部分：图构建模块，基于自注意力的局部模块和基于多头注意力的全局模块，其内部结构如图3所示。
10、步骤1.2.1：在图构建模块中，将构建图结构划分为图像分割阶段和节点初始化阶段，如图4所示。
11、步骤1.2.1.1：图像分割阶段，将图像平均分割为多个图像块，以减少计算复杂度，将本文档来自技高网...
【技术保护点】
1.基于扩张卷积与注意力GCN的多模态医学图像融合，其特征在于：包括以下步骤：基于扩张卷积与注意力GCN的多模态医学图像融合实现方法包括编码器、融合模块和解码器三部分，具体步骤为：
2.根据权利要求1所述的基于扩张卷积与注意力GCN的多模态医学图像融合，其特征在于：所述步骤1的具体过程如下：
3.根据权利要求1所述的基于扩张卷积与注意力GCN的多模态医学图像融合，其特征在于：所述步骤2的具体过程如下：
4.根据权利要求1所述的基于扩张卷积与注意力GCN的多模态医学图像融合，其特征在于：所述步骤3的具体过程如下：
【技术特征摘要】
1.基于扩张卷积与注意力gcn的多模态医学图像融合，其特征在于：包括以下步骤：基于扩张卷积与注意力gcn的多模态医学图像融合实现方法包括编码器、融合模块和解码器三部分，具体步骤为：
2.根据权利要求1所述的基于扩张卷积与注意力gcn的多模态医学图像融合，其特征在于...
【专利技术属性】
技术研发人员：王晋光，靳凯欣，王丽芳，郭威，韩强，
申请(专利权)人：中北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。