【技术实现步骤摘要】
本专利技术属于模式识别、人工智能领域，具体涉及基于功能-解剖transformer的多模态医学图像融合方法及系统。
技术介绍
1、图像融合是计算机视觉领域一个长期存在且具有挑战性的课题，在智慧医疗、辅助诊断、目标检测、识别等领域有着广泛的应用。由于成像技术的差异和局限性，单模态图像很难显示全面的信息。具体来说，spect图像提供了与新陈代谢相关的信息，从spect中可以观察到异常病变，但是软组织结构不清晰；而mri图像则展示了丰富的软组织信息。多模态医学图像融合是通过计算机技术整合不同医学模态的互补信息，摒弃冗余信息，生成一幅同时具有显著病灶和清晰软组织结构的信息丰富的合成图像。多模态医学图像因其在医学影像诊断的应用价值而受到越来越多的关注。然而，现有的深度融合模型大多没有充分考虑不同模态的迥异特征，导致信息丢失。
技术实现思路
1、本专利技术的目的是要解决多模态医学图像差异大，尤其信息提取困难，模态特征迥异的问题，为此，本专利技术提供一种基于功能-解剖transformer的多模态医学图像融合方法及计算系统。
2、为了实现所述目的，本专利技术提出的基于功能-解剖transformer的多模态医学图像融合方法，包括以下步骤：
3、基于功能-解剖transformer的多模态医学图像融合方法，其特征在于，包括如下步骤：
4、步骤1，对单光子发射计算机断层成像图像spect进行rgb-yuv颜色空间转换，得到y，u和v三个分量，y代表亮度，u代表色调
5、步骤2，基于卷积神经网络和transformer，构建多模态医学图像融合模型，其输入为spect图像的y分量和磁共振成像mri，输出为融合图像的y分量；
6、步骤3，构建损失函数，用于优化融合模型；
7、步骤4，利用训练好的融合模型提取源图像的互补特征，摒弃冗余特征，再通过yuv-rgb颜色空间转换，得到融合结果。
8、进一步的，所述融合模型包括多尺度特征提取模块和特征重构模块，所述多尺度特征提取模块包括两个分支，一条由n个特征提取模块和n个解剖引导的transformer模块组成的解剖多尺度分支，用于提取mri图像中的多尺度功能特征，即软组织结构信息；一条由n个特征提取模块和n个功能引导的transformer模块组成的功能多尺度分支，用于提取spect图像中的多尺度解剖特征，即新陈代谢特征；
9、整合并重构提取的多尺度功能特征和多尺度解剖特征，得到整合后的多尺度功能特征和多尺度解剖特征；
10、所述特征重构模块包括解剖引导的transformer模块、和功能引导的transformer模块；
11、利用功能引导的transformer模块和解剖引导的transformer模块交互整合后的多尺度功能特征和多尺度解剖特征，最后再拼接并通卷积模块输出融合图像；
12、进一步的，n个特征提取模块均由一个卷积层、一个批归一化层和一个非线性层relu组成。
13、进一步的，所述功能引导的transformer模块的具体处理过程如下：
14、功能引导的transformer模块由两个通道注意力模块、两个transformer模块和卷积层组成，将整合后的多尺度功能特征输入通道注意力模块提取重要的功能信息；将提取到的重要功能信息和整合后的多尺度解剖特征在通道维度上进行拼接；将拼接后的特征顺序输入一个由1×1卷积层、批归一化层和非线性层relu组成的卷积层整合特征并降低维度；将整合后的特征输入一个通道注意力模块提取重要的互补特征；再顺序输入两个transformer模块提取全局特征。
15、进一步的，所述解剖引导的transformer模块的具体处理过程如下：
16、解剖引导的transformer模块由两个通道注意力模块、两个transformer模块和卷积层组成；将整合后的多尺度解剖特征输入通道注意力模块提取重要的解剖信息；将提取到的重要解剖信息和整合后的多尺度功能特征在通道维度上进行拼接；将拼接后的特征顺序输入一个由1×1卷积层、批归一化层和非线性层relu组成的卷积层整合特征并降低维度；将整合后的特征输入一个通道注意力模块提取重要的互补特征；再顺序输入两个transformer模块提取全局特征。
17、进一步的，所述通道注意力模块的具体处理过程如下：
18、将输入特征顺序输入全局平均池化层、1×1卷积层、非线性层relu、1×1卷积层和非线性层sigmoid提取特征；将提取到的特征和输入特征相乘，得到输出特征。
19、进一步的，所述transformer模块的具体处理过程如下：
20、transformer模块由两个跳跃连接顺序组成；第一个跳跃连接由一个层归一化和多头自注意力组成；第二个跳跃连接由一个层归一化和多层感知组成。
21、进一步的，获取整合后的多尺度功能特征和多尺度解剖特征的具体实现方式为；
22、将提取到的多尺度解剖特征在通道维度上拼接，并输入一个1×1卷积层、批归一化层和非线性层relu组成的卷积层整合特征并降低维度；
23、将提取到的多尺度功能特征在通道维度上拼接，并输入一个1×1卷积层、批归一化层和非线性层relu组成的卷积层整合特征并降低维度；
24、卷积模块由1×1卷积层和非线性层sigmoid组成。
25、进一步的，损失函数包括像素损失和梯度损失；
26、像素损失lp表示为：
27、
28、其中，和分别用于约束融合图像与功能图像展现相似的像素信息和融合图像与结构图像展现相似的像素信息，表示查尔邦尼尔惩罚函数，表示为：
29、
30、其中，y为fun或ana，ε为惩罚系数，if和iz分别为融合图像和源图像，源图像指spect图像的y分量和mri图像；
31、梯度损失ltv表示为：
32、
33、其中，if为融合图像，是指spect图像的y分量，imri是指mri图像，tv(·)为总变分，表示为：
34、
35、其中，(i,j)表示图像z的位置，β为正则项，为常数，z表示融合图像或源图像，xij表示位于(i,j)处的像素值；
36、最后的损失函数表示为：
37、l＝lp+ltv。
38、本专利技术还提供基于功能-解剖transformer的多模态医学图像融合系统，包括如下单元：
39、颜色空间转换单元，对单光子发射计算机断层成像图像spect进行rgb-yuv颜色空间转换，得到y，u和v三个分量，y代表亮度，u代表色调，v代表色饱和度；
40、融合模型构建单元，基于卷积神经网络和transformer，构建多模态医学图像融合模型，其输入为spect图像的y分量和磁共振成像mri，输出为融合图像本文档来自技高网...
【技术保护点】
1.基于功能-解剖Transformer的多模态医学图像融合方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于功能-解剖Transformer的多模态医学图像融合方法，其特征在于：所述融合模型包括多尺度特征提取模块和特征重构模块，所述多尺度特征提取模块包括两个分支，一条由N个特征提取模块和N个解剖引导的Transformer模块组成的解剖多尺度分支，用于提取MRI图像中的多尺度功能特征，即软组织结构信息；一条由N个特征提取模块和N个功能引导的Transformer模块组成的功能多尺度分支，用于提取SPECT图像中的多尺度解剖特征，即新陈代谢特征；
3.如权利要求2所述的基于功能-解剖Transformer的多模态医学图像融合方法，其特征在于：N个特征提取模块均由一个卷积层、一个批归一化层和一个非线性层ReLU组成。
4.如权利要求2所述的基于功能-解剖Transformer的多模态医学图像融合方法，其特征在于：所述功能引导的Transformer模块的具体处理过程如下：
5.如权利要求2所述的基于功能-解剖Transfor
6.如权利要求4或5所述的基于功能-解剖Transformer的多模态医学图像融合方法，其特征在于：所述通道注意力模块的具体处理过程如下：
7.如权利要求4或5所述的基于功能-解剖Transformer的多模态医学图像融合方法，其特征在于：所述Transformer模块的具体处理过程如下：
8.如权利要求2所述的基于功能-解剖Transformer的多模态医学图像融合方法，其特征在于：获取整合后的多尺度功能特征和多尺度解剖特征的具体实现方式为；
9.如权利要求1所述的基于功能-解剖Transformer的多模态医学图像融合方法，其特征在于：损失函数包括像素损失和梯度损失；
10.基于功能-解剖Transformer的多模态医学图像融合系统，其特征在于，包括如下单元：
...【技术特征摘要】
1.基于功能-解剖transformer的多模态医学图像融合方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于功能-解剖transformer的多模态医学图像融合方法，其特征在于：所述融合模型包括多尺度特征提取模块和特征重构模块，所述多尺度特征提取模块包括两个分支，一条由n个特征提取模块和n个解剖引导的transformer模块组成的解剖多尺度分支，用于提取mri图像中的多尺度功能特征，即软组织结构信息；一条由n个特征提取模块和n个功能引导的transformer模块组成的功能多尺度分支，用于提取spect图像中的多尺度解剖特征，即新陈代谢特征；
3.如权利要求2所述的基于功能-解剖transformer的多模态医学图像融合方法，其特征在于：n个特征提取模块均由一个卷积层、一个批归一化层和一个非线性层relu组成。
4.如权利要求2所述的基于功能-解剖transformer的多模态医学图像融合方法，其特征在于：所述功能引导的transformer模块的具体处理...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。