【技术实现步骤摘要】
本专利技术涉及图像处理，具体是涉及一种多模态医学图像融合方法。
技术介绍
1、多模态医学图像融合技术的实施目的是将多个不同模态图像的互补信息和综合信息进行融合，在疾病诊断中起着至关重要的作用。目前已有研究人员将深度学习算法引入到多模态医学图像融合技术，主要包括卷积神经网络(cnn)、生成对抗网络(gan)、自编码器网络(ae)等等，但这些网络通常采用如元素相加、元素求平均、元素相乘等的简单融合规则来集成来自不同模式图像的特征，往往难以捕捉不同模式图像中复杂的细节信息和互补信息，并且主要集中在空间域的特征提取，未能充分利用频域特征，容易导致图像融合质量不佳。
技术实现思路
1、本专利技术提供一种多模态医学图像融合方法，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
2、本专利技术提供一种多模态医学图像融合方法，所述方法包括：
3、获取待融合的第一医学图像和第二医学图像，所述第一医学图像为mri图像，所述第二医学图像为ct图像或者spect图像或者pet图像；
4、根据所述第二医学图像，确定亮度图像和色度图像；
5、利用多模态医学图像融合模型对所述第一医学图像和所述亮度图像进行融合处理，得到初步融合图像；
6、根据所述初步融合图像和所述色度图像，确定最终融合图像。
7、进一步地，所述多模态医学图像融合模型包括编码网络、融合网络和解码网络；
8、所述编码网络用于从所述第一医
9、所述融合网络用于对同一尺度的第一特征图和第二特征图进行交叉融合得到初始融合特征图，再对不同尺度的四个初始融合特征图进行多尺度融合得到对应的四个最终融合特征图；
10、所述解码网络用于对不同尺度的四个最终融合特征图进行重构得到初步融合图像。
11、进一步地，所述编码网络包括四层编码器，每相邻两层编码器之间通过最大池化层进行连接；
12、每层编码器包括密集卷积块和第一动态频率变换器，所述第一动态频率变换器包括频域注意力层和第一动态频域前向网络层；
13、当所述第一动态频率变换器接收到所述密集卷积块输出的初始特征图时，通过所述频域注意力层对所述初始特征图进行频域特征增强得到第一中间特征图，通过残差连接方式对所述第一中间特征图进行整体特征增强得到第二中间特征图，通过所述第一动态频域前向网络层对所述第二中间特征图进行频域特征提取得到第三中间特征图，通过残差连接方式对所述第三中间特征图进行整体特征增强得到最终特征图输出。
14、进一步地，在所述频域注意力层中，从所述初始特征图中提取第一值向量、第一键向量和第一查询向量，将所述第一键向量和所述第一查询向量在频域内进行相乘得到第一注意力向量，将所述第一注意力向量与所述第一值向量在空间域内进行相乘之后经过卷积运算得到第一中间特征图。
15、进一步地，在所述第一动态频域前向网络层中，将所述第二中间特征图进行卷积运算和分割展平得到多个第一特征向量，将所述多个第一特征向量与可学习权重在频域内进行相乘得到多个第二特征向量，将所述多个第二特征向量在空间域内进行图像重组之后经过残差连接得到第三中间特征图。
16、进一步地，所述融合网络包括四层交叉动态频率融合器和四层多尺度融合器，每层交叉动态频率融合器与每层多尺度融合器连接；
17、每层交叉动态频率融合器包括特征增强网络和特征挖掘网络，当该层交叉动态频率融合器接收到对应尺度的第一特征图和第二特征图时，将所述第一特征图进行通道切分得到第一特征子图和第二特征子图，将所述第二特征图进行通道切分得到第三特征子图和第四特征子图，通过所述特征增强网络对所述第一特征子图与所述第三特征子图进行特异性特征增强和整体特征融合得到第一中间特征子图，通过所述特征挖掘网络对所述第二特征子图与所述第四特征子图进行共同特征增强和整体特征融合得到第二中间特征子图，将所述第一中间特征子图和所述第二中间特征子图进行融合得到初始融合特征图；
18、在每层多尺度融合器中，将所述四个初始融合特征图进行拼接之后经过多次卷积运算和单次残差连接得到最终融合特征图。
19、进一步地，所述特征增强网络包括第二动态频率变换器和第三动态频率变换器；
20、将所述第一特征子图与所述第三特征子图相减之后经由所述第二动态频率变换器处理得到第三中间特征子图，将所述第三特征子图与所述第一特征子图相减之后经由所述第三动态频率变换器处理得到第四中间特征子图，通过残差连接方式分别对所述第三中间特征子图和所述第四中间特征子图进行整体特征增强之后经过拼接得到第一中间特征子图。
21、进一步地，所述特征挖掘网络包括第一交叉动态频率变换器和第二交叉动态频率变换器；
22、所述第一交叉动态频率变换器包括第一交叉频域注意力层和第二动态频域前向网络层，基于所述第二特征子图与所述第四特征子图之间的共同特征，通过所述第一交叉频域注意力层对所述第二特征子图包含的所述共同特征进行增强得到第五中间特征子图，将所述第五中间特征子图进行残差连接之后通过所述第二动态频域前向网络层进行频域特征提取得到第六中间特征子图，将所述第六中间特征子图进行残差连接得到第七中间特征子图；
23、所述第二交叉动态频率变换器包括第二交叉频域注意力层和第三动态频域前向网络层，通过所述第二交叉频域注意力层对所述第四特征子图包含的所述共同特征进行增强得到第八中间特征子图，将所述第八中间特征子图进行残差连接之后通过所述第三动态频域前向网络层进行频域特征提取得到第九中间特征子图，将所述第九中间特征子图进行残差连接得到第十中间特征子图；
24、通过残差连接方式分别对所述第七中间特征子图和所述第十中间特征子图进行整体特征增强之后经过拼接得到第二中间特征子图。
25、进一步地，在所述第一交叉频域注意力层中，从所述第二特征子图中提取第二值向量和第二键向量，从所述第四特征子图中提取第二查询向量，将所述第二键向量和所述第二查询向量在频域内进行相乘得到第二注意力向量，将所述第二注意力向量与所述第二值向量在空间域内进行相乘之后经过卷积运算得到第五中间特征子图；
26、在所述第二交叉频域注意力层中，从所述第四特征子图中提取第三值向量和第三键向量，从所述第二特征子图中提取第三查询向量，将所述第三键向量和所述第三查询向量在频域内进行相乘得到第三注意力向量，将所述第三注意力向量与所述第三值向量在空间域内进行相乘之后经过卷积运算得到第八中间特征子图。
27、进一步地，所述解码网络包括由七个解码器按照同层密集跳转和相邻层密集传递的连接方式搭建形成的三层解码器，每个解码器包括顺次连接的1×1卷积层、第四动态频率变换器和3×3卷积层。
28、本专利技术至少具有以下有益效果：通过引入深度学习算法和频域变换算法来搭建多模本文档来自技高网...
【技术保护点】
1.一种多模态医学图像融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多模态医学图像融合方法，其特征在于，所述多模态医学图像融合模型包括编码网络、融合网络和解码网络；
3.根据权利要求2所述的多模态医学图像融合方法，其特征在于，所述编码网络包括四层编码器，每相邻两层编码器之间通过最大池化层进行连接；
4.根据权利要求3所述的多模态医学图像融合方法，其特征在于，在所述频域注意力层中，从所述初始特征图中提取第一值向量、第一键向量和第一查询向量，将所述第一键向量和所述第一查询向量在频域内进行相乘得到第一注意力向量，将所述第一注意力向量与所述第一值向量在空间域内进行相乘之后经过卷积运算得到第一中间特征图。
5.根据权利要求3所述的多模态医学图像融合方法，其特征在于，在所述第一动态频域前向网络层中，将所述第二中间特征图进行卷积运算和分割展平得到多个第一特征向量，将所述多个第一特征向量与可学习权重在频域内进行相乘得到多个第二特征向量，将所述多个第二特征向量在空间域内进行图像重组之后经过残差连接得到第三中间特征图。
6.
7.根据权利要求6所述的多模态医学图像融合方法，其特征在于，所述特征增强网络包括第二动态频率变换器和第三动态频率变换器；
8.根据权利要求6所述的多模态医学图像融合方法，其特征在于，所述特征挖掘网络包括第一交叉动态频率变换器和第二交叉动态频率变换器；
9.根据权利要求8所述的多模态医学图像融合方法，其特征在于，在所述第一交叉频域注意力层中，从所述第二特征子图中提取第二值向量和第二键向量，从所述第四特征子图中提取第二查询向量，将所述第二键向量和所述第二查询向量在频域内进行相乘得到第二注意力向量，将所述第二注意力向量与所述第二值向量在空间域内进行相乘之后经过卷积运算得到第五中间特征子图；
10.根据权利要求2所述的多模态医学图像融合方法，其特征在于，所述解码网络包括由七个解码器按照同层密集跳转和相邻层密集传递的连接方式搭建形成的三层解码器，每个解码器包括顺次连接的1×1卷积层、第四动态频率变换器和3×3卷积层。
...【技术特征摘要】
1.一种多模态医学图像融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多模态医学图像融合方法，其特征在于，所述多模态医学图像融合模型包括编码网络、融合网络和解码网络；
3.根据权利要求2所述的多模态医学图像融合方法，其特征在于，所述编码网络包括四层编码器，每相邻两层编码器之间通过最大池化层进行连接；
4.根据权利要求3所述的多模态医学图像融合方法，其特征在于，在所述频域注意力层中，从所述初始特征图中提取第一值向量、第一键向量和第一查询向量，将所述第一键向量和所述第一查询向量在频域内进行相乘得到第一注意力向量，将所述第一注意力向量与所述第一值向量在空间域内进行相乘之后经过卷积运算得到第一中间特征图。
5.根据权利要求3所述的多模态医学图像融合方法，其特征在于，在所述第一动态频域前向网络层中，将所述第二中间特征图进行卷积运算和分割展平得到多个第一特征向量，将所述多个第一特征向量与可学习权重在频域内进行相乘得到多个第二特征向量，将所述多个第二特征向量在空间域内进行图像重组之后经过残差连接得到第三中间特征图。
6.根据权利要求2所述...
【专利技术属性】
技术研发人员：余梓彤，谢欣宇，邢博浩，叶启朗，张小志，
申请(专利权)人：大湾区大学筹，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。