一种基于特征聚合分解的多模态医学图像融合方法技术

本发明专利技术公开了一种基于特征聚合分解的多模态医学图像融合方法，包括：构建特征聚合网络和分解反馈网络；取源图像和初始分解图像拼接构成训练集；将拼接后的图像输入至特征聚合网络中输出融合图像；将融合图像输入至所述分解反馈网络中，得到两个分解图像；基于源图像

【技术实现步骤摘要】
一种基于特征聚合分解的多模态医学图像融合方法


[0001]本专利技术属于图像融合
，具体涉及一种基于特征聚合分解的多模态医学图像融合方法
。

技术介绍

[0002]多模态医学图像融合属于图像融合任务的细分
。
与自然图像不同，医学图像数据集要更少，所以无法用大数据集来对模型进行预训练，即医学图像特征提取手段相对匮乏，故对医学图像特征的提取需要更加细致
。
然而，现有的方法对医学图像的特征提取仍有很多不足
。
例如，基于卷积操作的多模态医学图像融合，虽然卷积操作具备优秀的计算性能和局部上下文提取能力，但是这限制了建模图像长距离依赖的能力，即图像的不同区域无法建立联系，而这样的结果就是图像信息的缺失从而导致融合性能不佳
。
[0003]为解决这种缺点，一些方法基于
Transformer
来实现对多模态医学图像的融合
。Transformer
具备强大的全局上下文感知能力，它能很好的建模图像的长距离依赖关系，从而关注图像更重要的特征
。
但是它同样有一些不足
。
其一它对某些重要特征过分关注从而忽略了一些局部特征
。
其二
Transformer
是个参数量巨大的模型，完全采用
Transformer
来实现多模态医学图像融合会造成过大的计算负担
。
[0004]综合卷积和
Transformer
的优势，基于串行
CNN
‑
Transformer
的方法能够在一定程度上解决这种问题，然而，这种串行的特征提取方法更加关注的还是局部特征和全局特征间的联系，这还是不可避免的会导致信息的丢失
。
除此之外，因为图像经过卷积操作不可避免的会有信息的丢失，但现有方法都旨在尽可能减少信息的丢失，却很少考虑进行信息补偿
。
其次，大部分方法都是遵循特征提取
‑
特征融合
‑
图像重建的过程，融合图像即终点，对融合方法的改进局限在特征提取
‑
特征融合
‑
图像重建中，而没有跳出固有思维
。

技术实现思路

[0005]本专利技术的目的在于提供一种基于特征聚合分解的多模态医学图像融合方法，解决对图像特征提取不够细致
、
没有信息补偿的问题，并将融合图像设置成中间结果，通过优化终点结果来实现更优的融合性能
。
[0006]为实现上述目的，本专利技术所采取的技术方案为：
[0007]一种基于特征聚合分解的多模态医学图像融合方法，所述基于特征聚合分解的多模态医学图像融合方法，包括：
[0008]构建特征聚合网络和分解反馈网络，所述特征聚合网络包括编码器
、
全局特征提取模块
、
局部特征提取模块和解码器；
[0009]取源图像和初始分解图像拼接构成训练集；
[0010]将拼接后的图像输入至所述特征聚合网络中，所述特征聚合网络通过编码器提取浅层特征，并将所述浅层特征分别输入至全局特征提取模块和局部特征提取模块中得到全局特征和局部特征，叠加所述全局特征和局部特征后输入至解码器，由解码器重建输出融
合图像；
[0011]将所述融合图像输入至所述分解反馈网络中，得到两个分解图像；
[0012]基于源图像
、
融合图像和分解图像计算总损失，并根据总损失对所述特征聚合网络和分解反馈网络进行更新，若满足迭代训练结束条件，则输出特征聚合网络和分解反馈网络用于多模态医学图像融合；否则将源图像和分解图像拼接构成新的训练集继续进行迭代训练
。
[0013]以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合
。
[0014]作为优选，所述编码器由一个自适应卷积层
、
一个批量归一化层和一个
ReLU
激活函数构成
。
[0015]作为优选，所述全局特征提取模块包括三条路径，三条路径输出的多尺度特征进行像素级融合得到全局特征；
[0016]第一条路径包括依次连接的自适应卷积层
、Swin Transformer
块和自适应卷积层，第二条路径包括依次连接的自适应卷积层
、
自适应卷积层
、Swin Transformer
块和自适应卷积层，第三条路径包括依次连接的自适应卷积层
、
自适应卷积层
、
自适应卷积层
、Swin Transformer
块和自适应卷积层
。
[0017]作为优选，所述局部特征提取模块包括依次连接的三个3×3卷积层和一个1×1卷积层；
[0018]第一个3×3卷积层的输入为浅层特征和源图像，第二个3×3卷积层的输入为浅层特征
、
源图像以及第一个3×3卷积层的输出，第三个3×3卷积层的输入为浅层特征
、
源图像
、
第一个3×3卷积层的输出和第二个3×3卷积层的输出，所述1×1卷积层的输入为浅层特征
、
第一个3×3卷积层的输出
、
第二个3×3卷积层的输出和第三个3×3卷积层的输出
。
[0019]作为优选，所述取源图像和初始分解图像拼接构成训练集，包括：
[0020]采集
PET
‑
MRI
图像对作为源图像，其中
PET
是
RGB
彩色图像，
MRI
是灰度图像；
[0021]将所述
RGB
彩色图像转换至
YUV
颜色空间，取转换后图像
Y
通道的图像和灰度图像进行配对；
[0022]取初始分解图像为源图像的复制，即初始分解图像为配对后的图像和灰度图像，对源图像和初始分解图像进行通道级联，得到四通道的输入特征样本
I
MRI
为灰度图像
。
[0023]作为优选，所述分解反馈网络包括一个1×1卷积层以及与所述1×1卷积层连接的两个分支，两个分支不共享参数，其中第一个分支包括三个依次连接的3×3卷积层，第二个分支包括三个依次连接的3×3卷积层
。
[0024]作为优选，所述基于源图像
、
融合图像和分解图像计算总损失，包括：
[0025]根据所述源图像和融合图像计算特征聚合损失，根据所述源图像和分解图像计算分解反馈损失，对特征聚合损失和分解反馈损失求和得到总损失
。
[0026]作为优选，所述根据所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于特征聚合分解的多模态医学图像融合方法，其特征在于，所述基于特征聚合分解的多模态医学图像融合方法，包括：构建特征聚合网络和分解反馈网络，所述特征聚合网络包括编码器
、
全局特征提取模块
、
局部特征提取模块和解码器；取源图像和初始分解图像拼接构成训练集；将拼接后的图像输入至所述特征聚合网络中，所述特征聚合网络通过编码器提取浅层特征，并将所述浅层特征分别输入至全局特征提取模块和局部特征提取模块中得到全局特征和局部特征，叠加所述全局特征和局部特征后输入至解码器，由解码器重建输出融合图像；将所述融合图像输入至所述分解反馈网络中，得到两个分解图像；基于源图像
、
融合图像和分解图像计算总损失，并根据总损失对所述特征聚合网络和分解反馈网络进行更新，若满足迭代训练结束条件，则输出特征聚合网络和分解反馈网络用于多模态医学图像融合；否则将源图像和分解图像拼接构成新的训练集继续进行迭代训练
。2.
如权利要求1所述的基于特征聚合分解的多模态医学图像融合方法，其特征在于，所述编码器由一个自适应卷积层
、
一个批量归一化层和一个
ReLU
激活函数构成
。3.
如权利要求1所述的基于特征聚合分解的多模态医学图像融合方法，其特征在于，所述全局特征提取模块包括三条路径，三条路径输出的多尺度特征进行像素级融合得到全局特征；第一条路径包括依次连接的自适应卷积层
、Swin Transformer
块和自适应卷积层，第二条路径包括依次连接的自适应卷积层
、
自适应卷积层
、Swin Transformer
块和自适应卷积层，第三条路径包括依次连接的自适应卷积层
、
自适应卷积层
、
自适应卷积层
、Swin Transformer
块和自适应卷积层
。4.
如权利要求1所述的基于特征聚合分解的多模态医学图像融合方法，其特征在于，所述局部特征提取模块包括依次连接的三个3×3卷积层和一个1×1卷积层；第一个3×3卷积层的输入为浅层特征和源图像，第二个3×3卷积层的输入为浅层特征
、
源图像以及第一个3×3卷积层的输出，第三个3×3卷积层的输入为浅层特征
、
源图像
、
第一个3×3卷积层的输出和第二个3×3卷积层的输出，所述1×1卷积层的输入为浅层特征
、
第一个3×3卷积层的输出
、
第二个3×3卷积层的输出和第三个3×3卷积层的输出
。5.
如权利要求1所述的基于特征聚合分解的多模态医学图像融合方法，其特征在于，所述取源图像和初始分解图像拼接构成训练集，包括：采集
PET
‑
MRI
图像对作为源图像，其中
PET
是
RGB
彩色图像，
MRI
是灰度图像；将所述
RGB
彩色图像转换至
YUV
颜色空间，取转换后图像
Y
通道的图像和灰度图像进行配对；取初始分解图像为源图像的复制，即初始分解图像为配对后的图像和灰度图像，对源图像和初始分解图像进行通道级联，得到四通道的输入特征样本
I
MRI
为灰度图像
。6.
如权利要求1所述的基于特征聚合分解的多模态医学图像融合方法，其特征在于，所
述分解反馈网络包括一个1×1卷积层以及与所述1×1卷积层连接的两个分支，两个分支不共享参数，其中第一个分支包括三个依次连接的3×3卷积层，第二个分支包括三个依次连接的3×3卷积层
。7.
如权利要求1所述的基于特征聚合分解的多模态医学图像融合方法，其特征在于，所述基于源图像
、
融合图像和分解图像计算总损失，包括：根据所述源图像和融合图像计算特征聚合损失，根据所述源图像和分解图像计算分...

【专利技术属性】
技术研发人员：产思贤，李裕强，卢雅婷，管秋，白琮，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：