基于多尺度混合注意力网络的图像融合方法、装置及设备制造方法及图纸

技术编号:41472337 阅读:13 留言:0更新日期:2024-05-30 14:25
本申请提供了一种基于多尺度混合注意力网络的图像融合方法、装置、设备及计算机可读存储介质。该基于多尺度混合注意力网络的图像融合方法,包括:利用第一编码器对CT图像进行特征提取,得到第一特征图;利用第二编码器对MRI图像进行特征提取,得到第二特征图;其中,第一编码器和第二编码器具有相同的结构并共享相同的权重,均由多尺度卷积MC块和混合注意力MA块组成;利用融合器对第一特征图和第二特征图进行融合,得到第三特征图;利用解码器对第三特征图进行图像重建,得到多模态图像融合结果。根据本申请实施例,能够提高CT图像和MRI图像融合的准确性。

【技术实现步骤摘要】

本申请属于多模态图像融合领域,尤其涉及一种基于多尺度混合注意力网络的图像融合方法、装置、设备及计算机可读存储介质。


技术介绍

1、近年来,物联网的快速发展促进了远程医疗的产生。然而,医生在线诊断需要对多个多模态医学图像进行分析,不方便且效率低。多模态医学图像融合就是为了解决这个问题而提出的。

2、由于其出色的特征提取和表示能力,卷积神经网络(cnn)已广泛应用于医学图像融合。然而,现有的大多数基于cnn的医学图像融合方法通过简单的加权平均策略来计算其权重图,这由于非重要信息的影响而削弱了融合图像的质量。

3、因此,如何提高ct图像和mri图像融合的准确性是本领域技术人员亟需解决的技术问题。


技术实现思路

1、本申请实施例提供一种基于多尺度混合注意力网络的图像融合方法、装置、设备及计算机可读存储介质,能够提高ct图像和mri图像融合的准确性。

2、第一方面,本申请实施例提供一种基于多尺度混合注意力网络的图像融合方法,包括:

3、利用第一编码器对ct图像进行特征提取本文档来自技高网...

【技术保护点】

1.一种基于多尺度混合注意力网络的图像融合方法,其特征在于,包括:

2.根据权利要求1所述的基于多尺度混合注意力网络的图像融合方法,其特征在于,多尺度卷积MC块首先使用一个3×3卷积层提取浅层特征图;

3.根据权利要求1所述的基于多尺度混合注意力网络的图像融合方法,其特征在于,混合注意力MA块包括CA和SA部分,用于分别得到细化的特征图;

4.根据权利要求1所述的基于多尺度混合注意力网络的图像融合方法,其特征在于,利用融合器对第一特征图和第二特征图进行融合,得到第三特征图,包括:

5.根据权利要求1所述的基于多尺度混合注意力网络的图像融合方...

【技术特征摘要】

1.一种基于多尺度混合注意力网络的图像融合方法,其特征在于,包括:

2.根据权利要求1所述的基于多尺度混合注意力网络的图像融合方法,其特征在于,多尺度卷积mc块首先使用一个3×3卷积层提取浅层特征图;

3.根据权利要求1所述的基于多尺度混合注意力网络的图像融合方法,其特征在于,混合注意力ma块包括ca和sa部分,用于分别得到细化的特征图;

4.根据权利要求1所述的基于多尺度混合注意力网络的图像融合方法,其特征在于,利用融合器对第一特征图和第二特征图进行融合,得到第三特征图,包括:

5.根据权利要求1所述的基于多尺度混合注意力网络的图像融合方法,其特征在于,在得到多模态图像融合结果之后,还包括:

6...

【专利技术属性】
技术研发人员:张逸凌刘星宇
申请(专利权)人:北京长木谷医疗科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1