【技术实现步骤摘要】
本专利技术涉及图像处理，特别涉及一种基于多尺度金字塔残差权重神经网络的医学图像融合方法。
技术介绍
1、医学图像在现代临床应用中发挥着重要作用，而医学图像有两种常见的类型，即解剖图像和功能图像。解剖图像具有高分辨率和提供解剖结构信息的特点，但不能显示人体新陈代谢的功能变化。例如，磁共振成像(magnetic resonance imaging，mri)图像提供软组织信息。功能图像反映了血流和代谢的功能信息，但分辨率较低，不能准确描绘器官的解剖细节。例如，正电子发射断层扫描(positron emission tomography，pet)图像反映了脑组织中的血流、氧和葡萄糖等代谢信息。单光子发射计算机断层扫描(single photonemission computed tomography，spect)图像可以突出组织和器官的病变。
2、因此，为了消除多模态图像在信息表示方面的局限性，需要增加互补性，使融合后的图像有更全面、更清晰的描述，从而采用融合算法对多模态医学图像进行融合，可以更好地表征多模态医学图像的信息，有利于医生进行临床诊断和精准治疗。
3、多模态图像融合通常分为传统算法和深度学习算法。常用的传统算法包括小波变换、金字塔变换、非下采样剪切波变换(non-subsampled shearlet transform，nsst)等。其中，小波变换通过图像分解保留边缘和纹理信息，但缺乏平移不变性，不能表征图像的各向异性特征；金字塔变换可以获得接近人类视觉特征的融合效果，但是缺乏方向性；nsst细节捕
技术实现思路
1、本专利技术提供一种基于多尺度金字塔残差权重神经网络的医学图像融合方法，以解决现有深度学习方法网络深度浅，不能提取到更深层次的信息，导致图像融合过程中出现丢失细节等问题。
2、本专利技术第一方面实施例提供一种基于多尺度金字塔残差权重神经网络的医学图像融合方法，包括以下步骤：
3、获取多个spect-mri图像对；
4、利用所述多个spect-mri图像对训练预先构建的多尺度特征提取模块和预先构建的多尺度金字塔残差权重模块，得到最佳多尺度特征提取模块和最佳多尺度金字塔残差权重模块；
5、利用所述最佳多尺度特征提取模块分别对两张不同模态的待融合医学图像进行特征粗提取，得到多个不同尺度的第一医学图像和多个不同尺度的第二医学图像，其中，所述两张不同模态的待融合医学图像为一张黑白医学图像和一张彩色医学图像；
6、利用所述最佳多尺度金字塔残差权重模块分别对所述多个不同尺度的第一医学图像和所述多个不同尺度的第二医学图像进行特征细提取，得到两个含边界特征的医学图像；
7、对所述两个含边界特征的医学图像进行重构融合，得到最佳融合医学图像。
8、可选地，在进行特征粗提取前，先对所述彩色医学图像进行色彩空间转换，以提取亮度通道图像、红色色度分量和蓝色色度分量，再利用所述最佳多尺度特征提取模块分别对所述亮度通道图像和所述黑白医学图像进行特征粗提取。
9、可选地，在完成融合后，将所述红色色度分量和所述蓝色色度分量融合至所述最佳融合医学图像中，得到彩色最佳融合医学图像。
10、可选地，所述最佳多尺度特征提取模块包括四个卷积层，其中，利用三个卷积层分别提取所述亮度通道图像和所述黑白医学图像的不同尺度的特征，得到多个不同尺度的第一医学子图像和多个不同尺度的第二医学子图像，利用剩余卷积层分别对所述多个不同尺度的第一医学子图像和所述多个不同尺度的第二医学子图像进行拼接，得到所述多个不同尺度的第一医学图像和所述多个不同尺度的第二医学图像。
11、可选地，所述最佳多尺度金字塔残差权重模块包括金字塔子模块、瓶颈层子模块、残差子模块、金字塔池化子模块和边界注意力引导子模块。
12、可选地，利用所述金字塔子模块分别对所述多个不同尺度的第一医学图像和所述多个不同尺度的第二医学图像进行降采样处理，得到两张降采样医学特征图，并将所述两张降采样医学特征图输入至所述边界注意力引导子模块中。
13、可选地，通过所述瓶颈层子模块分别提取所述多个不同尺度的第一医学图像和所述多个不同尺度的第二医学图像的深层信息，得到两张含深层信息的医学特征图，并将所述两张含深层信息的医学特征图输入至所述边界注意力引导子模块中。
14、可选地，利用所述残差子模块分别对所述多个不同尺度的第一医学图像和所述多个不同尺度的第二医学图像进行残差处理，得到残差处理后的多个不同尺度的第一医学图像和残差处理后的多个不同尺度的第二医学图像。
15、可选地，通过所述金字塔池化子模块分别对所残差处理后的多个不同尺度的第一医学图像和所述残差处理后的多个不同尺度的第二医学图像进行不同尺度的池化，得到多个不同尺寸的第一特征图和多个不同尺寸的第二特征图，将所述多个不同尺寸的第一特征图和所述残差后的不同尺度的第一医学图像的上下文信息、所述多个不同尺寸的第二特征图和所述残差后的不同尺度的第二医学图像的上下文信息进行聚合，得到两张融合多种尺寸的复合特征图，并将所述两张融合多种尺寸的复合特征图输入至所述边界注意力引导子模块中。
16、可选地，通过所述边界注意力引导子模块获取边界特征，利用所述边界特征与所述金字塔子模块的输出和所述瓶颈层子模块的输出相加，得到所述两个含边界特征的医学图像。
17、本专利技术第二方面实施例提供一种基于多尺度金字塔残差权重神经网络的医学图像融合装置，包括：
18、获取模块，用于获取多个spect-mri图像对；
19、训练模块，用于利用所述多个spect-mri图像对训练预先构建的多尺度特征提取模块和预先构建的多尺度金字塔残差权重模块，得到最佳多尺度特征提取模块和最佳多尺度金字塔残差权重模块；
20、粗提取模块，用于利用所述最佳多尺度特征提取模块分别对两张不同模态的待融合医学图像进行特征粗提取，得到多个不同尺度的第一医学图像和多个不同尺度的第二医学图像，其中，所述两张不同模态的待融合医学图像为一张黑白医学图像和一张彩色医学图像；
21、细提取模块，用于利用所述最佳多尺度金字塔残差权重模块分别对所述多个不同尺度的第一医学图像和所述多个不同尺度的第二医学图像进行特征细提取，得到两个含边界特征的医学图像；
22、融合模块，用于对所述两个含边界特征的医学图像进行重构融合，得到最佳融合医学图像。
23、本专利技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上本文档来自技高网...
【技术保护点】
1.一种基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，在进行特征粗提取前，先对所述彩色医学图像进行色彩空间转换，以提取亮度通道图像、红色色度分量和蓝色色度分量，再利用所述最佳多尺度特征提取模块分别对所述亮度通道图像和所述黑白医学图像进行特征粗提取。
3.根据权利要求2所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，在完成融合后，将所述红色色度分量和所述蓝色色度分量融合至所述最佳融合医学图像中，得到彩色最佳融合医学图像。
4.根据权利要求2所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，所述最佳多尺度特征提取模块包括四个卷积层，其中，利用三个卷积层分别提取所述亮度通道图像和所述黑白医学图像的不同尺度的特征，得到多个不同尺度的第一医学子图像和多个不同尺度的第二医学子图像，利用剩余卷积层分别对所述多个不同尺度的第一医学子图像和所述多个不同尺度的第二医学子图像进行拼接，得到所述多个不同尺度
5.根据权利要求1所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，所述最佳多尺度金字塔残差权重模块包括金字塔子模块、瓶颈层子模块、残差子模块、金字塔池化子模块和边界注意力引导子模块。
6.根据权利要求5所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，利用所述金字塔子模块分别对所述多个不同尺度的第一医学图像和所述多个不同尺度的第二医学图像进行降采样处理，得到两张降采样医学特征图，并将所述两张降采样医学特征图输入至所述边界注意力引导子模块中。
7.根据权利要求5所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，通过所述瓶颈层子模块分别提取所述多个不同尺度的第一医学图像和所述多个不同尺度的第二医学图像的深层信息，得到两张含深层信息的医学特征图，并将所述两张含深层信息的医学特征图输入至所述边界注意力引导子模块中。
8.根据权利要求5所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，利用所述残差子模块分别对所述多个不同尺度的第一医学图像和所述多个不同尺度的第二医学图像进行残差处理，得到残差处理后的多个不同尺度的第一医学图像和残差处理后的多个不同尺度的第二医学图像。
9.根据权利要求5所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，通过所述金字塔池化子模块分别对所残差处理后的多个不同尺度的第一医学图像和所述残差处理后的多个不同尺度的第二医学图像进行不同尺度的池化，得到多个不同尺寸的第一特征图和多个不同尺寸的第二特征图，将所述多个不同尺寸的第一特征图和所述残差后的不同尺度的第一医学图像的上下文信息、所述多个不同尺寸的第二特征图和所述残差后的不同尺度的第二医学图像的上下文信息进行聚合，得到两张融合多种尺寸的复合特征图，并将所述两张融合多种尺寸的复合特征图输入至所述边界注意力引导子模块中。
10.根据权利要求5所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，通过所述边界注意力引导子模块获取边界特征，利用所述边界特征与所述金字塔子模块的输出和所述瓶颈层子模块的输出相加，得到所述两个含边界特征的医学图像。
11.一种基于多尺度金字塔残差权重神经网络的医学图像融合装置，其特征在于，包括：
12.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-10任一项所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-10任一项所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法。
...【技术特征摘要】
1.一种基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，在进行特征粗提取前，先对所述彩色医学图像进行色彩空间转换，以提取亮度通道图像、红色色度分量和蓝色色度分量，再利用所述最佳多尺度特征提取模块分别对所述亮度通道图像和所述黑白医学图像进行特征粗提取。
3.根据权利要求2所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，在完成融合后，将所述红色色度分量和所述蓝色色度分量融合至所述最佳融合医学图像中，得到彩色最佳融合医学图像。
4.根据权利要求2所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，所述最佳多尺度特征提取模块包括四个卷积层，其中，利用三个卷积层分别提取所述亮度通道图像和所述黑白医学图像的不同尺度的特征，得到多个不同尺度的第一医学子图像和多个不同尺度的第二医学子图像，利用剩余卷积层分别对所述多个不同尺度的第一医学子图像和所述多个不同尺度的第二医学子图像进行拼接，得到所述多个不同尺度的第一医学图像和所述多个不同尺度的第二医学图像。
5.根据权利要求1所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，所述最佳多尺度金字塔残差权重模块包括金字塔子模块、瓶颈层子模块、残差子模块、金字塔池化子模块和边界注意力引导子模块。
6.根据权利要求5所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，利用所述金字塔子模块分别对所述多个不同尺度的第一医学图像和所述多个不同尺度的第二医学图像进行降采样处理，得到两张降采样医学特征图，并将所述两张降采样医学特征图输入至所述边界注意力引导子模块中。
7.根据权利要求5所述的基于多尺度金字塔残差权重神经网络的医学图像融合方法，其特征在于，通过所述瓶颈层子模块分别提取所述多个不同尺度的第一医学图像和所述多个不同尺度的第二...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。