一种基于孪生卷积神经网络的零学习医学图像融合方法技术

本发明专利技术涉及一种基于孪生卷积神经网络的零学习医学图像融合方法，属于及医学图像处理技术领域。对源图像进行预处理生成输入源图像，得到各卷积层的初始显著特征图，进行上采样运算处理，对各层的显著特征图进行指数运算，以归一化源图像作为引导滤波器的引导图像，得到引导滤波器输出图像，利用各层的权重图，采用加权平均融合算法，得到各层的融合图像，采用像素取大算法，得到最后的融合图像。本发明专利技术自动实现多模态医学图像的显著特征提取，省时省力，能够更加全面、深层次地表达图像，实现多个抽象层次上图像语义的表征，有利于实现高精度低硬件复杂度的图像融合平台的搭建，提高了融合精度和效率。高了融合精度和效率。高了融合精度和效率。

A zero learning medical image fusion method based on twin convolution neural network

【技术实现步骤摘要】
一种基于孪生卷积神经网络的零学习医学图像融合方法


[0001]本专利技术涉及医学图像处理
，更具体地涉及一种基于孪生卷积神经网络的零学习医学图像融合方法。

技术介绍

[0002]在医学图像处理
，由于成像机制的多样性和成像设备的局限性，不同模态的医学图像侧重不同类别的器官/组织信息，如计算机断层扫描成像(CT)可以精确检测致密结构的骨骼和植入物体等；磁共振成像(MRI)为软组织提供高分辨率的解剖信息，但对骨骼的诊断不如CT敏感；正电子发射断层扫描(PET)图像包含丰富的关于肿瘤功能和代谢信息；单光子发射计算机断层扫描(SPECT)图像可以反映组织和器官的血流信息，但PET和SPECT图像的分辨率都较低，单一的医学成像设备对器官和组织信息进行解释和判读往往只能获得某一方面的特征，不能够对病人的病情做出准确可靠的诊断，因此，在医学图像处理过程中，综合利用多模态医学图像信息是提升多模态医学图像应用价值的一个重要途径。
[0003]传统的多模态医学图像融合方法通常包括分解、融合和重构三步，图像分解和融合规则的设计是影响融合质量的两个主要因素，常用的一些图像分解方法往往不能对空间重叠特征进行有效的分离，在图像边缘处容易出现梯度反转现象，从而在融合图像中引入伪影或虚假信息，融合规则的设计往往是通过手工提取图像特征，生成权重值，进行加权或选择性融合，手工提取的特征往往不能准确地表达图像的显著特征，对源图像的噪声、失配等情况的鲁棒性差，造成融合图像的亮度和对比度下降。
[0004]近年来，深度学习方法以其强大的特征提取和数据表示能力，被应用于多模态医学图像融合领域，深度学习网络本身可以被视为特征提取器，中间映射表示可用于重建融合图像的显著特征，相比较于传统方法，基于深度学习的融合方法能够取得更好的融合性能，但深度学习网络是基于图像数据集的训练得来的，因而需要大量的特定类型的图像数据，这在实际应用中是无法得到的，另外卷积神经网络(CNN)在训练和融合过程中占用大量的内存，并且耗时耗能，不利于多模态医学图像融合的工程应用，因此本领域迫切需要一种能克服上述缺陷的多模态医学图像融合方法。

技术实现思路

[0005]本专利技术提供一种基于孪生卷积神经网络的零学习医学图像融合方法，以解决现有技术存在图像分解不能有效分离空间重叠特征，手工提取的特征不能准确表达源图像的显著特征，造成融合图像亮度和对比度下降，且对源图像的噪声和失配敏感，深度学习网络需要大量的学习训练数据和占用大量的硬件资源，耗时耗能的问题。，
[0006]本专利技术采取的技术方案是，包括下列步骤：
[0007]步骤A：对源图像φ
k
进行预处理，生成输入源图像f
k
，然后进行归一化处理，生成归一化源图像将其作为预先训练的三层孪生卷积神经网络的输入，得到3个卷积层的特征
图，表示为和全连接层的初始显著特征图，表示为k∈{1,2}为图像索引，d∈{1,2,3}为卷积层索引，M∈{64,128,256}为卷积层的特征图个数，1：M表示从特征图1到特征图M；
[0008]步骤B：在各卷积层的特征图中，以滑动窗口方式选择5
×5×
M的窗口，排列成25
×
M矩阵，计算其核范数，得到一个像素值，当滑动窗口遍历整个特征图后，得到各卷积层的初始显著特征图，表示为
[0009]步骤C：对卷积层3的初始显著特征图和全连接层的初始显著特征图进行上采样运算处理，生成卷积层3的显著特征图和全连接层的显著特征图其尺寸与归一化源图像的尺寸一致，令得到卷积层1的显著特征图令得到卷积层2的显著特征图这样各层的显著特征图统一表示成l∈{1,2,3,4}为显著特征图的层索引；
[0010]步骤D：对各层的显著特征图进行指数运算，应用Softmax算子生成各层初始权重图
[0011]步骤E：以归一化源图像作为引导滤波器的引导图像，对各层初始权重图进行引导滤波，得到引导滤波器输出图像应用Softmax算子，生成各层的权重图
[0012]步骤F：利用各层的权重图采用加权平均融合算法，得到各层的融合图像采用像素取大算法，得到最后的融合图像f
F
。
[0013]本专利技术所述步骤A包括：
[0014]子步骤A1：对源图像进行预处理，生成输入源图像，然后进行归一化处理，生成归一化源图像；
[0015]源图像为φ
k
，若φ
k
为灰度图像，则令f
k
＝φ
k
，得到输入源图像f
k
，对其进行归一化处理，得到归一化源图像计算公式为：
[0016][0017]式中，k∈{1,2}为图像索引，f
k
和分别表示归一化处理前第k个输入源图像和归一化处理后第k个归一化源图像，f
kmin
和f
kmax
分别表示第k个输入源图像f
k
中像素的最小值和最大值；
[0018]若源图像φ
k
中，φ1为灰度图像，φ2为RGB彩色图像，需要将φ2预处理转换到YUV空间，RGB到YUV图像空间的转换公式为：
[0019][0020]式中φ
2R
，φ
2G
，φ
2B
分别表示源图像φ2在RGB色彩空间中的红、绿、蓝通道图像，在RGB色彩空间中的红、绿、蓝通道图像，分别表示转换后图像在YUV色彩空间中的亮度、色彩、饱和度三个分量图像；
[0021]令f1＝φ1，此时输入源图像f
k
中，f1和f2均为灰度图像，对其进行归一化处理，得到归一化源图像同时对和分量也进行归一化处理，得到归一化图像和
计算公式为：
[0022][0023]式中，k∈{1,2}为图像索引，f
k
和分别表示归一化处理前第k个输入源图像和归一化处理后第k个归一化源图像，f
kmin
和f
kmax
分别表示第k个输入源图像f
k
中像素的最小值和最大值，U
min
表示U分量图像中最小的像素值，U
min
表示U分量图像中最大的像素值，V
min
表示V分量图像中最小的像素值，V
max
表示V分量图像中最小的像素值；
[0024]子步骤A2：构建孪生卷积神经网络模型，输入至输出依次为：卷积层1、卷积层2、池化层、卷积层3和全连接层；
[0025]孪生卷积神经网络包括两个权重参数相同的网络分支，每个分支包含3个卷积层、1个最大池化层和1个全连接层，顺序为卷积层1>卷积层2>最大池化层>卷积层3>全连接层；
[0026]两个网络分支中卷积层的卷积核尺寸和步长分别为3
×
3和1，最大池化层的核尺寸和步长分别为2
×本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孪生卷积神经网络的零学习医学图像融合方法，其特征在于，包括下列步骤：步骤A：对源图像φ
k
进行预处理，生成输入源图像f
k
，然后进行归一化处理，生成归一化源图像将其作为预先训练的三层孪生卷积神经网络的输入，得到3个卷积层的特征图，表示为和全连接层的初始显著特征图，表示为k∈{1,2}为图像索引，d∈{1,2,3}为卷积层索引，M∈{64,128,256}为卷积层的特征图个数，1：M表示从特征图1到特征图M；步骤B：在各卷积层的特征图中，以滑动窗口方式选择5
×5×
M的窗口，排列成25
×
M矩阵，计算其核范数，得到一个像素值，当滑动窗口遍历整个特征图后，得到各卷积层的初始显著特征图，表示为步骤C：对卷积层3的初始显著特征图和全连接层的初始显著特征图进行上采样运算处理，生成卷积层3的显著特征图和全连接层的显著特征图其尺寸与归一化源图像的尺寸一致，令得到卷积层1的显著特征图令得到卷积层2的显著特征图这样各层的显著特征图统一表示成l∈{1,2,3,4}为显著特征图的层索引；步骤D：对各层的显著特征图进行指数运算，应用Softmax算子生成各层初始权重图步骤E：以归一化源图像作为引导滤波器的引导图像，对各层初始权重图进行引导滤波，得到引导滤波器输出图像应用Softmax算子，生成各层的权重图步骤F：利用各层的权重图采用加权平均融合算法，得到各层的融合图像采用像素取大算法，得到最后的融合图像f
F
。2.根据权利要求1所述的一种基于孪生卷积神经网络的零学习医学图像融合方法，其特征在于，所述步骤A包括：子步骤A1：对源图像进行预处理，生成输入源图像，然后进行归一化处理，生成归一化源图像；源图像为φ
k
，若φ
k
为灰度图像，则令f
k
＝φ
k
，得到输入源图像f
k
，对其进行归一化处理，得到归一化源图像计算公式为：式中，k∈{1,2}为图像索引，f
k
和分别表示归一化处理前第k个输入源图像和归一化处理后第k个归一化源图像，f
kmin
和f
kmax
分别表示第k个输入源图像f
k
中像素的最小值和最大值；若源图像φ
k
中，φ1为灰度图像，φ2为RGB彩色图像，需要将φ2预处理转换到YUV空间，RGB到YUV图像空间的转换公式为：
式中φ
2R
，φ
2G
，φ
2B
分别表示源图像φ2在RGB色彩空间中的红、绿、蓝通道图像，在RGB色彩空间中的红、绿、蓝通道图像，分别表示转换后图像在YUV色彩空间中的亮度、色彩、饱和度三个分量图像；令f1＝φ1，此时输入源图像f
k
中，f1和f2均为灰度图像，对其进行归一化处理，得到归一化源图像同时对和分量也进行归一化处理，得到归一化图像和计算公式为：式中，k∈{1,2}为图像索引，f
k
和分别表示归一化处理前第k个输入源图像和归一化处理后第k个归一化源图像，f
kmin
和f
kmax
分别表示第k个输入源图像f
k
中像素的最小值和最大值，U
min
表示U分量图像中最小的像素值，U
min
表示U分量图像中最大的像素值，V
min
表示V分量图像中最小的像素值，V
max
表示V分量图像中最小的像素值；子步骤A2：构建孪生卷积神经网络模型，输入至输出依次为：卷积层1、卷积层2、池化层、卷积层3和全连接层；孪生卷积神经网络包括两个权重参数相同的网络分支，每个分支包含3个卷积层、1个最大池化层和1个全连接层，顺序为卷积层1>卷积层2>最大池化层>卷积层3>全连接层；两个网络分支中卷积层的卷积核尺寸和步长分别为3
×
3和1，最大池化层的核尺寸和步长分别为2
×
2和2，全连接层的权重向量为1
×
32768；在两个分支输入的归一化源图像中，通过步长为2的两个滑动窗口方式得到2个16
×
16的图像块，送入孪生卷积神经网络中，每个网络分支上的卷积层1、卷积层2和卷积层3生成的特征图数量分别为64、128和256，尺寸分别为16
×
16、16
×
16和8
×
8，全连接层是将两个网络分支中卷积层3所生成的共计512个尺寸为8
×
8的特征图进行串联，形成32768
×
1的矩阵，然后分别与两个尺寸相同、元素不同的权重向量进行线性加权运算，得到2个不同的神经元，在两个网络分支中，当两个滑动窗口分别遍历2个归一化源图像后，就会得到两个滑动窗口所对应的所有神经元，最后在全连接层中生成2个表示归一化源图像清晰度的初始显著特征图由于在卷积层2后存在最大池化层，所以卷积层1中的64个特征图和卷层2中的128个特征图尺寸与归一化源图像尺寸一致，卷积层3中的256个特征图和全连接...

【专利技术属性】
技术研发人员：陈广秋，段锦，黄丹丹，刘广文，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：