基于多CNN组合和模糊神经网络的多模态医学图像融合制造技术

本发明专利技术属于医学图像融合领域，具体涉及基于多CNN组合和模糊神经网络的多模态医学图像融合。为了将多模态医学图像中病灶部位的纹理细节表征更充分，边缘更清晰，本发明专利技术提出的方法主要有两部分组成：1)构建G‑CNN组(G‑CNNs)；2)基于模糊神经网络的G‑CNNs融合。第一部分首先通过一组比例和方向不同的Gabor滤波器获得CT和MR的不同Gabor表示对，然后分别使用每对不同的Gabor表示训练相应的CNN，从而生成G‑CNNs；第二部分利用模糊神经网络将G‑CNNs的多个输出进行融合得到最后的融合图像。

【技术实现步骤摘要】
基于多CNN组合和模糊神经网络的多模态医学图像融合
本专利技术属于医学图像融合领域，具体涉及基于多CNN组合和模糊神经网络的多模态医学图像融合。
技术介绍
图像融合有广泛的应用，如医学成像，遥感、机器视觉，生物识别和军事应用。融合的目的是获得更好的对比度和感知体验。近年来，随着临床应用需求的不断增加，多模态医学图像融合的研究备受关注。多模态医学图像融合的目的是提供一个更好的医疗图像，帮助医生进行外科干预。如今医学图像有多种模态，如磁共振(MR)图像，计算机断层扫描(CT)图像，正电子发射断层扫描(PET)图像和X射线图像等，不同模态的图像有其自身的优点和局限性，例如，CT能很好地显示骨骼信息，但不能清晰的展示软组织等结构信息；MR图像能充分显示软组织信息，但其对骨骼信息的探测有很大缺陷；PET图像可为临床提供丰富的人体代谢信息，但分辨率较低。因此，把多种模态的医学图像信息结合起来，完成多模态图像融合，可以实现优势互补。多模态融合图像既保留了原始图像的特征，又弥补了单模态医学图像的缺陷，展示了更加丰富的细节信息，为临床诊断治疗和图像引导手术提供了全面的信息。图像融合方法分为三个层次：像素级、特征级、决策级。像素级的图像融合是将两个或多个源图像对应的各点像素值通过一定的融合方法合并计算出一个新的像素值，这样各点像素都进行融合后形成一幅新的融合图像。常用的像素级图像融合方法有基于空间域的融合方法和基于变换域的融合方法。基于空间域的图像融合主要分为基于块的融合和基于区域的融合，包括逻辑滤波法、加权平均法、数学形态法、图像代数法和模拟退火法等，其计算量小，容易实现，但准确度较差，不适用于医学图像领域。基于变换域的方法是先分解源图像，再利用不同的融合规则组合分解后的源图像，最后执行反变换操作来重建融合图像，包括金字塔图像融合法、小波变换图像融合法和多尺度分解法等，其不仅可以保持对比度、减小块效应，而且在描述信号的局部特征时有独特优势。特征级的图像融合方法是从源图像中将观察者感兴趣的特征信息提取出来，如边缘、轮廓、形状、局部特征等信息，然后对这些特征信息进行分析、处理与整合从而得到融合后的图像特征。目前常用的方法有：加权平均法、贝叶斯估计法、聚类分析法。决策级的图像融合方法是对每个图像的特征信息进行分析、推理、识别和判决等处理，形成相应的结果，再进一步融合，最终的融合结果是全局最优决策。这种方法实时性好，灵活性高，并且有一定的容错能力，但其预处理代价较高，图像中的原始信息的损失较多。近年来，随着深度学习的兴起，卷积神经网络(CNN)作为深度学习的重要分支，具有比传统方法更强的特征提取能力，适用于图像融合。基于空间域的融合方法会使融合图像的光谱失真和空间失真，不利于医生观察病灶区域的病变情况。基于变换域融合方法中的金字塔变换未能在分解过程中引入空间方向选择性，从而产生具有块效应的图像，并且在融合图像的边缘中引入许多伪影影响融合结果；小波变换只能捕获有限的方向信息，在边缘和纹理区域获取信息有限，无法清晰表征图像的边缘。Liu等人提出了一种基于卷积神经网络(CNN)的多聚焦图像融合方法，利用CNN对聚焦区域进行分类，得到决策图。将决策图与源图像相结合，生成融合图像，但是liu所提出的CNN模型，卷积和下采样最终输出的特征维数较低，造成了融合图像信息丢失。zhang等人提出了一种基于全卷积神经网络的通用图像融合框架FCNN，该框架使用全卷积神经网络解决了信息丢失问题，但其卷积层的卷积核设置过于单一，提取到的特征不能够很好的表征病灶部位的纹理信息，使得融合后的图像难以直接用于临床诊断为了得到纹理丰富，边缘清晰和信息含量高的融合图像，本专利技术提出了基于Gabor表示的多CNN组合(Gabor-CNNs，G-CNNs)与模糊神经网络的方法对多模态医学图像进行融合。提出的方法主要有两部分组成：1)构建G-CNN组(G-CNNs)；2)基于模糊神经网络的G-CNNs融合。第一部分首先通过一组比例和方向不同的Gabor滤波器获得CT和MR的不同Gabor表示对，然后分别使用每对不同的Gabor表示训练相应的CNN，从而生成G-CNNs；第二部分利用模糊神经网络将G-CNNs的多个输出进行融合得到最后的融合图像。该方法利用Gabor表示对：GaborCT和GaborMR作为CNN的输入增强和保留了源图像的纹理特征和边缘细节，然后利用CNN能够从复杂背景中提取有效信息的优势提取了源图像的深度特征，最后利用模糊神经网络能够解决融合过程中出现的模糊和不确定的问题，得到的融合图像保留了医学源图像CT和MR丰富的纹理特征和清晰的边缘信息，视觉特性和信息含量也显著改善。
技术实现思路
为了将多模态医学图像中病灶部位的纹理细节表征更充分，边缘更清晰，本专利技术基于Gabor表示的多CNN组合Gabor-CNNs(G-CNNs)与模糊神经网络的方法对多模态医学图像进行融合。为了达到上述目的，本专利技术采用了下列技术方案：基于多CNN组合和模糊神经网络的多模态医学图像融合，包括以下步骤：步骤1，将训练数据集CT和MR图像通过由16个比例和方向不同的Gabor滤波器组成的滤波器组滤波后，得到16个CT和MR的不同Gabor表示对：和i＝1,...,16，该表示具有多个不同方向的细节纹理信息来增强源图像的纹理特征，然后分别使用每对Gabor表示对：和i＝1,...,16来训练相应的16个G-CNN，16个G-CNN组成为G-CNNs，由于训练每个G-CNN的数据集都是不同纹理方向的，故每个G-CNN表征纹理的信息是不同的。步骤2，将每对Gabor表示放入相对应的G-CNN进行初步融合，然后利用模糊神经网络将G-CNNs的多个输出进行融合得到最后的融合图像。进一步，将医学图像进行Gabor表示可增强源图像的纹理特征和获取更多的边缘细节，使融合后的图像包含更多关于相关病灶部位的纹理和边缘信息。为了得到给定医学图像的CT和MR的Gabor表示，需要设计一组不同尺度和方向的Gabor滤波器组。CT和MR图像均为二维灰度图像，因此定义一组二维Gabor滤波器，所述步骤1中滤波器组为一组二维Gabor滤波器，其公式为：式(1)中，U表示滤波器组的方向，选择为0°、90°、180°和270°；V表示滤波器组的尺度，设定为4、8、16和32；z＝(x,y)表示像素的位置，kv＝kmax/fv，φu＝πu/8，kmax为最大频率，f是频域中滤波器之间的间距因子。根据式(1)可知滤波器可以设置不同的U方向和V尺度，显示出医学图像的不同Gabor表示。再进一步，所述步骤1中得到16个CT和MR的不同Gabor表示对：和i＝1,...,16，具体通过以下公式获得特定方向u和v尺度的CT和MR的Gabor表示：GaborCT(u,v)(z)＝I(z)*ψu,v(z)for0≤u≤U-1,0≤v≤V-1(2)GaborMR(u,v)(z)＝I(z)*ψu,v(z)for0≤u≤U-1,本文档来自技高网...

【技术保护点】
1.基于多CNN组合和模糊神经网络的多模态医学图像融合，其特征在于，包括以下步骤：/n步骤1，将训练数据集CT和MR图像通过由16个比例和方向不同的Gabor滤波器组成的滤波器组滤波后，得到16个CT和MR的不同Gabor表示对：

【技术特征摘要】
1.基于多CNN组合和模糊神经网络的多模态医学图像融合，其特征在于，包括以下步骤：
步骤1，将训练数据集CT和MR图像通过由16个比例和方向不同的Gabor滤波器组成的滤波器组滤波后，得到16个CT和MR的不同Gabor表示对：和i＝1,...,16，然后分别使用每对Gabor表示对：和i＝1,...,16来训练相应的16个G-CNN，16个G-CNN组成为G-CNNs；
步骤2，将每对Gabor表示对放入相对应的G-CNN进行初步融合，然后利用模糊神经网络将G-CNNs的多个输出进行融合得到最后的融合图像。


2.根据权利要求1所述的基于多CNN组合和模糊神经网络的多模态医学图像融合，其特征在于，所述步骤1中滤波器组为一组二维Gabor滤波器，其公式为：



式(1)中，U表示滤波器组的方向，选择为0°、90°、180°和270°；V表示滤波器组的尺度，设定为4、8、16和32；z＝(x,y)表示像素的位置，kv＝kmax/fv，φu＝πu/8，kmax为最大频率，f是频域中滤波器之间的间距因子。


3.根据权利要求2所述的基于多CNN组合和模糊神经网络的多模态医学图像融合，其特征在于，所述步骤1中得到16个CT和MR的不同Gabor表示对：和具体通过以下公式获得特定方向u和v尺度的CT和MR的Gabor表示：
GaborCT(u,v)(z)＝I(z)*ψu,v(z)for0≤u≤U-1,0≤v≤V-1(2)
GaborMR(u,v)(z)＝I(z)*ψu,v(z)for0≤u≤U-1,0≤v≤V-1(3)
式(2)式(3)中，I(z)表示给定图像，ψu,v(z)表示滤波器，*表示卷积操作，GaborCT(u,v)(z)和GaborMR(u,v)(z)是给定图像的CT和MR的Gabor表示。


4.根据权利要求1所述的基于多CNN组合和模糊神经网络的多模态医学图像融合，其特征在于，所述G-CNN由特征提取、特征融合和图像重建三部分组成；
所述特征提取：将3×224×224的GaborCT和GaborMR图像输入到G-CNN中，采用两个卷积层从输入的基于Gabor表示的源图像中提取深度特征，采用在ImageNet上预先训练的高级ResNet101的第一卷积层作为第一卷积层CONV1，CONV1包含64个大小为7×7的卷积核，步长和填充参数分别设置为1和3；加入第二卷积层CONV2，CONV2的核数和核大小分别设置为64和3×3，CONV2的步长和填充参数设置为1，CONV2设置ReLU激活函数和批处理规范化函数，通过两个卷积层的卷积操作，分别得到64个224×224的GaborCT和GaborMR图像的特征图；
所述特征融合：在融合过程中，利用元素级融合规则来融合多个输入的卷积特征，如公式(4)所示：

【专利技术属性】
技术研发人员：王丽芳，张晋，王蕊芳，张炯，米嘉，刘阳，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西;14