基于3DGrad-CAM的自闭症大脑磁共振图像可视化方法技术

本发明专利技术公开了一种基于3D Grad

【技术实现步骤摘要】
基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法


[0001]本专利技术属于核磁共振图像病症可视化
，具体涉及一种基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法。

技术介绍

[0002]自从深度学习(Deep Learning)在Science被提出以来，深度学习重新回到大众的视野，伴随着计算机技术的发展，越来越被广泛的关注和研究，新的深度学习网络不断地被提出和改进，网络也向着更复杂、更深的方向前进。逐渐地，神经网络逐渐在计算机视觉、音视频处理、自然语言处理、精确导航等各个领域取得了越来越大的成就，表现出了在准确率上的良好性能。
[0003]CNN模型可解释问题即CNN的可视化问题在学术界很早就开始被研究，例如两个经典的方法：反卷积(Deconvolution)和导向反向传播(Guided-backpropagation)。虽然通过它们能在这些反向传播的图像上看到卷积层学习到的图像类别的轮廓，但是对类别并不敏感，基本不能解释分类的结果。而类激活映射网络(CAM，class activation map)模型通常与卷积神经网络结合在一起使用，它将神经网络经过多次卷积和池化之后的特征图进行了综合，以单个神经元的形式进行配比，以热度图的形式显示相应感兴趣的区域，能够很好实现可视化，但缺点很明显，它使用GAP替换了最后的全连接层，改变了模型结构，从而导致需要重新训练模型，因此训练的成本非常高，这大大限制了它的使用场景。

技术实现思路

[0004]本专利技术的目的就是针对上述技术的不足，提供一种自动识别检测且可视化效果良好的基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法。梯度加权的类激活映射网络Grad-CAM模型克服了这个缺点，不需要修改网络，且可以加载到任意网络架构上，能够更好地实现可视化，从识别区域的准确性和意义来看，定量分析更准确。
[0005]为实现上述目的，本专利技术所设计的基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法，具体如下：
[0006]1)采集自闭症患者的大脑核磁共振图像作为训练样本；
[0007]2)利用训练样本对3D Grad-CAM模型进行训练，得到训练后的网络参数即系数矩阵W和偏倚向量b值；
[0008]21)构建3D Grad-CAM模型，并随机初始化网络参数；
[0009]构建3D Grad-CAM模型，该3D Grad-CAM模型包括输入层、卷积层、池化层、全连接层及输出层，并对3D Grad-CAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值为一个随机值；
[0010]22)3D Grad-CAM网络第一次正向迭代；
[0011]23)3D Grad-CAM网络第一次反向迭代；
[0012]24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权
重W
l
，偏置b
l
的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重W
l
和偏置b
l
；
[0013]25)采用一层全连接层连接步骤24)后特征图所对应的数据值形成一个特征向量，使用SoftMax分类器将特征向量分类输送至输出层，并输出每个类别概率分数；
[0014]3)根据不同的磁共振图像创建可视化热度图；
[0015]31)计算特征图的加权权重，获得可视化热度图；
[0016]32)将步骤31)得到多张热力图进行热力图归一化，展开成所需的自闭症患者的大脑核磁共振图像的大小，将特征图相加，然后按某一维度进行图像二维显示，实现了基于3D Grad-CAM的自闭症大脑磁共振图像可视化。
[0017]进一步地，所述步骤22)中，具体过程如下：
[0018]221)自闭症患者的大脑核磁共振图像作为输入层；
[0019]n张自闭症患者的大脑核磁共振图像堆叠形成一个3D MRI图像，分辨率大小为H
×
L
×
D的3D MRI图像，H代表图像的高度，L代表图像的宽度，D代表图像的深度，将该3D MRI图像作为3D Grad-CAM模型的输入层，把MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量则向量中的每个元素x
i
的值即对应着输入层对应的每个神经元i，神经元的输出值a
i,1
也是输入向量本身；
[0020]222)卷积层Conv 1a层采用N个大小为F0的三维卷积核对步骤1)自闭症患者的大脑核磁共振图像进行三维卷积；
[0021]卷积层Conv 1a层的三维卷积核的个数为N个、尺寸大小F0，步长stride记为S
C1
，特征图填充圈数为padding-F1，3D MRI图像作为3D Grad-CAM网络的输入层，采用N个三维卷积核对步骤221)中3D MRI图像进行三维卷积，有多少个卷积核，可以得到多少个特征图像，因此得到Conv 1a卷积后的特征图数量为N，分辨率大小为Hc1×
Lc1×
Dc1，即：
[0022]Hc1＝(H-F0+2
×
Padding-F1)/S
C1
+1
[0023]Lc1＝(L-F0+2
×
Padding-F1)/S
C1
+1
[0024]Dc1＝(D-F0+2
×
Padding-F1)/S
C1
+1
[0025]由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重和偏置b
l
，其中代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W
l
，b
l
代表从l-1层到l层的偏置；因此Conv 1a层在采用N个三维卷积核对步骤221)中3D MRI图像进行卷积时，可以得到该卷积层的神经元连接到输入层神经元的的权重为W
l
(W2)，一个偏置为b
l
(b2)，Conv 1a层的输出为a
i,2
＝σ(z
i,2
)＝σ(W2a
i,1
+b2)，其中σ为激励函数Relu，a
i,l
代表第l层的第i个神经元输出值；
[0026]223)池化层的Pool 1层对Conv 1a层三维卷积后特征图进行池化；
[0027]池化层的Pool 1层采用池化核尺寸大小为p0，步长Stride记为S
P1
，特征图填充圈数为padding-P1，对Conv 1a层所得到的每一张三维卷积后特征图进行降维采样，得到Pool 1层池化后的特征图数量为N，分辨率大小H
p1
×
L
p1
×<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D Grad-CAM的大脑核磁共振异常图像的可视化方法，其特征在于，所述可视化方法具体如下：1)采集自闭症患者的大脑核磁共振图像作为训练样本；2)利用训练样本对3D Grad-CAM模型进行训练，得到训练后的网络参数即系数矩阵W和偏倚向量b值；21)构建3D Grad-CAM模型，并随机初始化网络参数；构建3D Grad-CAM模型，该3D Grad-CAM模型包括输入层、卷积层、池化层、全连接层及输出层，并对3D Grad-CAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值为随机值；22)3D Grad-CAM网络第一次正向迭代；23)3D Grad-CAM网络第一次反向迭代；24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权重W
l
，偏置b
l
的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重W
l
和偏置b
l
；25)采用全连接层连接步骤24)每一张池化后特征图所对应的数据值形成一个特征向量，将特征向量分类输送至输出层，并输出多个类别；步骤3)根据不同的磁共振图像创建可视化热度图；31)计算特征图的加权权重，获得可视化热度图；为了得到任一个类别C的类激活图首先需要计算类别C的得分梯度，即使用步骤25)中对应类别C的分类得分y
C
对最后一个卷积层输出的所有特征层A
k
进行偏导，即对这些梯度信息进行全局平均池化来获得一组权重对这些梯度信息进行全局平均池化来获得一组权重式(1)中：为第k特征图对应类别C的加权权重，Z为特征图的个数，为第k个特征图中(i，j)位置的像素值，y
C
为对应类别C的分类得分；接着通过对各个特征图加权求和，并对加权结果取一个激活函Relu，获得不同的Grad-CAM热力图：式(2)中：为对应类别C的激活图，A
k
为第k个特征图；32)将步骤31)得到多张热力图进行热力图归一化，展开成所需的自闭症患者的大脑核磁共振图像的大小，将特征图相加，然后按某一维度进行图像二维显示，实现了基于3D Grad-CAM的自闭症大脑磁共振图像可视化。2.根据权利要求1所述基于3D Grad-CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述步骤22)中，具体过程如下：221)自闭症患者的大脑核磁共振图像作为输入层；
n张自闭症患者的大脑核磁共振图像堆叠形成一个3D MRI图像，分辨率大小为H
×
L
×
D的3D MRI图像，H代表图像的高度，L代表图像的宽度，D代表图像的深度，将该3D MRI图像作为3D Grad-CAM模型的输入层，把MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量则向量中的每个元素x
i
的值即对应着输入层对应的每个神经元i，神经元的输出值a
i,1
也是输入向量本身；222)卷积层Conv 1a层采用N个大小为F0为H0×
L0×
D0的三维卷积核对步骤1)的自闭症患者的大脑核磁共振图像进行三维卷积；卷积层Conv 1a层的三维卷积核的个数为N个、尺寸大小F0为H0×
L0×
D0，步长stride记为S
C1
，特征图填充圈数为padding-F1，3D MRI图像作为3D Grad-CAM网络的输入层，采用N个三维卷积核对步骤221)中3D MRI图像进行三维卷积，得到Conv 1a卷积后的特征图数量为N，分辨率大小为Hc1×
Lc1×
Dc1，即：Hc1＝(H-F0+2
×
Padding-F1)/S
C1
+1Lc1＝(L-F0+2
×
Padding-F1)/S
C1
+1Dc1＝(D-F0+2
×
Padding-F1)/S
C1
+1由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重和偏置b
l
，其中代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，记为W
l
，b
l
代表从l-1层到l层的偏置；因此Conv 1a层在采用N个三维卷积核对步骤221)中3D MRI图像进行三维卷积时，得到该卷积层的神经元连接到输入层神经元的权重为W
l
，一个偏置为b
l
，Conv 1a层的输出为a
i,2
＝σ(z
i,2
)＝σ(W2a
i,1
+b2)，其中σ为激励函数Relu，a
i,l
代表第l层的第i个神经元输出值；223)池化层的Pool 1层对Conv 1a层三维卷积后特征图进行池化；池化层的Pool 1层采用池化核尺寸大小为p0，步长Stride记为S
P1
，特征图填充圈数为padding-P1，对Conv 1a层所得到的每一张三维卷积后特征...

【专利技术属性】
技术研发人员：柯丰恺，刘欢平，赵大兴，孙国栋，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：