基于STN的自闭症大脑磁共振图像可视化方法技术

本发明专利技术公开了一种基于STN的自闭症大脑磁共振图像可视化方法，采集自闭症患者的大脑核磁共振图像作为训练样本，然后利用训练样本对STN模型进行训练，得到变换后的图像；根据STN模型训练变换后的图像输送至卷积神经网络训练，实现对自闭症患者的大脑核磁共振图像的可视化。本发明专利技术的STN模型在卷积神经网络模型的基础上对自闭症大脑磁共振图进行处理，实现自动识别检测且可视化效果良好的，较卷积神经网络模型有明显的提升，便于辅助医学研究者定量分析和研究。分析和研究。分析和研究。

【技术实现步骤摘要】
基于STN的自闭症大脑磁共振图像可视化方法


[0001]本专利技术属于核磁共振图像病症可视化
，具体涉及一种基于STN的自闭症大脑磁共振图像可视化方法。

技术介绍

[0002]近些年来，计算机视觉领域已经发生了翻天覆地的变化，不断地向前发展，卷积神经网络模型已经在分类、目标检测、图像分割以及动作识别等方面取得不错的成就。卷积神经网络定义了非常强大的模型类别，但是由于最大池化在平移，缩放，旋转和更多通用变形的不变性的变换范围通常很小，仍受到了缺乏对输入图像不变性的限制。
[0003]在这种情况下，空间变换网络(STN,Spatial Transformer Network)模块可以包含到现有的卷积神经网络架构中，与卷积神经网络中的池化层不同，在池化层是固定的、局部的，空间变换器模块是一种动态机制，可以在整个特征图上(非局部)执行变换，能够主动对输入的原始图像或者卷积输出的特征图进行空间变换，具有良好的空间转换能力，空间转换网络不仅可以选择图像中最相关的区域，还可以使用标准反向传播训练，进行端到端训练,实现自动识别检测且可视化效果良好的，较卷积神经网络模型有明显的提升，便于辅助医学研究者定量分析和研究。

技术实现思路

[0004]本专利技术的目的就是针对上述技术的不足，提供一种自动识别检测且可视化效果良好的基于STN的自闭症大脑磁共振图像可视化方法。
[0005]为实现上述目的，本专利技术所设计的基于STN的自闭症大脑磁共振图像可视化方法，具体如下：
[0006]1)采集自闭症患者的大脑核磁共振图像作为训练样本；
[0007]2)利用训练样本对STN模型进行训练，得到变换后的图像；
[0008]21)构建STN模型，并随机初始化网络参数；
[0009]构建STN模型，该STN模型包括定位网络(Localisation Network)、网格生成器(Grid Generator)、采样器(Samper)三部分，其中：Localisation Network是一个小型的卷积神经网络，输入的特征图U经过多个卷积层和池化层后，再经过全连接、回归层，生成空间变换参数θ(2x3的矩阵)，注意在图像输入STN网络前初始化该参数θ；Grid Generator利用Localisation Network产生的参数θ进行仿射变换，找到对应于输入的特征图U的空间位置；Samper利用Grid generator产生的位置信息，利用双线性插值根据输入特征图U进行采样生成输出特征图V，使得整个网络可以进行端到端反向传播训练；
[0010]22)自闭症患者的大脑核磁共振图像作为输入层；
[0011]N张自闭症患者的大脑核磁共振图像作为STN模型的输入层，输入层采用的是分辨率大小为H
×
L的MRI图像，H代表的是MRI图像的高度，L代表的是MRI图像的宽度；将MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入
为向量则向量中的每个元素x
i
的值即对应着输入层对应的每个神经元i，神经元的输出值a
i,1
也是输入向量本身；
[0012]23)Localisation Network构造有m个卷积层，对步骤22)自闭症患者的大脑核磁共振图像进行卷积；
[0013]卷积层Conv1层的卷积核的个数为n个、尺寸大小F1，步长stride记为S
C1
，特征图填充圈数为padding-F1，MRI图像作为STN网络的输入层，采用n个卷积核对步骤22)中MRI图像进行卷积，因此得到了Conv1层卷积后特征图分辨率大小为Hc1×
Lc1，通道数为Dc1，即：
[0014]Hc1＝(H-F1+2
×
Padding-F1)/SC1+1，Lc1＝(L-F1+2
×
Padding-F1)/SC1+1，Dc1＝n，
[0015]由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重和偏置b
l
，其中代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W
l
，b
l
代表从l-1层到l层的偏置；因此Conv1层在采用n个卷积核对步骤22)中MRI图像进行卷积时，可以得到该卷积层的神经元连接到输入层神经元的权重为W
l
(W2)，一个偏置为b
l
(b2)，Conv1层的输出为a
i,2
＝σ(z
i,2
)＝σ(W2a
i.1
+b2)，其中σ为激励函数Relu，a
i,l
代表第l层的第i个神经元输出值；
[0016]24)Localisation Network构造有m个池化层，Pool1层对Conv1层卷积后特征图进行池化；
[0017]池化层的Pool1层采用池化核的个数为n，尺寸大小为P1，步长Stride记为SP1，特征图填充圈数为padding-P1，对Conv1层所得到的每一张卷积后特征图进行降维采样，得到Pool1层池化后特征图分辨率大小H
P1
×
L
P1
，通道数为S
P1
：
[0018]Hp1＝(Hc
1-P1+2
×
padding-P1)/SP1+1,Lp1＝(Lc
1-P1+2
×
padding-P1)/SP1+1,Sp1＝n,
[0019]Pool1层在池化Conv1层卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a
i,3
＝pool(a
i,2
)；
[0020]25)交替循环步骤23)和步骤24)直至完成预设的卷积、池化层数m后，停止卷积和池化；
[0021]26)Localisation Network构造中采用全连接层FC连接步骤25)得到的特征图，由于Localisation Network中生成了仿射变化所需要的六个参数值，即FC层最后输出的维度也为6，即A
θ
，注意在图像输入STN网络前初始化该参数A
θ
；
[0022]27)Grid Generator将步骤25)得到的特征图上的某一位置根据步骤26)Localisation Network产生的参数A
θ
进行仿射变换T
θ
(G
i
)得到输入特征图的某一位置
[0023][0024]其中：θ为上一步中Localisation Network输出的参数，为输入特征图位
置i的坐标，为输入特征图位置i的坐标；
[0025]28)Samper利用步骤27)Grid generat本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于STN的自闭症大脑磁共振图像可视化方法，其特征在于：所述可视化方法具体如下：1)采集自闭症患者的大脑核磁共振图像作为训练样本；2)利用训练样本对STN模型进行训练，得到变换后的图像；3)将STN模型训练变换后的图像输送至卷积神经网络训练，实现对自闭症患者的大脑核磁共振图像的可视化；对变换后的图像使用卷积层和池化层交替进行，更深次地提取自闭症大脑磁共振图像的特征，最后采用一层全连接层连接特征图，采用softmax分类器输出每个类别，以此实现自闭症大脑磁共振图像可视化；4)定义整个网络，即STN模型和卷积神经网络的损失函数；损失函数由输出层的标签值和图像实际类别构成的交叉熵损失函数：式中：n为训练自闭症大脑磁共振图像样本的总数，x为其中的某一个样本，M为类别的数量，p
xc
为神经网络输出的样本x属于类别c的预测概率，y
xc
为该样本的真实标签；5)根据损失函数并计算梯度值，对整个网络进行反向传播，从而对整个网络的参数进行更新；6)循环步骤2)至步骤5)进行多次迭代，不断更新整个网络的参数，直到实际的误差值的变化量小于停止迭代阈值ε时停止迭代，确定权值，阈值以及STN模型的参数值，最终实现自闭症大脑磁共振图像可视化。2.如权利要求1所述的一种基于STN的自闭症大脑磁共振图像可视化方法，其特征在于：步骤2)的具体实现方式如下：21)构建STN模型，并随机初始化网络参数；构建STN模型，该STN模型包括定位网络Localisation Network、网格生成器Grid Generator、采样器Samper三部分，其中：Localisation Network是一个小型的卷积神经网络，输入的特征图U经过多个卷积层和池化层，再经过全连接、回归层，生成空间变换参数θ，并初始化该参数θ；Grid Generator利用Localisation Network产生的参数θ进行仿射变换，找到对应于输入的特征图U的空间位置；Samper利用Grid generator产生的位置信息，利用双线性插值根据输入特征图U进行采样生成输出图像V，使得整个网络进行端到端反向传播训练；22)自闭症患者的大脑核磁共振图像作为输入层；23)Localisation Network构造有m个卷积层，对步骤22)自闭症患者的大脑核磁共振图像进行卷积；24)Localisation Network构造有m个池化层，对步骤23)卷积后特征图进行池化；25)交替循环步骤23)和步骤24)直至完成预设的卷积、池化层数m后，停止卷积和池化；26)Localisation Network构造中采用全连接层FC连接步骤25)得到的特征图，生成了仿射变化所需要的参数A
θ
；27)Grid Generator将步骤25)得到的特征图上的某一位置根据步骤26)
Localisation Network产生的参数A
θ
进行仿射变换T
θ
(G
i
)得到输入特征图的某一位置)得到输入特征图的某一位置其中：θ为上一步中Localisation Network输出的参数，为输入特征图位置i的坐标，为输入特征图位置i的坐标；28)Samper利用步骤27)Grid generator采样到的位置信息，使用双线性插值根据输入特征图U生成输出图像V，让整个网络进行端到端反向传播训练，然后将输出的图像V输送到后面的主卷积神经网络中；29)循环训练步骤23)至步骤28)进行若干次迭代，不断更新STN模型参数，使得更能显著地表示出图像信息。3.根据权利要求2所述基于STN的自闭症大脑磁共振图像可视化方法，其特征在于：步骤22)中，将N张自闭症患者的大脑核磁共振图像作为STN模型的输入层，输入层采用的是分辨率大小为H
×
L的MRI图像，H代表的是MRI图像的高度，L代表的是MRI图像的宽度，将MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量则向量中的每个元素x
i
的值即对应着输入层对应的每个神经元i，神经元的输出值a
i,1
也是输入向量本身。4.根据权利要求2所述基于STN的自闭症大脑磁共振图像可视化方法，其特征在于：所述步骤23)中，具体过程如下：卷积层Conv1层的卷积核的个数为n个、尺寸大小F1，步长strid...

【专利技术属性】
技术研发人员：柯丰恺，刘欢平，赵大兴，孙国栋，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：