基于多输入卷积神经网络的sMRI图像分类方法和装置制造方法及图纸

本发明专利技术公开一种基于多输入卷积神经网络精神分裂症sMRI图像分类方法，包括：采集精神分裂症与正常人的结构磁共振成像影像数据；对sMRI图像数据进行预处理分别得到未做平滑处理和空间平滑后的灰质密度图像，并构建原始数据集；将原始数据集送入多输入卷积神经网络模型中训练，最后将sMRI影像数据输入到该多输入卷积神经网络模型中，最终输出分类结果。本发明专利技术将未做空间平滑处理和空间平滑后影像输入至多输入卷积神经网络中，可以弥补空间平滑中丢失的sMRI影像中的高频信息，同时由于未做平滑处理的图像中包含的噪声可增强卷积神经网络的泛化能力，能有效的解决精神分裂症sMRI图像分类中准确度不高的问题。

An image classification method and device for MRI based on multi input convolutional neural network

【技术实现步骤摘要】
基于多输入卷积神经网络的sMRI图像分类方法和装置
本专利技术涉及一种基于多输入卷积神经网络的sMRI图像分类方法和装置，属于图像处理和人工智能

技术介绍
磁共振成像(MagneticResonanceImaging，MRI)是一种较新的医学成像技术，它采用静磁场和射频磁场使人体组织成像，在成像过程中，既不用电子离辐射、也不用造影剂就可获得高对比度的清晰图像。随着磁共振成像的广泛应用，对建立准确细致的磁共振影像模型库提出了更高的要求。传统的磁共振影像模型库的建立，依赖专业技术人员的人工检索和分类，但是检索效率低、精度差，且工作量日益增大。近些年来，人工智能成为科学与应用研究的主流方向，而深度学习作为人工智能最受关注的领域，也取得了巨大的突破。许多国内外的科研机构和科研人员将深度学习这一新兴技术引入到智慧医疗领域。卷积神经网络（ConvolutionNeuralNetwork，CNN）是近几年发展起来的一种高效识别方法，已经成为众多科学领域的研究热点。但是目前将CNN应用在模式分类领域，尤其是精神分裂症结构磁共振成像（structuralMagneticResonanceImaging，sMRI）图像分类领域，还存在研究较少、识别精度不高且模型的训练速度较慢等问题。因此，亟需一种分类精度更高的方法，为研究人员建立精度更高的模式数据库提供参考，节约人力同时提高工作效率。
技术实现思路
本专利技术针对目前精神分裂症sMRI图像分类精度不高、模型训练速度较慢等问题，提出一种基于多输入卷积神经网络的sMRI图像分类方法和装置，利用多输入CNN解决了空间平滑造成sMRI影像图像高频信息的丢失的问题，明显提高了识别首发精神分裂症患者与正常人的结构图像的识别率。本专利技术为解决上述技术问题采用以下技术方案:本专利技术公开了一种基于多输入卷积神经网络的精神分裂症sMRI图像分类方法，具体包括以下步骤：采用磁共振扫描仪进行磁共振T1影像数据采集，获得sMRI（structuralMagneticResonanceImaging，结构磁共振成像）图像；对所获得的sMRI图像数据进行数据预处理，获得未做平滑处理的三维灰质密度图像和空间平滑后的三维灰质密度图像；将未做平滑处理的三维灰质密度图像和空间平滑后的三维灰质密度图像均按照Z轴切片，去除切片化后无特征信息的切片图像，构建包括原始的未做空间平滑处理和空间平滑处理后的数据集，该数据集由精神分裂症与正常人的数据构成；；建立多输入卷积神经网络模型，所述卷积神经网络模型包括两个输入卷积神经网络，每个输入卷积神经网络有三个卷积层和一个池化层；通过一个特征融合层将两个输入卷积神经网络提取的特征进行融合，特征融合层后连接两个全连接层，在每个全连接层后加入一个批归一化层；初始化隐层神经元个数、卷积核的大小、迭代次数和学习率；将空间平滑后的数据输入至多输入卷积神经网络的一个输入，将未做平滑处理的数据输入到至多输入卷积神经网络模型另外一个输入，对多输入卷积神经网络模型进行训练，最终得到最优的多输入卷积神经网络模型；将测试集图像送入最优多输入卷积神经网络模型，最后识别出精神分裂症患者与正常人的图像。本专利技术未做空间平滑处理和空间平滑后影像输入至多输入卷积神经网络中，可以弥补空间平滑中丢失的sMRI影像中的高频信息，同时由于未做平滑处理的图像中包含的噪声可增强卷积神经网络的泛化能力，能有效的解决精神分裂症sMRI图像分类中准确度不高的问题。进一步地，对所获得的sMRI图像数据进行预处理，获得未做平滑处理的三维灰质密度图像和空间平滑后的三维灰质密度图像，具体包括如下步骤：步骤1，对所有待分析的原始sMRI图像做仿射变换，然后进行局部非线性变换校正，得到空间标准化的大脑图像；步骤2，通过利用大脑脑组织的先验概率分布和图像灰度值对比脑结构，将空间标准化后的大脑图像分割出灰质密度图像，得到未做平滑去噪的灰质密度图像；步骤3，对未做平滑去噪的灰质密度图像，利用高斯平滑核进行空间平滑得到平滑去噪后的灰质密度图像；步骤4，对未做平滑去噪的灰质密度图像和平滑去噪后的灰质密度图像，分别利用DARTEL算法配准生成最优的模板，然后向MNI空间进行标准化，得到获得未做平滑处理的三维灰质密度图像和空间平滑后的两个三维NII格式灰质密度图像。再进一步地，利用DARTEL算法配准生成最优的模板，具体步骤如下:步骤1，将所有分割获得的灰质密度图像取平均，得到灰质平均图像；步骤2，将灰质平均图像作为初始的模板，利用流场理论，对每一个灰质密度图像分别进行模板配准；步骤3，对配准后的图像再次取平均，得到下次迭代的模板；步骤4，重复此过程直至有两次的平均值取得相同数值时得到最优的模板为止。进一步地，在利用DARTEL算法配准的过程中，将每个像素点的体积变化信息J存储在Jacobian行列式中，Jacobian行列式如下：其中（x,y,z）和（x’,y’,z’）分别为配准前后的图像对应的像素点。进一步地，所述方法还包括：灰质密度图像对应的整型标签转换为onehot标签。进一步地，将未做空间平滑处理和空间平滑处理的sMRI数据进行Zeropadding边缘填充，得到两个像素矩阵；将两个像素矩阵分别送入多输入卷积神经网络的第一个卷积层中进行低层特征的提取，第一个卷积层中包含a个隐层神经元，卷积核的大小采用m×m；后将低层特征输入至第二个卷积层中进行特征的提取，第二个卷积层中包含b个隐层神经元，卷积核的大小采用n×n；其后将第二层中提取的特征输入至第三个卷积层中进行抽象特征的提取，第三个卷积层中包含c个隐层神经元，卷积核的大小采用h×h；接着就是对卷积层提取的特征进行最大池化处理得到全局特征，pooling的尺寸为s×s；最后将两个输入提取的全局特征通过特征融合层进行特征融合，然后将融合后的特征输入两个全连接层中进行分类，并且每个全连接层后加入一个批归一化层，Dropout；整个过程所采用的的激活函数均为ReLU函数。进一步地卷积神经网络的训练过程如下：首先卷积神经网络前向传播，然后误差反向传播更新，计算损失函数对每个权重的偏导数，然后使用梯度下降法对权重进行更新，其数学公式如下：其中，误差为z,输入为xi,权重参数wi，j为随机梯度下降的步长，vec()代表向量标记，此处将张量运算转换向量运算。进一步地，步骤四中将训练数据送入所述卷积神经网络，对卷积神经网络进行训练，输出损失函数值及准确率，通过调参降低损失函数来提升该多输入卷积神经网络模型的性能。将待分类的sMRI图像输入到该所输入卷积神经网络；利用softmax函数计算分类结果；所述softmax函数的表达式如下：其中softmax(y)i为输入第i个数据的分类结果，yj为每个类别对应的线性得分，yi为神经网络的输出，yi’为softmax处理后的输出，n为分类总本文档来自技高网...

【技术保护点】
1.基于多输入卷积神经网络的精神分裂症sMRI图像分类方法，其特征在于，具体包括以下步骤：/n采用磁共振扫描仪进行磁共振T1影像数据采集，获得sMRI图像；/n对所获得的sMRI图像数据进行数据预处理，获得未做平滑处理的三维灰质密度图像和空间平滑后的三维灰质密度图像；/n将未做平滑处理的三维灰质密度图像和空间平滑后的三维灰质密度图像分别按照Z轴切片，去除切片后无特征信息的切片图像，构建包括原始的未做空间平滑处理和空间平滑处理后的数据集，数据集由精神分裂症与正常人的数据构成；/n建立多输入卷积神经网络模型，所述卷积神经网络模型包括两个输入卷积神经网络，每个输入卷积神经网络有三个卷积层和一个池化层；通过一个特征融合层将两个输入卷积神经网络提取的特征进行融合，特征融合层后连接两个全连接层，在每个全连接层后加入一个批归一化层；初始化隐层神经元个数、卷积核的大小、迭代次数和学习率；/n将空间平滑后和未做平滑处理的sMRI数据分别输入到两个输入卷积神经网络，对多输入卷积神经网络模型进行训练，最终得到最优的多输入卷积神经网络模型；将测试集图像送入最优多输入卷积神经网络模型，最后识别出精神分裂症患者与正常人的图像。/n...

【技术特征摘要】
1.基于多输入卷积神经网络的精神分裂症sMRI图像分类方法，其特征在于，具体包括以下步骤：
采用磁共振扫描仪进行磁共振T1影像数据采集，获得sMRI图像；
对所获得的sMRI图像数据进行数据预处理，获得未做平滑处理的三维灰质密度图像和空间平滑后的三维灰质密度图像；
将未做平滑处理的三维灰质密度图像和空间平滑后的三维灰质密度图像分别按照Z轴切片，去除切片后无特征信息的切片图像，构建包括原始的未做空间平滑处理和空间平滑处理后的数据集，数据集由精神分裂症与正常人的数据构成；
建立多输入卷积神经网络模型，所述卷积神经网络模型包括两个输入卷积神经网络，每个输入卷积神经网络有三个卷积层和一个池化层；通过一个特征融合层将两个输入卷积神经网络提取的特征进行融合，特征融合层后连接两个全连接层，在每个全连接层后加入一个批归一化层；初始化隐层神经元个数、卷积核的大小、迭代次数和学习率；
将空间平滑后和未做平滑处理的sMRI数据分别输入到两个输入卷积神经网络，对多输入卷积神经网络模型进行训练，最终得到最优的多输入卷积神经网络模型；将测试集图像送入最优多输入卷积神经网络模型，最后识别出精神分裂症患者与正常人的图像。


2.根据权利要求1所述的基于多输入卷积神经网络的精神分裂症sMRI图像分类方法，其特征在于，对所获得的sMRI图像数据进行数据预处理，获得未做平滑处理的三维灰质密度图像和空间平滑后的三维灰质密度图像，具体包括如下步骤：
步骤1，对所有待分析的原始sMRI图像做仿射变换，然后进行局部非线性变换校正，得到空间标准化的大脑图像；
步骤2，通过利用大脑脑组织的先验概率分布和图像灰度值对比脑结构，将空间标准化后的大脑图像分割出灰质密度图像，得到未做平滑去噪的灰质密度图像；
步骤3，对未做平滑去噪的灰质密度图像，利用高斯平滑核进行空间平滑得到平滑去噪后的灰质密度图像；
步骤4，对未做平滑去噪的灰质密度图像和平滑去噪后的灰质密度图像，分别利用DARTEL算法配准生成最优的模板，然后向MNI空间进行标准化，得到获得未做平滑处理的三维灰质密度图像和空间平滑后的两个三维NII格式灰质密度图像。


3.根据权利要求2所述的基于多输入卷积神经网络的精神分裂症sMRI图像分类方法，其特征在于，利用DARTEL算法配准生成最优模板的具体步骤如下：
步骤1，将所有分割获得的灰质密度图像取平均，得到灰质平均图像；
步骤2，将灰质平均图像作为初始的模板，利用流场理论，对每一个灰质密度图像分别进行模板配准；
步骤3，对配准后的图像再次取平均，得到下次迭代的模板；
步骤4，重复此过程直至有两次的平均值取得相同数值时得到最优的模板为止。


4.根据权利要求2所述的基于多输入卷积神经网络的精神分裂症sMRI图像分类方法，其特征在于，在利用DARTEL算法配准的过程中，将每个像素点的体积变化信息J存储在Jacobian行列式中，Jacobian行列式如下：



其中（x,y,z）和（x’,y’,z’）分别为配准前后图像对应的像素点。


5.根据权利要求1所述的基于多输入卷积神经网络的精神分裂症sMRI图像分类方法，其特征在于，所述方法还包括：灰质密度图像对应的整型标签转换为onehot标签。


6.根据权利要求1所述的基于多输入卷积神经网络的精神分裂症sMRI图像分类方法，其特征在于，将空间平滑后的数据输入至多输入卷积神经网络的一个输入，将未做平滑处理的数据输入到至多输入卷积神经网络模型另外一个输入，然后进行训练，包含如下步骤：
将未做空间平滑处理和空间平滑处理的sMRI数据进行Zeropadding边缘填充，得到两个像素矩阵；
将两个像素矩阵...

【专利技术属性】
技术研发人员：李文梅，李壮壮，闫伟，张荣荣，袁媛，谢世平，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32