基于多任务学习和图卷积神经网络的影像分类方法及装置制造方法及图纸

本发明专利技术公开了一种基于多任务学习和图卷积神经网络的影像分类方法及装置，所述方法包括以下步骤：步骤1、分别提取每个影像的特征，每个影像的特征包括其对应的大脑D个感兴趣区域的M种形态学特征；步骤2、将每种形态学特征作为一个任务，其维度为D；基于多任务学习方法进行特征选择，得到每个影像的M种形态学特征向量；步骤3、构建基于图卷积神经网络的分类器，基于影像样本的M种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；步骤4、基于训练好的分类器对未知分类标签的影像进行分类。本发明专利技术能够提高影像的分类准确度。

Image classification method and device based on multi task learning and graph convolution neural network

【技术实现步骤摘要】
基于多任务学习和图卷积神经网络的影像分类方法及装置
本专利技术具体涉及一种基于多任务学习和图卷积神经网络的影像(如sMRI)分类方法及装置。
技术介绍
近年来，随着神经影像学的快速发展，包括X光成像技术、磁共振成像技术、计算机断层扫描技术、脑血管造影技术等被用于神经疾病的临床诊断。其中，磁共振成像技术因其对患者无损伤、图像对比度比较高以及能够提供多种模态类型的图像等优势，被广泛地应用到神经性疾病的研究和生物医学的基础研究中。常见的磁共振成像包括结构磁共振成像(structuralmagneticresonanceimaging,sMRI)、弥散张量成像(diffusiontensorimaging,DTI)、功能磁共振成像(functionalmagneticresonanceimaging,fMRI)。因此，磁共振成像技术给大脑神经科学的研究提供了新的思路和方向。结构磁共振成像(structuralmagneticresonanceimaging,sMRI)是利用氢原子来定位的为了产生某一组织结构的一项成像技术。sMRI可以从宏观和微观上反应大脑的形态结构变化及其与功能改变的关系，sMRI的空间分辨率高，可以绘制物体内部的清晰的结构图像。一般研究sMRI特征，通常基于形态学测量的分析方法是一种较为常用的方法。通过对比大脑不同时期的形态学特征的变化情况，可以发现一些病理结构变化。基于形态学测量的方法主要有两种：基于体素的形态学分析方法和基于感兴趣区域的形态学分析方法。基于体素的形态学分析通过定量计算分析核磁共振成像中每个体素的灰质和白质的变化来反应大脑解剖结构之间的差异。而基于感兴趣区域的形态学分析方法通常根据预先划分好的大脑区域，然后分析特定区域的形态学特征的变化情况。最常用的形态学特征包括大脑皮层厚度、表面积、灰质体积、折叠系数以及平均曲率等，这些形态学表征能很好的刻画大脑结构的性质和脑功能信息，并且为分析大脑结构提供了一种在同种个体之间去评估这些因素随时间变化的模式和程度的便捷方式。对于结构核磁共振成像，提取的多种不同形态学特征，它们之间既是相互独立的，同时不同形态学特征之间又是彼此相关联的。例如皮层厚度、灰质体积等基于形态学测量的特征，他们都是从不同的角度反映大脑的形态结构变化和内在的功能变化情况。但是，无论是只考虑某单一形态学特征对神经疾病的影响，还是将几种不同形态学特征级联成一个长特征向量进行研究，都无法充分利用这些特征的信息。为了更好的挖掘这些特征之间的潜在信息，既要考虑不同特征之间存在的差异，同时也要考虑它们之间的联系。如今，深度学习已经被广泛应用于影像的分类，深度学习能够直接通过使用具有不同层次结构的网络，从中学习原始特征的最佳表示，其提取数据底层复杂模式的表达能力也广受认可。在深度学习方法中，以人工神经网络构建带有人工神经元及其之间的连接的层来从中学习任务最为常见。因此由此必要设计一种能充分挖掘各种形态学特征之间的潜在信息，从而能够对影像进行准确分类的基于神经网络的影像方法。
技术实现思路
本专利技术所解决的技术问题是，针对现有技术的不足，提供一种基于多任务学习和图卷积神经网络的影像分类方法及装置，能够提高影像分类准确度。为实现上述目的，本专利技术的技术方案如下：一种基于多任务学习和图卷积神经网络的影像分类方法，包括以下步骤：步骤1、分别提取每个影像的特征，每个影像的特征包括其对应的大脑D个感兴趣区域的M种形态学特征；步骤2、将每种形态学特征作为一个任务，其维度为D；基于多任务学习方法进行特征选择，得到每个影像的M种形态学特征向量；步骤3、构建基于图卷积神经网络的分类器，基于影像样本的M种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；步骤4、基于训练好的分类器对未知分类标签的影像进行分类。进一步地，所述步骤1中，M＝9，九种形态学特征分别为结点个数、表面积、灰质体积、平均皮层厚度、皮层厚度标准差、平均曲率、高斯曲率、折叠系数以及曲率系数。进一步地，所述步骤2中，基于多任务学习方法进行特征选择的目标函数为：其中，Y为N个影像样本的分类标签构成的标签向量，Y＝(y1,y2,…,yN)T，yi表示第i个影像样本的标签；Xm为针对第m个任务，即第m种形态学特征构建的原始特征矩阵，其大小为N×D，N为影像样本的个数，其第i行表示第i个影像样本通过步骤1提取到其对应的大脑D个感兴趣区域的第m种形态学特征，m＝1,2,…,M；W表示所有任务所对应的权重矩阵，其大小为D×M，其第m列wm表示大脑D个感兴趣区域的第m种形态学特征的权重；Reg(W)为惩罚项，λ表示正则化约束值；求解目标函数，得到wm的最优解；基于wm的最优解，对每个影像通过步骤1提取到其对应的大脑D个感兴趣区域的第m种形态学特征进行特征选择，得到每个影像的第m种形态学特征向量(特征选择方法可以是：若wm中第d个维度的元素值为0，则将每个影像对应的大脑D个感兴趣区域的第m种形态学特征中，第d个感兴趣区域的第m种形态学特征删除，剩下的F个感兴趣区域的第m种形态学特征构成其第m种形态学特征向量)。进一步地，设定目标函数中的惩罚项Reg(W)，得到目标函数为：其中，λ1和λ2表示正则化约束参数，‖W‖2,1为权重矩阵W的L21范数，Lm＝Em-Sm表示第m个任务的拉普拉斯矩阵；Em是一个N×N的对角矩阵，其定义为是一个相似性矩阵，它的定义如下所示：进一步地，在目标函数中增加Frobenius范数正则化项，得到目标函数为：其中，‖W‖F为权重矩阵W的Frobenius范数，为wm第k个维度的元素值，λ3表示正则化约束参数。进一步地，所述步骤3中，基于影像的每一种形态学特征向量，分别构建一个图，用于相应的基于GCN的基分类器的训练和分类(预测)；图中每个节点为一个影像；在基于影像的第m种形态学特征向量构建的图G中，通过以下公式计算第a个节点与第b个节点之间权重G(a,b)：其中，x(a)和x(b)分别代表第a个节点与第b个节点的第m种形态学特征向量；ρ表示求两个形态学特征向量的相关距离，σ为自由参数；Mt(a)和Mt(b)分别表示第a个节点与第b个节点对应的个体第t种表型信息，β表示求两个表型信息的相似性；若G(a,b)≠0，则在图G中，第a个节点与第b个节点之间有一条边相连。进一步地，所述步骤3中，基于图卷积神经网络的分类器包括M个基于GCN的基分类器，每个基于GCN的基分类器利用一种形态学特征向量进行训练和分类(预测)；每个基于GCN的基分类器包括依次串联的L个图卷积层和一个Softmax函数层，每个图卷积层的传播规则如下：其中，是加了自环的邻接矩阵；是加了自环的度矩阵；H(l)为第l个图卷积层的输出，l＝1,2,…,L-1；W(l)是第l个图卷积层的参数矩阵，其行数等于H(l)的列数，其列数K本文档来自技高网...

【技术保护点】
1.一种基于多任务学习和图卷积神经网络的影像分类方法，其特征在于，包括以下步骤：/n步骤1、分别提取每个影像的特征，每个影像的特征包括其对应的大脑D个感兴趣区域的M种形态学特征；/n步骤2、将每种形态学特征作为一个任务，其维度为D；基于多任务学习方法进行特征选择，得到每个影像的M种形态学特征向量；/n步骤3、构建基于图卷积神经网络的分类器，基于影像样本的M种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；/n步骤4、基于训练好的分类器对未知分类标签的影像进行分类。/n

【技术特征摘要】
1.一种基于多任务学习和图卷积神经网络的影像分类方法，其特征在于，包括以下步骤：
步骤1、分别提取每个影像的特征，每个影像的特征包括其对应的大脑D个感兴趣区域的M种形态学特征；
步骤2、将每种形态学特征作为一个任务，其维度为D；基于多任务学习方法进行特征选择，得到每个影像的M种形态学特征向量；
步骤3、构建基于图卷积神经网络的分类器，基于影像样本的M种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；
步骤4、基于训练好的分类器对未知分类标签的影像进行分类。


2.根据权利要求1所述的基于多任务学习和图卷积神经网络的影像分类方法，其特征在于，所述步骤2中，基于多任务学习方法进行特征选择的目标函数为：



其中，Y为N个影像样本的分类标签构成的标签向量，Y＝(y1，y2，...，yN)T，yi表示第i个影像样本的标签；Xm为针对第m个任务，即第m种形态学特征构建的原始特征矩阵，其大小为N×D，N为影像样本的个数，其第i行表示第i个影像样本通过步骤1提取到其对应的大脑D个感兴趣区域的第m种形态学特征，m＝1，2，...，M；W表示所有任务所对应的权重矩阵，其大小为D×M，其第m列wm表示大脑D个感兴趣区域的第m种形态学特征的权重；Reg(W)为惩罚项，λ表示正则化约束值；
求解目标函数，得到wm的最优解；基于wm的最优解，对每个影像通过步骤1提取到其对应的大脑D个感兴趣区域的第m种形态学特征进行特征选择，得到每个影像的第m种形态学特征向量。


3.根据权利要求2所述的基于多任务学习和图卷积神经网络的影像分类方法，其特征在于，设定目标函数中的惩罚项Reg(W)，得到目标函数为：



其中，λ1和λ2表示正则化约束参数，||W||2，1为权重矩阵W的L21范数，Lm＝Em-Sm表示第m个任务的拉普拉斯矩阵；Em是一个N×N的对角矩阵，其定义为是一个相似性矩阵，它的定义如下所示：





4.根据权利要求3所述的基于多任务学习和图卷积神经网络的影像分类方法，其特征在于，在目标函数中增加Frobenius范数正则化项，得到目标函数为：



其中，||W||F为权重矩阵W的Frobenius范数，为wm第k个维度的元素值，λ3表示正则化约束参数。


5.根据权利要求1所述的基于多任务学习和图卷积神经网络的影像分类方法，其特征在于，所述步骤3中，基于影像的每一种形态学特征向量，分别构建一个图，图中每个节点为一个影像；
在基于影像的第m种形态学特征向量构建的图G中，通过以下公式计算第a个节点与第b个节点之间权重G(a，b)：






其中，x(a)和x(b)分别代表第a个节点与第b个节点的第m种形态学特征向量；ρ表示求两个形态学特征向量的相关距离，σ为自由参数；Mt(a)和Mt(b)分别表示第a个节点与第b个节点对应的个体第t种表型信息，β表示求两个表型信息的相似性；
若G(a，b)≠0，...

【专利技术属性】
技术研发人员：刘锦，王宇菲，王建新，兰伟，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43