一种基于多任务学习的脑影像分类及脑认知评分预测方法技术

本申请适用于图像分类技术领域，提供了一种基于多任务学习的脑影像分类及脑认知评分预测方法，包括获取训练脑磁共振影像图像集；构建脑影像分类及脑认知评分预测型；将训练脑磁共振图像集输入该模型，得到脑影像分类结果、脑认知评分预测值以及交互特征；分别构建第一、第二、第三以及第四损失函数；根据上述损失函数，确定脑影像分类及脑认知评分预测模型的损失值；利用损失值对该模型进行反向传播，得到训练后的脑影像分类及脑认知评分预测模型；将待识别脑磁共振图像输入到训练后的脑影像分类及脑认知评分预测模型，得到脑影像分类结果和脑认知评分预测值。本申请能够提高脑影像分类和脑认知评分预测的准确度。像分类和脑认知评分预测的准确度。像分类和脑认知评分预测的准确度。

【技术实现步骤摘要】
一种基于多任务学习的脑影像分类及脑认知评分预测方法


[0001]本申请属于图像分类
，尤其涉及一种基于多任务学习的脑影像分类及脑认知评分预测方法。

技术介绍

[0002]脑影像分类是医学影像领域的重要组成部分，在脑龄评估、衰老进展判断以及疾病识别等领域都有重要的应用。由于能够无创而且精细地对大脑进行成像，磁共振影像(MRI，Magnetic Resonance Imaging)等神经影像技术已经被广泛应用于脑影像分类领域中，成为脑影像分类的重要数据载体。早期的基于MRI的脑影像分类主要依靠手工特征。然而，手工制作的特征有时无法识别大脑区域内的微小变化。因此，更多的研究将卷积神经网络(CNN，Convolution Neural Network)作为脑影像分类的主要框架。一些基于2D切片的脑影像分类方法借鉴了经典的CNN结构，如深度残差网络(ResNet，Deep residual network)和超深卷积网络(VGGNet，Visual Geometry Group Network)。为了进一步利用空间信息，一些研究通过先验知识选择了一些特定区域的图像块作为3D CNN的输入，也有一些研究设计了新的网络结构，以适应整个大脑图像作为输入。对于微小的结构变化，MRI能够反映的大脑结构变化依然不够明显，进而无法准确的对脑影像进行分类。
[0003]从已有的临床经验来看，脑影像分类不仅能依赖于MRI，还与一些与大脑认知功能相关的指标都有密切的关联，比如衡量认知功能的简易精神状态量表(MMSE，Mini
>‑
mental State Examination)、临床痴呆量表(CDR，Clinical Dementia Rating)。其中，关键的大脑结构比如海马体已经被研究证实与认知功能存在高度的关联，并验证了通过MRI影像预测脑认知评分的可能行。与脑影像分类方法类似，脑认知评分预测方法领域也陆续出现了基于传统机器学习的预测方法、基于CNN的预测方法和基于弱监督学习等其他深度学习技术的预测方法。但是，现有的绝大多数方法并没有考虑脑影像分类和脑认知评分预测之间的关联关系。

技术实现思路

[0004]本申请提供了一种基于多任务学习的脑影像分类及脑认知评分预测方法，可以解决目前脑影像分类准确度较低和脑认知评分预测精度较差的问题。
[0005]第一方面，本申请提供了一种基于多任务学习的脑影像分类及脑认知评分预测方法，包括：
[0006]获取训练脑磁共振图像集；训练脑磁共振图像集包括N个脑磁共振图像样本；
[0007]构建脑影像分类及脑认知评分预测模型；脑影像分类及脑认知评分预测模型包括用于提取脑影像分类特征的第一特征提取模块、用于提取脑认知评分特征的第二特征提取模块、用于对脑影像分类特征和脑认知评分特征进行交互的特征交互模块、用于生成脑影像分类结果的识别模块以及用于生成脑认知评分预测结果的预测模块，第一特征提取模块的输入端和第二特征提取模块的输入端接收脑磁共振图像，第一特征提取模块的第一输出
端输出脑影像分类特征，第二特征提取模块的第一输出端输出脑认知评分特征，特征交互模块的第一输入端连接第一特征提取模块的第二输出端，特征交互模块的第二输入端连接第二特征提取模块的第二输出端，特征交互模块的第一输出端连接识别模块的第一输入端，识别模块的第二输入端连接第一特征提取模块的第一输出端，识别模块的输出端输出脑影像分类结果，特征交互模块的第二输出端连接预测模块的第一输入端，预测模块的第二输入端连接第二特征提取模块的第一输出端，预测模块的输出端输出脑认知评分预测值；
[0008]将训练脑磁共振图像集中的脑磁共振图像逐个输入脑影像分类及脑认知评分预测模型，得到N个脑影像分类结果、N个脑认知评分预测值以及N个交互特征；
[0009]根据N个脑影像分类结果，构建第一损失函数；
[0010]根据N个脑认知评分预测值，构建第二损失函数；
[0011]根据N个交互特征，构建第三损失函数；
[0012]根据预先获取的N个脑磁共振图像样本中每个脑磁共振图像样本的脑认知评分实际值，构建第四损失函数；
[0013]根据第一损失函数、第二损失函数、第三损失函数以及第四损失函数，确定脑影像分类及脑认知评分预测模型的损失值；
[0014]利用损失值对脑影像分类及脑认知评分预测模型进行反向传播，直至脑影像分类及脑认知评分预测模型收敛，得到训练后的脑影像分类及脑认知评分预测模型；
[0015]将待分类脑磁共振图像输入训练后的脑影像分类及脑认知评分预测模型，得到待分类脑磁共振图像的脑影像分类结果及脑认知评分预测值。
[0016]可选的，将训练脑磁共振图像集中的脑磁共振图像逐个输入脑影像分类及脑认知评分预测模型，得到N个脑影像分类结果、N个脑认知评分预测值以及N个交互特征，包括：
[0017]分别针对每个脑磁共振图像，执行以下操作：
[0018]通过计算公式
[0019]z
M1，i
＝z
0，i
‑
z
M2，i
[0020]z
M2，i
＝(CS
M
(z
0，i
)
⊙
SS
M
(z
0，i
))
×
z
0，i
[0021]得到脑影像分类特征z
M1，i
；其中，z
M1，i
表示第i个脑磁共振图像的脑影像分类特征，z
M2，i
表示第一特征模块的第二输出端输出的特征数据，CS
M
表示第一特征模块中的空间注意力网络，SS
M
表示第一特征模块中的通道注意力网络，z
0，i
表示第i个脑磁共振图像的原始特征，原始特征由脑磁共振图像经过卷积和池化运算得到，
⊙
表示克罗内克积，
×
表示逐元素乘，i＝1，2，...，N；
[0022]通过计算公式
[0023]z
A1，i
＝z
0，i
‑
z
A2，i
[0024]z
A2，i
＝(CS
A
(z
0，i
)
⊙
SS
A
(z
0，i
))
×
z
0，i
[0025]得到脑认知评分特征z
A1，i
；其中，z
A1，i
表示第i个脑磁共振图像的脑认知评分特征，z
A2，i
表示第二特征提取模块的第二输出端输出的特征数据，CS
A
表示第二特征提取模块中的空间注意力网络，SS
A
表示第二特征提取模块中的通道注意力网络；
[0026]通过计算公式
[0027]z
S，i
...

【技术保护点】

【技术特征摘要】
1.一种基于多任务学习的脑影像分类及脑认知评分预测方法，其特征在于，包括：获取训练脑磁共振图像集；所述训练脑磁共振图像集包括N个脑磁共振图像样本；构建脑影像分类及脑认知评分预测模型；所述脑影像分类及脑认知评分预测模型包括用于提取脑影像分类特征的第一特征提取模块、用于提取脑认知评分特征的第二特征提取模块、用于对所述脑影像分类特征和所述脑认知评分特征进行交互的特征交互模块、用于生成脑影像分类结果的识别模块以及用于生成脑认知评分预测结果的预测模块，所述第一特征提取模块的输入端和所述第二特征提取模块的输入端接收脑磁共振图像，所述第一特征提取模块的第一输出端输出脑影像分类特征，所述第二特征提取模块的第一输出端输出脑认知评分特征，所述特征交互模块的第一输入端连接所述第一特征提取模块的第二输出端，所述特征交互模块的第二输入端连接所述第二特征提取模块的第二输出端，所述特征交互模块的第一输出端连接所述识别模块的第一输入端，所述识别模块的第二输入端连接所述第一特征提取模块的第一输出端，所述识别模块的输出端输出脑影像分类结果，所述特征交互模块的第二输出端连接所述预测模块的第一输入端，所述预测模块的第二输入端连接所述第二特征提取模块的第一输出端，所述预测模块的输出端输出脑认知评分预测值；将所述训练脑磁共振图像集中的脑磁共振图像逐个输入所述脑影像分类及脑认知评分预测模型，得到N个脑影像分类结果、N个脑认知评分预测值以及N个交互特征；根据所述N个脑影像分类结果，构建第一损失函数；根据所述N个脑认知评分预测值，构建第二损失函数；根据所述N个交互特征，构建第三损失函数；根据预先获取的所述N个脑磁共振图像样本中每个脑磁共振图像样本的脑认知评分实际值，构建第四损失函数；根据所述第一损失函数、所述第二损失函数、所述第三损失函数以及所述第四损失函数，确定所述脑影像分类及脑认知评分预测模型的损失值；利用所述损失值对所述脑影像分类及脑认知评分预测模型进行反向传播，直至所述脑影像分类及脑认知评分预测模型收敛，得到训练后的脑影像分类及脑认知评分预测模型；将待分类脑磁共振图像输入训练后的脑影像分类及脑认知评分预测模型，得到所述待分类脑磁共振图像的脑影像分类结果及脑认知评分预测值。2.根据权利要求1所述的脑影像分类及脑认知评分预测方法，其特征在于，所述将所述训练脑磁共振图像集中的脑磁共振图像逐个输入所述脑影像分类及脑认知评分预测模型，得到N个脑影像分类结果、N个脑认知评分预测值以及N个交互特征，包括：分别针对每个脑磁共振图像，执行以下操作：通过计算公式z
M1，i
＝z
0，i
‑
z
M2，i
z
M2，i
＝(CS
M
(z
0，i
)
⊙
SS
M
(z
0，i
))
×
z
0，i
得到所述脑影像分类特征z
M1，i
；其中，z
M1，i
表示第i个脑磁共振图像的脑影像分类特征，z
M2，i
表示所述第一特征模块的第二输出端输出的特征数据，CS
M
表示所述第一特征模块中的空间注意力网络，SS
M
表示所述第一特征模块中的通道注意力网络，z
0，i
表示第i个脑磁共振图像的原始特征，所述原始特征由脑磁共振图像经过卷积和池化运算得到，
⊙
表示克罗内
克积，
×
表示逐元素乘，i＝1，2，...，N；通过计算公式z
A1，i
＝z
0,i
‑
z
A2,i
z
A2,i
＝(CS
A
(z
0,i
)
⊙
SS
A
(z
0,i
))
×
z
0,i
得到所述脑认知评分特征z
A1，i
；其中，z
A1，i
表示第i个脑磁共振图像的脑认知评分特征，z
A2，i
表示所述第二特征提取模块的第二输出端输出的特征数据，CS
A
表示所述第二特征提取模块中的空间注意力网络，SS
A
表示所述第二特征提取模块中的通道注意力网络；通过计算公式z
S，i
＝Conv
111
(z
L,i
)+z
R,i
z
L，i
＝(CS
S1
(z
A2，i
)
⊙
SS
S1
(z
A2,i
))
×
z
A2，i
+(CS
S2
(z
M2,i
)
⊙
SS
...

【专利技术属性】
技术研发人员：刘锦，田旭，李洪东，
申请(专利权)人：中南大学，
类型：发明
国别省市：