面向帕金森诊断的多模态信息分类方法技术

本发明专利技术属于医学图像处理技术领域，更具体地，涉及面向帕金森诊断的多模态信息分类方法。所述方法包括获取三维的MRI影像和四维的DTI影像并进行预处理，再获取手绘阿基米德螺旋图；将经预处理后的MRI影像、DTI影像以及手绘阿基米德螺旋图划分为训练集和测试集；建立分析处理模型，所述分析处理模型包括特征提取模块、特征融合模块和分类模块；将训练集输入分析处理模型训练，再经测试集测试合格后得到最终模型将待处理数据输入最终模型。本发明专利技术解决了现有技术中多模态的融合中也存在融合不充分、诊断的错误率高等问题。诊断的错误率高等问题。诊断的错误率高等问题。

【技术实现步骤摘要】
面向帕金森诊断的多模态信息分类方法


[0001]本专利技术属于医学图像处理
，更具体地，涉及面向帕金森诊断的多模态信息分类方法。

技术介绍

[0002]帕金森是一种中老年常见的神经系统疾病，具有病程长、致残率高、发现难、诊断难等特点，很多患者在发现异常时，其病程已达到中晚期，错失了早期治疗黄金期。而人工智能和深度学习的发展以及其在医疗领域的应用，使相关研究学者开始寻求一种更便捷的方式来辅助医生进行帕金森病的诊断，促进帕金森病的早发现、早治疗，把握早期治疗黄金期。
[0003]中国专利技术专利CN116072267A公开了一种面向MRI影像的帕金森病智能诊断分析方法，首先读取医学影像数据，通过文件选择器选择DICOM文件或者DaT文件，软件在获取到选定的文件之后，开启文件处理线程，获取医学影像数据的体素、空间间距、窗宽窗位等信息，并进行可视化展示；然后进行病灶区域检测模块，使用YOLOv5模型对病灶区域进行检测，输出患病风险分数和病灶区域，并进行可视化展示；最后对病灶区域分割，细化DaT图像特征，使用U
‑
Net网络对纹状体区域进行分割，将特征区域分为右侧黑质更加精确定位到病变区域，并进行可视化展示。
[0004]现有的针对帕金森的人工智能辅助诊断方法较少，且多是针对单一模态的，比如针对量表的、语音的、冻结步态的、脑电信号的、手写动力学和医学影像的等，但是不同个体之间不免存在差异性，有可能有的人只在某一方面表现出异常，但是在其他方面表现正常；若通过单一的某个方面进行判断，其诊断结果就不免存在片面性；现有多模态的融合中也存在融合不充分、诊断的错误率高的问题。

技术实现思路

[0005]本专利技术旨在克服上述现有技术的至少一种缺陷，提供面向帕金森诊断的多模态信息分类方法，以解决现有技术由于个体差异导致的误诊率以及多模态的融合中也存在融合不充分、诊断的错误率高等问题。
[0006]本专利技术详细的技术方案如下：
[0007]S1、获取三维的MRI影像和四维的DTI影像并进行预处理，再获取手绘阿基米德螺旋图；
[0008]所述预处理包括对MRI影像进行头骨分离、标准位置配准得到一个标准的脑图，然后对标准的脑图进行组织分离，得到三维的灰质、白质、脑脊液；
[0009]对DTI影像的volume维度求均值，得到一个三维平均DTI影像，然后对三维的DTI影像进行头骨分离，得到大脑结构，提取大脑结构的FA值和MD值，最后将FA值和MD值配准到MNI152标准模板中；
[0010]S2、将经预处理后的MRI影像、DTI影像以及手绘阿基米德螺旋图划分为训练集和
测试集；
[0011]S3、建立分析处理模型，所述分析处理模型包括特征提取模块、特征融合模块和分类模块；
[0012]S4、将训练集输入分析处理模型训练，再经测试集测试合格后得到最终模型；
[0013]S5、将待处理数据输入最终模型。
[0014]进一步地，所述特征提取模块使用Resnet网络，并进行了如下调整：
[0015]将批归一化层修改为组归一化层；
[0016]将Relu激活函数修改为Gelu激活函数；
[0017]减少下采样次数，所述Resnet网络包括3个stage：stage1、stage2、stage3；所述stage1的两个残差结构都不带下采样；所述stage2的两个残差结构一个不带下采样，一个带下采样；所述stage3包括四个残差结构，三个不带下采样，一个带下采样。
[0018]进一步地，所述特征融合模块包括N个残差结构，使用深度可分离卷积代替残差结构中的普通卷积，并且将深度可分离中的分组卷积和点卷积拆分开，将分组卷积放在残差结构内，用来融合特征图中的空间位置；点卷积放在残差结构外，用来融合通道位置，并在分组卷积和点卷积后分别使用Gelu激活函数增强融合后的特征表达能力和组归一化防止梯度消失和梯度爆炸；
[0019]进一步地，所述分类模块包括双通道池化层和全连接层，所述双通道池化层包括最大池化层和平均池化层。
[0020]所述分析处理模型的处理步骤如下：
[0021]S41、所述特征提取模块首先对数据进行降维降噪，并提取数据中具有辨识度、代表性且用来描述和区分数据之间差异或相似性的关键信息，去除干扰信息，得到原始输入；
[0022]所述干扰信息包括噪声和冗余特征；
[0023]所述原始输入包括：A1(灰质)、A2(白质)、A3(脑脊液)、B1(FA值)、B2(MD值)、C1(螺旋图)，其中，A1、A2、A3、B1、B2维度为3，C1维度为2，分别使用3D_Resnet和2D_Resnet对这6类数据进行特征提取：
[0024][0025][0026][0027]特征提取后共得到F(A)、F(B)、F(C)三类特征图，其中，F(A)和F(B)的形状为H
×
W
×
D,F(C)的形状为H
′×
W
′
；
[0028]所述特征提取的模型共有3个stage,即特征提取流程R＝{S1,S2,S3}，每一个stage的特征提取流程可用公式表示为：
[0029]S1＝2[F(x)(x,{W
i
})+x]ꢀꢀꢀꢀ
(4)；
[0030]S2＝F(x)(x,{W
i
})+W
s
x+[F(x)(x,{W
i
})+x]ꢀꢀꢀꢀ
(5)；
[0031]S3＝F(x)(x,{W
i
})+W
s
x+3[F(x)(x,{W
i
})+x]ꢀꢀꢀꢀ
(6)；
[0032]其中，
[0033]F(x)(x,{W
i
})＝GN(W2(Gelu(GN(W1x))))
ꢀꢀꢀꢀ
(7)。
[0034]S42、所述特征融合模块提出了一种特征融合方法，具体如下：
[0035]将六个特征图F(A1)、F(A2)、F(A3)、F(B1)、F(B2)、F(C1)展开，得到6个形状一致的特征图，即:
[0036]H
×
W
×
D＝1
×
(HWD)
ꢀꢀꢀꢀ
(8)；
[0037]H
′×
W
′
＝1
×
(H
′
W
′
)
ꢀꢀꢀꢀ
(9)；
[0038]1×
(HWD)＝1
×
(H
′
W
′
)＝H
×
W
ꢀꢀꢀꢀ
(10)；
[0039]展开后所有特征图的H变为1且W相同，因此所有特征图可在H维度上进行拼接，得到一个包含所有模态特征的综合特征图Z。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.面向帕金森诊断的多模态信息分类方法，其特征在于，包括；S1：获取三维的MRI影像和四维的DTI影像并进行预处理，再获取手绘阿基米德螺旋图；S2、将经预处理后的MRI影像、DTI影像以及手绘阿基米德螺旋图划分为训练集和测试集；S3、建立分析处理模型，所述分析处理模型包括特征提取模块、特征融合模块和分类模块；S4、将训练集输入分析处理模型训练，再经测试集测试合格后得到最终模型；S5、将待处理数据输入最终模型。2.根据权利要求1所述的面向帕金森诊断的多模态信息分类方法，其特征在于，所述预处理包括对MRI影像进行头骨分离、标准位置配准得到一个标准的脑图，然后对标准的脑图进行组织分离，得到三维的灰质、白质、脑脊液；对DTI影像的volume维度求均值，得到一个三维平均DTI影像，然后对三维的DTI影像进行头骨分离，得到大脑结构，提取大脑结构的FA值和MD值，最后将FA值和MD值配准到MNI152标准模板中。3.根据权利要求1所述的面向帕金森诊断的多模态信息分类方法，其特征在于，所述特征提取模块使用Resnet网络，并进行了如下调整：将批归一化层修改为组归一化层；将Relu激活函数修改为Gelu激活函数；减少下采样次数，所述Resnet网络包括3个stage：stage1、stage2、stage3；所述stage1的两个残差结构都不带下采样；所述stage2的两个残差结构一个不带下采样，一个带下采样；所述stage3包括四个残差结构，三个不带下采样，一个带下采样。4.根据权利要求3所述的面向帕金森诊断的多模态信息分类方法，其特征在于，所述特征融合模块包括N个残差结构，使用深度可分离卷积代替残差结构中的普通卷积，并且将深度可分离中的分组卷积和点卷积拆分开；将分组卷积放在残差结构内，用来融合特征图中的空间位置；点卷积放在残差结构外，用来融合通道位置，并在分组卷积和点卷积后分别使用Gelu激活函数增强融合后的特征表达能力和组归一化防止梯度消失和梯度爆炸。5.根据权利要求4所述的面向帕金森诊断的多模态信息分类方法，其特征在于，所述分类模块包括双通道池化层和全连接层，所述双通道池化层包括最大池化层和平均池化层。6.根据权利要求5所述的面向帕金森诊断的多模态信息分类方法，其特征在于，所述分析处理模型的处理步骤如下：S41、所述特征提取模块首先对数据进行降维降噪，并提取数据中具有辨识度、代表性且用来描述和区分数据之间差异或相似性的关键信息，去除干扰信息，得到原始输入；所述原始输入包括：A1、A2、A3、B1、B2和C1六类，A1表示灰质、A2表示白质、A3表示脑脊液、B1表示FA值、B2表示MD值、C1表示螺旋图，其中，A1、A2、A3、B1、B2维度为3，C1维度为2，分别使用3D_Resnet和2D_Resnet对这6类数据进行特征提取：
特征提取后共得到F(A)、F(B)、F(C)三类特征图，其中，F(A)和F(B)的形状为H
×
W
×
D,F(C)的形状为H
′×
W
′
；所述特征提取的模型共有3个stage,即特征提取流程R＝{S1,S2,S3}，每一个stage的特征提取流程可用公式表示为：S1＝2[F(x)(x,{W
i
})+x]
ꢀꢀꢀꢀꢀꢀ
(4)；S2＝F(x)(x,{W
i
})+W
s
x+[F(...

【专利技术属性】
技术研发人员：丁青艳，潘雨，刘建鑫，李娜，董学成，郑婉，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：