一种帕金森病多模态量化评估方法、装置及系统制造方法及图纸

本发明专利技术公开了一种帕金森病多模态量化评估方法、装置及系统，属于运动系统定量评估技术领域，包括采集帕金森患者的多模态信息数据，对多模态信息数据提取运动特征V1、语音特征V2和手写图像特征V3后进行量化评估；采用特征融合的方法对运动特征V1、语音特征V2和手写图像特征V3进行特征融合生成多模态特征；将多模态特征输入至预训练的分类模型中，对所述多模态特征进行分类，医生根据分类结果进行帕金森病患者运动功能评价，本发明专利技术对帕金森病患者运动功能评价提供了辅助诊断作用，利于医生对帕金森患者的各种功能的障碍程度进行精确分析。析。析。

【技术实现步骤摘要】
一种帕金森病多模态量化评估方法、装置及系统


[0001]本专利技术公开了一种帕金森病多模态量化评估方法、装置及系统，属于运动系统定量评估


技术介绍

[0002]帕金森病(PD)是一种进展性神经系统疾病，临床表现有运动迟缓、震颤、强直、行走障碍、构音障碍、表情障碍等，治疗方法除了药物、手术等治疗外，康复运动训练治疗对改善患者功能障碍、提高患者生活质量非常重要；在临床上评价PD患者运动功能的方法有很多种，其中MDS
‑
UPDRS量表作为PD评价的标准评定量表，被广泛应用于PD运动水平的评价。然而，量表评价的准确性直接取决于医生的临床经验，且存在一定的主观性；
[0003]现有技术大多是基于传感器或可穿戴设备进行运动功能评价的，这依赖于专业人员的指导，设备在一定程度上限制了患者的移动，应用场景有限，不适用于PD患者的常规评价；另外，使用辅助诊断系统进行评价，是基于单模态即单个动作进行诊断的，由于初期的帕金森病人可能只在部分动作中表现出患病特征，单一模态的诊断不能利用患者的全部有效信息进行全面准确的评估；不能将客观的评估指标可视化，以直观的形式展示给医生，辅助医生进行诊断。

技术实现思路

[0004]本专利技术的目的在于提供一种帕金森病多模态量化评估方法、装置及系统，能够协助医生定量地识别帕金森患者运动表现的变化，为帕金森病患者进行运动功能评价提供辅助诊断。
[0005]为了解决上述问题，本专利技术采用如下技术方案：一方面，本专利技术实施例提供了一种帕金森病多模态量化评估方法，所述方法包括如下步骤：
[0006]采集帕金森患者的多模态信息数据，所述多模态信息包括运动信息、语音信息以及手写图像信息；
[0007]对多模态信息数据提取运动特征V1、语音特征V2和手写图像特征V3后进行量化评估；
[0008]采用特征融合的方法对运动特征V1、语音特征V2和手写图像特征V3进行特征融合生成多模态特征；
[0009]将多模态特征输入至预训练的分类模型中，对所述多模态特征进行分类，得到正常、轻微、轻度、中度、重度四个分类结果供医生进行诊断辅助参考，医生根据分类结果进行帕金森病患者运动功能评价。
[0010]进一步地，对运动信息提取运动特征V1的方法包括：所述运动信息包括手指拍打、手掌运动、前臂回旋运动、脚趾拍地运动、两脚灵敏度测试动作；提取运动信息中运动规律；由运动信息中分别提取运动的幅度、速度以及加速度参数。
[0011]进一步地，对多模态信息数据中的语音信息提取语音特征V2进行量化评估的方法
包括:
[0012]通过量化和编码操作将语音信息进行数字化处理；将语音信号输入至所述语音特征提取子模块进行加窗分帧操作；
[0013]根据帕金森患者病理性语音特征对加窗分帧操作后的语音信号提取出基频率扰动类特征、闪烁类特征以及非线性特征构成语音特征V2。
[0014]进一步地，所述基频率扰动类特征为相邻基音周期差的平均绝对值与基音周期的平均值的比值，其公式为：
[0015][0016][0017]其中，Jitter表示为基频率扰动类特征，n表示帧数，N代表语音信号的总帧数，F
0,n
为第n帧的基频，T
n
为第n帧的基音周期；
[0018]进一步地，所述闪烁类特征是相邻振幅的差的平均绝对值与振幅的平均值的比值，其公式为：
[0019][0020]A
n
＝max(P
n
)
‑
min(P
n
)s.t.n＝1,2,....,N
[0021]其中，Shimmer表示为闪烁类特征，序列P
n
表示第n帧的语音信号值序列，A
0,n
表示第n帧对应的振幅。
[0022]进一步地，采用特征融合的方法对运动特征、语音特征、手写图像特征、进行特征融合生成多模态特征的方法包括:
[0023]将运动特征V1、语音特征V2、手写图像特征V3输入至特征融合模块进行特征融合，表达公式为：
[0024][0025][0026][0027][0028]其中，V为多模态特征，表示向量的拼接操作，Relu代表非线性激活函数；表示为运动特征V1的权重；表示为语音特征V2的权重；表示为手写图像特征V3的权重；b1表示为运动特征V1的偏置项；b2表示为运动特征V1的偏置项；b3表示为运动特征V1的偏置项。
[0029]进一步地，所述分类模型包括全连接层和softmax，所述多模态特征连接全连接神经网络层，并使用softmax激活函数输出预测类别的概率分布，表达公式为：
[0030][0031]其中，W
s
表示多模态特征的权重，b
s
表示多模态特征的偏置项，表示预测类别的概率分布；
[0032]根据预测类别的概率分布获得概率预测向量并计算概率值，将概率值最大的一类作为诊断结果。
[0033]进一步地，分类模型的训练过程包括：
[0034]获得帕金森患者的多模态特征作为训练样本，构建训练集合；通过历史多模态特征对所述分类模型进行训练，根据训练样本的预测值和训练样本的真实值构建损失函数，损失函数的计算公式为：
[0035][0036]公式中，y
k
表示的是第k个训练样本的真实值，p
k
表示的是第k个训练样本的预测值；K表示为训练样本的总数；
[0037]利用损失函数对分类模型进行迭代优化；获得准确率大于阈值的分类模型。
[0038]另一方面，本专利技术实施例提供了一种帕金森病多模态量化评估装置，包括：
[0039]采集模块，采集帕金森患者的多模态信息数据，所述多模态信息包括运动信息、语音信息以及手写图像信息；
[0040]提取模块，对多模态信息数据提取运动特征V1、语音特征V2和手写图像特征V3后进行量化评估；
[0041]特征融合模块，用于采用特征融合的方法对运动特征V1、语音特征V2和手写图像特征V3进行特征融合生成多模态特征；
[0042]分类模块，将多模态特征输入至预训练的分类模型中，对所述多模态特征进行分类，得到正常、轻微、轻度、中度、重度四个分类结果，供医生进行诊断辅助参考，医生根据分类结果进行帕金森病患者运动功能评价。
[0043]又一方面，本专利技术实施例提供了一种帕金森病多模态量化评估系统，包括储存介质和处理器；
[0044]所述储存介质用于存储指令；
[0045]所述处理器用于根据所述指令进行操作以执行根据多模态量化评估方法的步骤。
[0046]与现有技术相比，本专利技术所达到的有益效果是：
[0047]一方面，本专利技术通过提取帕金森患者的多模态信息数据，所述多模态信息包括运动信息、语音信息以及手写图像信息；将多模态信息数据输入到不同网络中提取运动特征V1、语音特征V2、手写图像特征V3，并输出特征进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种帕金森病多模态量化评估方法，其特征在于，所述方法包括如下步骤：采集帕金森患者的多模态信息数据，所述多模态信息包括运动信息、语音信息以及手写图像信息；对多模态信息数据提取运动特征V1、语音特征V2和手写图像特征V3后进行量化评估；采用特征融合的方法对运动特征V1、语音特征V2和手写图像特征V3进行特征融合生成多模态特征；将多模态特征输入至预训练的分类模型中，对所述多模态特征进行分类，得到正常、轻微、轻度、中度、重度四个分类结果供医生进行诊断辅助参考，医生根据分类结果进行帕金森病患者运动功能评价。2.根据权利要求1所述的一种帕金森病多模态量化评估方法，其特征在于，对运动信息提取运动特征V1的方法包括：所述运动信息包括手指拍打、手掌运动、前臂回旋运动、脚趾拍地运动、两脚灵敏度测试动作；提取运动信息中运动规律；由运动信息中分别提取运动的幅度、速度以及加速度参数。3.根据权利要求1所述的一种帕金森病多模态量化评估方法，其特征在于，对多模态信息数据中的语音信息提取语音特征V2进行量化评估的方法包括:通过量化和编码操作将语音信息进行数字化处理；将语音信号输入至所述语音特征提取子模块进行加窗分帧操作；根据帕金森患者病理性语音特征对加窗分帧操作后的语音信号提取出基频率扰动类特征、闪烁类特征以及非线性特征构成语音特征V2。4.根据权利要求3所述的一种帕金森病多模态量化评估方法，其特征在于，所述基频率扰动类特征为相邻基音周期差的平均绝对值与基音周期的平均值的比值，其公式为：扰动类特征为相邻基音周期差的平均绝对值与基音周期的平均值的比值，其公式为：其中，Jitter表示为基频率扰动类特征，n表示帧数，N代表语音信号的总帧数，F
0,n
为第n帧的基频，T
n
为第n帧的基音周期。5.根据权利要求3所述的一种帕金森病多模态量化评估方法，其特征在于，所述闪烁类特征是相邻振幅的差的平均绝对值与振幅的平均值的比值，其公式为：A
n
＝max(P
n
)
‑
min(P
n
)s.t.n＝1，2，...，N其中，Shimmer表示为闪烁类特征，序列P
n
表示第n帧的语音信号值序列，A
0,n
表示第n帧对应的振幅。6.根据权利要求1所述的一种帕金森病多模态量化评估方法，其特征在于，采用特征融合的方法对运动特征、语音特征、手写图像特征、进...

【专利技术属性】
技术研发人员：高浩，何青芸，徐枫，宗睿，颜晓明，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：