【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种基于多模态动作的帕金森病parkinson's disease,pd)前驱智能预测方法和系统。
技术介绍
1、帕金森病是一种进行性多系统的复杂神经退行性疾病，仅次于阿尔茨海默病(alzheimer's disease,ad)，是世界上第二大常见的神经退行性疾病。随着全球人口老龄化，帕金森病患病率将大幅增加，严重影响着人民生活健康。帕金森病是一种复杂的神经退行性疾病，目前还没有药物可逆转或阻止该病的进展。
2、帕金森病诊断和前驱期预测是临床医学的难题，正确的诊断和早期发现用药对病人的治疗和康复非常重要。现有医疗手段主要为临床生化诊断、医学图像诊断、基因检测等，然而，这些诊断方法可能存在需要病人到医疗机构做专业诊断、费用高昂，存在难以及早发现等缺点。随着现代医疗信息技术和人工智能的发展，为帕金森病的分析和诊断提供了新的可能性，越来越多的科研工作开始利用利用机器学习和深度学习的算法研究成果训练模型来辅助分析患者数据，识别特定的病理特征和模式，可为医生进行帕金森病辅助诊断提供有价值的参考意见。
技术实现思路
1、为实现帕金森病的动作多模态数据采集和前驱期预测的辅助诊断，本专利技术提供一种基于多模态动作的帕金森病前驱期智能预测方法和系统。
2、第一方面，本专利技术提供一种基于多模态动作的帕金森病前驱期智能预测方法，包括：
3、步骤1：构建帕金森病多模态动作数据集，所述帕金森病多模态动作数据集包括m组多模态动作数据和每组多
4、步骤2：基于所述帕金森病多模态动作数据集，分别训练基于语音数据的第一单模态帕金森识别模型、基于人脸图像数据的第二单模态帕金森识别模型和基于手绘线数据的第三单模态帕金森识别模型；
5、步骤3：基于所述帕金森病多模态动作数据集和帕金森临床知识图谱，采用融合策略对第一、第二和第三单模态帕金森识别模型的预测结果进行决策融合，训练多模态融合的帕金森病前驱期预测模型；
6、步骤4：实时采集用户的语音数据、人脸图像数据和手绘线数据，通过所述多模态融合的帕金森病前驱期预测模型，得到用户的预测结果。
7、进一步地，步骤2中，第一、第二和第三单模态帕金森识别模型的结构均采用嵌入知识图谱的卷积神经网络。
8、进一步地，所述融合策略采用加权投票决策融合或者采用支持向量机融合。
9、第二方面，本专利技术还提供一种基于多模态动作的帕金森病前驱期智能预测方法，包括：
10、步骤1：构建帕金森病多模态动作数据集，所述帕金森病多模态动作数据集包括m组多模态动作数据和每组多模态动作数据对应的语义标签；其中，每组多模态动作数据均包括同一被试者的语音数据、人脸图像数据和手绘线数据，所述语义标签用于指示该组多模态动作数据对应的被试者为正常人或者帕金森患者；
11、步骤2：基于所述帕金森病多模态动作数据集，分别训练基于语音数据的第一单模态帕金森识别模型、基于人脸图像数据的第二单模态帕金森识别模型和基于手绘线数据的第三单模态帕金森识别模型；
12、步骤3：基于所述帕金森病多模态动作数据集和帕金森临床知识图谱，采用融合策略对第一、第二和第三单模态帕金森识别模型的预测结果进行决策融合，训练多模态融合的帕金森病前驱期预测模型；
13、步骤4：将第一、第二和第三单模态帕金森识别模型的特征提取模块部署于移动端，将第一、第二和第三单模态帕金森识别模型的分类器以及多模态融合的帕金森病前驱期预测模型部署于服务器端；
14、步骤5：利用移动端实时采集用户的语音数据、人脸图像数据和手绘线数据；
15、步骤6：在移动端，分别将用户的语音数据、人脸图像数据和手绘线数据输入至对应的特征提取模块，得到对应的语音特征、图像特征和手绘线特征并传输至服务器端；
16、步骤7：在服务器端，分别将语音特征、图像特征和手绘线特征输入至对应的分类器，得到对应的单模态预测结果；
17、步骤8：在服务器端，将所有的单模态预测结果输入至多模态融合的帕金森病前驱期预测模型，得到多模态预测结果并发送至移动端。
18、第三方面，本专利技术提供一种基于多模态动作的帕金森病前驱期智能预测装置，包括：
19、帕金森病数据集构建模块，用于构建帕金森病多模态动作数据集，所述帕金森病多模态动作数据集包括m组多模态动作数据和每组多模态动作数据对应的语义标签；其中，每组多模态动作数据均包括同一被试者的语音数据、人脸图像数据和手绘线数据，所述语义标签用于指示该组多模态动作数据对应的被试者为正常人或者帕金森患者；
20、单模态识别模块，用于基于所述帕金森病多模态动作数据集，分别训练训练基于语音数据的第一单模态帕金森识别模型、基于人脸图像数据的第二单模态帕金森识别模型和基于手绘线数据的第三单模态帕金森识别模型；
21、多模态融合识别模块，用于基于所述帕金森病多模态动作数据集和帕金森临床知识图谱，采用融合策略对第一、第二和第三单模态帕金森识别模型的预测结果进行决策融合，训练多模态融合的帕金森病前驱期预测模型；
22、预测模块，用于实时采集用户的语音数据、人脸图像数据和手绘线数据，通过所述多模态融合的帕金森病前驱期预测模型，得到用户的预测结果。
23、第四方面，本专利技术提供一种基于多模态动作的帕金森病前驱期智能预测系统，包括：服务器端和移动端；所述服务器端包括数据集管理模块、智能预测模型训练模块和网络诊断服务模块；所述移动端包括数据采集模块和单模态特征提取模块；
24、所述数据集管理模块，用于构建帕金森病多模态动作数据集，所述帕金森病多模态动作数据集包括m组多模态动作数据和每组多模态动作数据对应的语义标签；其中，每组多模态动作数据均包括同一被试者的语音数据、人脸图像数据和手绘线数据，所述语义标签用于指示该组多模态动作数据对应的被试者为正常人或者帕金森患者；
25、所述智能预测模型训练模块，用于基于所述帕金森病多模态动作数据集，分别训练用于基于语音数据的第一单模态帕金森识别模型、基于人脸图像数据的第二单模态帕金森识别模型和基于手绘线数据的第三单模态帕金森识别模型；以及基于所述帕金森病多模态动作数据集和帕金森临床知识图谱，采用融合策略对第一、第二和第三单模态帕金森识别模型的预测结果进行决策融合，训练多模态融合的帕金森病前驱期预测模型；
26、所述网络诊断服务模块，用于接收移动端发送的语音特征、图像特征和手绘线特征，并调用第一、第二和第三单模态帕金森识别模型中的分类器得到对应的单模态预测结果；以及调用多模态融合的帕金森病前驱期预测模型根据所有单模态预测结果得到多模态预测结果；
27、所述数据采集模块，用于实时采集移动端本文档来自技高网...
【技术保护点】
1.一种基于多模态动作的帕金森病前驱期智能预测方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态动作的帕金森病前驱期智能预测方法，其特征在于，步骤2中，第一、第二和第三单模态帕金森识别模型的结构均采用嵌入知识图谱的卷积神经网络。
3.根据权利要求1所述的基于多模态动作的帕金森病前驱期智能预测方法，其特征在于，所述融合策略采用加权投票决策融合或者采用支持向量机融合。
4.一种基于多模态动作的帕金森病前驱期智能预测方法，其特征在于，包括：
5.一种基于多模态动作的帕金森病前驱期智能预测装置，其特征在于，包括：
6.一种基于多模态动作的帕金森病前驱期智能预测系统，其特征在于，包括：服务器端和移动端；所述服务器端包括数据集管理模块、智能预测模型训练模块和网络诊断服务模块；所述移动端包括数据采集模块和单模态特征提取模块；
7.根据权利要求6所述的基于多模态动作的帕金森病前驱期智能预测系统，其特征在于，移动端还包括显示模块；
8.根据权利要求6所述的基于多模态动作的帕金森病前驱期智能预测系统，其特征
...【技术特征摘要】
1.一种基于多模态动作的帕金森病前驱期智能预测方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态动作的帕金森病前驱期智能预测方法，其特征在于，步骤2中，第一、第二和第三单模态帕金森识别模型的结构均采用嵌入知识图谱的卷积神经网络。
3.根据权利要求1所述的基于多模态动作的帕金森病前驱期智能预测方法，其特征在于，所述融合策略采用加权投票决策融合或者采用支持向量机融合。
4.一种基于多模态动作的帕金森病前驱期智能预测方法，其特征在于，包括：
5.一种基于多模态...
【专利技术属性】
技术研发人员：刘睿佳，赵焕，唐友朋，胡树清，岳卓佳，
申请(专利权)人：河南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。