一种基于音视频的帕金森非接触式智能检测方法及系统技术方案

本发明专利技术涉及一种基于音视频的帕金森非接触式智能检测方法及系统。该方法包括：获取帕金森患者和非帕金森患者的音视频数据集；构建音频通道模型；构建视频通道模型；根据所述音视频数据集和所述音频通道模型，确定音频特征向量；根据所述音视频数据集和所述视频通道模型，确定视频特征向量；构建融合网络模型；根据所述音频特征向量、所述视频特征向量和所述融合网络模型，得到标签向量；根据所述标签向量，确定帕金森患者。本发明专利技术能够将面部特征与声音特征综合分析，提高交互性以及检测效率。

【技术实现步骤摘要】
一种基于音视频的帕金森非接触式智能检测方法及系统
本专利技术涉及帕金森非接触式智能检测领域，特别是涉及一种基于音视频的帕金森非接触式智能检测方法及系统。
技术介绍
随着人脸识别技术、自然语言处理技术的发展，基于视频进行病症诊断的医疗应用不断涌现。帕金森“面具脸”是指帕金森患者由于运动性障碍导致的面部表情减少症状，临床表现由轻到重依次表现为：正常、面部呆板、面部表情差、不自主张口、完全没有表情等。随着帕金森病的发展期不断推演，僵硬感将会越专利技术显地在面部肌肉运动时显现。言语障碍是指由运动-言语系统中的运动区的神经损伤造成的运动性语言障碍，在所有的帕金森患者中，大约有90％的患者会出现这种症状，其特征主要表现为声音强度的降低、倾向于升高和不变的音调、模糊不清的言语。“面具脸”和言语障碍均为临床判定是否患帕金森病的重要指标。目前针对于帕金森症状检测的应用场景，大量的研究专注于“面具脸”特征对应的视频单通道或是“言语障碍”对应的音频单通道问题，基于预先设置好的动作指令，记录患者做出相应的表情模拟或发声练习过程，利用人脸关键点标定或者音频信号特本文档来自技高网...

【技术保护点】
1.一种基于音视频的帕金森非接触式智能检测方法，其特征在于，包括：/n获取帕金森患者和非帕金森患者的音视频数据集；/n构建音频通道模型；/n构建视频通道模型；/n根据所述音视频数据集和所述音频通道模型，确定音频特征向量；/n根据所述音视频数据集和所述视频通道模型，确定视频特征向量；/n构建融合网络模型；/n根据所述音频特征向量、所述视频特征向量和所述融合网络模型，得到标签向量；/n根据所述标签向量，确定帕金森患者。/n

【技术特征摘要】
1.一种基于音视频的帕金森非接触式智能检测方法，其特征在于，包括：
获取帕金森患者和非帕金森患者的音视频数据集；
构建音频通道模型；
构建视频通道模型；
根据所述音视频数据集和所述音频通道模型，确定音频特征向量；
根据所述音视频数据集和所述视频通道模型，确定视频特征向量；
构建融合网络模型；
根据所述音频特征向量、所述视频特征向量和所述融合网络模型，得到标签向量；
根据所述标签向量，确定帕金森患者。


2.根据权利要求1所述的基于音视频的帕金森非接触式智能检测方法，其特征在于，所述构建音频通道模型，具体包括：
构建2D核卷积网络的音频通道模型，所述音频通道模型包括第一音频深度卷积阶段、第二音频深度卷积阶段和音频全连接阶段，所述第一音频深度卷积阶段包括第一音频卷积层、第二音频卷积层和第一音频池化层，所述第二音频深度卷积阶段包括第三音频卷积层、第四音频卷积层和第二音频池化层，所述音频全连接阶段包括音频输入层、音频隐藏层和音频输出层。


3.根据权利要求2所述的基于音视频的帕金森非接触式智能检测方法，其特征在于，所述根据所述音视频数据集和所述音频通道模型，确定音频特征向量，具体包括：
将所述第一音频卷积层、所述第二音频卷积层、所述第三音频卷积层和所述第四音频卷积层中卷积核的个数分别设置为32、32、64和64，卷积核的大小均设置为3×3，步长均设置为1，边界零填充均设置为1，对各卷积层的输出都进行归一化处理；
将所述第一音频池化层和所述第二音频池化层均采用最大池化的方式，池化区域核的大小均设置为2×2，步长均设置为2；
将所述第一音频深度卷积阶段和所述音频第二深度卷积阶段的输出特征矩阵扁平化处理为1维特征向量。


4.根据权利要求1所述的基于音视频的帕金森非接触式智能检测方法，其特征在于，所述构建视频通道模型，具体包括：
构建3D核卷积网络的视频通道模型，所述视频通道模型包括第一视频深度卷积阶段、第二视频深度卷积阶段和视频全连接阶段，所述第一视频深度卷积阶段包括第一视频卷积层、第二视频卷积层和第一视频池化层，所述第二视频深度卷积阶段包括第三视频卷积层、第四视频卷积层和第二视频池化层，所述视频全连接阶段包括视...

【专利技术属性】
技术研发人员：邹娟，向懿，曾碧霄，陈钢，房海鹏，郑金华，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：湖南;43