一种基于指令视频的帕金森非接触式智能检测方法技术

本发明专利技术提出一种基于指令视频的帕金森非接触式智能检测方法及系统。该方法包括：获取帕金森患者与非患者的指令式视频数据集；构建人脸模型，标定关键点；根据所述人脸模型的眼部关键点，确定眼部特征向量；根据所述人脸模型的嘴部关键点，确定嘴部特征向量；构建融合网络模型；根据所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型；根据所述最优模型，确定帕金森患者。本发明专利技术将嘴部特征与眼部特征综合起来分析，将差分的思想引入到动态特征提取中，按指令设计分帧段进行特征的统计学计算，最后运用支持向量机算法训练模型，提高了帕金森检测的正确率，提高了检测准确率。

【技术实现步骤摘要】
一种基于指令视频的帕金森非接触式智能检测方法
本专利技术涉及帕金森非接触式智能检测检测领域，特别是涉及一种基于指令视频的帕金森非接触式智能检测方法及系统。
技术介绍
帕金森病(Parkinson’sdisease，PD)是一种常见的神经系统变性疾病，随着人脸识别技术、自然语言处理技术的发展，基于视频进行病症诊断的医疗应用不断涌现，线上问诊、智能导诊、亲患交流等场景对于症状检测的要求也越发趋于“简洁”、“高效”、和“多维度”。帕金森“面具脸”是指帕金森患者由于运动性障碍导致的面部表情减少症状，临床表现由轻到重依次表现为：正常、面部呆板、面部表情差、不自主张口、完全没有表情等。随着帕金森病的发展期不断推演，僵硬感将会越专利技术显地在面部肌肉运动时显现。“面具脸”成为临床判定是否患帕金森病的重要指标。基于帕金森患者“面具脸”的特征，可以设计指令式帕金森检测方法，其具有以下特性：其一，明确清晰的指令任务可以充分引导患者完成简单的表情任务，相较于传统的复杂表情模拟任务要更加准确明朗，适用于医院的智能化导诊平台；其二，由于单个指令对应单个部位的运动，在特征分析时按指令进行动态特征的提取将更具针对性，采用训练支持向量机(SVM)的方式比较不同特征源对于帕金森检测的效果，提升检测的准确率。
技术实现思路
本专利技术的目的是提出一种基于指令视频的帕金森非接触式智能检测方法及系统，以综合面部特征，提高检测效率。为实现上述目的，本专利技术提出了如下方案：一种基于指令视频的帕金森非接触式智能检测方法，包括：获取帕金森患者与非患者的指令式视频数据集；构建人脸模型，标定关键点；根据所述人脸模型的眼部关键点，确定眼部特征向量；根据所述人脸模型的嘴部关键点，确定嘴部特征向量；构建融合网络模型；根据所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型；根据所述最优模型，确定帕金森患者。可选的，所述构建人脸模型，标定关键点，具体包括：基于dlib库提供的人脸识别以及关键点标定的多任务接口，首先对受试者指令视频按帧提取68个人脸关键点。提取68个关键点中6个左眼链接关键点，6个右眼链接关键点及21个嘴部链接关键点，作为提取特征的主要目标点。可选的，所述根据所述人脸模型的眼部关键点，确定眼部特征向量，具体包括：为描述某一时刻眼睑的张合情况，定义一种基于上下眼睑距离与内外眼角距离的眼睑张合率eyeratio的计算方法，即根据结合上下眼睑2个关键点的欧式距离以及内外眼角两个关键点的欧式距离，通过与剩余关键点的欧式距离作比，计算眼睑的张合率。提取指令视频中所有帧的眼睑张合率eyeratio以及帧与帧之间的眼角张合率差Δeyeratio，并基于pandas提供的7种统计接口计算出维数为14的眼部特征向量。可选的，所述根据所述人脸模型的嘴部关键点，确定嘴部特征向量，具体包括：定义左侧嘴角关键点p[0]右侧嘴角关键点p[4]与水平轴夹角为α，定义左侧嘴角关键点p[i]与其余关键点p[j]为β(p[i],p[j])，由α与β(p[i],p[j])求和计算嘴巴补偿角θ(p[i],p[j])，依次求得θ(p[0],p[1])、θ(p[0],p[1])、θ(p[1],p[2])…θ(p[6],p[7])、θ(p[7],p[0])8个嘴部特征向量。由上侧关键点与下侧关键点的相对距离Eudis(p[2],p[6])对比左侧关键点与右侧关键点的相对距离Eudis(p[0],p[4])，计算嘴唇张合率mthratio。可选的，根据所述构建融合网络模型，具体包括：构建由特征融合阶段和全连接阶段组成的融合网络模型，所述特征融合阶段包括输入层和输出层，所述融合全连接阶段包括输入层、第一隐藏层、第二隐藏层和输出层。可选的，所述根据所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型，具体包括：设置惩罚因子C，该参数代表分类器对于“松弛变量”的容错性，即对于误分类的“容忍度”，选用核函数kernal默认的′rbf′。基于上述提取的特征及skrlearn.svm模块提供的SVC方法训练不同的模型后选取最优模型。通过交叉验证手段，通过交叉验证手段，将数据集D划分为f个大小相似的互斥子集，对于每个子集Di用于测试时，其它的1/f数据用于训练模型，得到该子集Di测试下的测试结果ri，对所有r取平均得该在f倍交叉验证下的测试结果，比较不同参数C(k)对应fb倍交叉验证的测试结果rbk，选取当前数据样本下的最优模型。一种基于指令视频的帕金森非接触式智能检测系统，包括：数据集获取模块，用于获取帕金森患者和非帕金森患者的音视频数据集；人脸模型构建模块，用于构建人脸模型，并标记关键点；眼部特征向量确定模块，用于根据所述人脸模型的眼部关键点，确定眼部特征向量；嘴部特征向量确定模块，用于根据所述人脸模型的嘴部关键点，确定嘴部特征向量；融合网络模型构建模块，用于构建融合网络模型；最优模型训练模块，用于所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型；帕金森患者确定模块，用于根据所述最优模型，确定帕金森患者。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术将嘴部特征与眼部特征综合起来分析，将差分的思想引入到动态特征提取中，按指令设计分帧段进行特征的统计学计算，最后运用支持向量机算法训练模型，提高了帕金森检测的正确率，提高了检测准确率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术基于指令视频的帕金森非接触式智能检测方法流程图；图2是本专利技术基于指令视频的帕金森非接触式智能检测系统结构图；图3是本专利技术的人脸关键点标定图；图4是本专利技术的眼部关键点示意图；图5是本专利技术的嘴部关键点示意图；图6是本专利技术的预测混淆矩阵图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的目的是提供一种基于指令视频的帕金森非接触式智能检测方法及系统，能够将嘴部特征与眼部特征综合分析，提高交互性以及检测效率。为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1是本专利技术基于指令视频的帕金森非接触式智能检测方法流程图。如图1所示，一种基于指令视频的本文档来自技高网...

【技术保护点】
1.一种基于指令视频的帕金森非接触式智能检测方法，其特征在于，包括：/n获取帕金森患者与非患者的指令式视频数据集；/n构建人脸模型，标定关键点；/n根据所述人脸模型的眼部关键点，确定眼部特征向量；/n根据所述人脸模型的嘴部关键点，确定嘴部特征向量；/n构建融合网络模型；/n根据所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型；/n根据所述最优模型，确定帕金森患者。/n

【技术特征摘要】
1.一种基于指令视频的帕金森非接触式智能检测方法，其特征在于，包括：
获取帕金森患者与非患者的指令式视频数据集；
构建人脸模型，标定关键点；
根据所述人脸模型的眼部关键点，确定眼部特征向量；
根据所述人脸模型的嘴部关键点，确定嘴部特征向量；
构建融合网络模型；
根据所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型；
根据所述最优模型，确定帕金森患者。


2.根据权利要求1所述的基于指令视频的帕金森非接触式智能检测方法，其特征在于，所述构建人脸模型，标定关键点，具体包括：
基于dlib库提供的人脸识别以及关键点标定的多任务接口，首先对受试者指令视频按帧提取68个人脸关键点。提取68个关键点中6个左眼链接关键点，6个右眼链接关键点及21个嘴部链接关键点，作为提取特征的主要目标点。


3.根据权利要求1所述的基于音视频的帕金森非接触式智能检测方法，其特征在于，所述根据所述人脸模型的眼部关键点，确定眼部特征向量，具体包括：
为描述某一时刻眼睑的张合情况，定义一种基于上下眼睑距离与内外眼角距离的眼睑张合率eyeratio的计算方法，即根据结合上下眼睑2个关键点的欧式距离以及内外眼角两个关键点的欧式距离，通过与剩余关键点的欧式距离作比，计算眼睑的张合率。
提取指令视频中所有帧的眼睑张合率eyeratio以及帧与帧之间的眼角张合率差Δeyeratio，并基于pandas提供的7种统计接口计算出维数为14的眼部特征向量。


4.根据权利要求1所述的基于指令视频的帕金森非接触式智能检测方法，其特征在于，所述根据所述人脸模型的嘴部关键点，确定嘴部特征向量，具体包括：
定义左侧嘴角关键点p[0]右侧嘴角关键点p[4]与水平轴夹角为α，定义左侧嘴角关键点p[i]与其余关键点p[j]为β(p[i]，p[j])，由α与β(p[i]，p[j])求和计算嘴巴补偿角θ(p[i]，p[j])，依次求得θ(p[0]，p[1])、θ(p[0]，p[1])、θ(p[1]，p[2])...θ(p[6]，p[7...

【专利技术属性】
技术研发人员：邹娟，房海鹏，陈钢，曾碧霄，向懿，王求真，郭建强，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：湖南;43