基于情绪视听刺激和面部表情的意识状态检测系统、设备技术方案

本发明专利技术公开了一种基于情绪视听刺激和面部表情的意识状态检测系统、设备，所述系统包括：情绪素材库模块，存储样本情绪视频；情绪类型与面部表情特征集处理模块，处理用户观看情绪素材库中每种情绪类型下的每个样本情绪视频时产生的面部表情特征与对应的情绪类型，获取面部表情特征数据集；标准情绪素材库模块，存储标准样本情绪视频；所述标准样本情绪视频通过对情绪素材库模块中的样本情绪视频筛选得到；意识状态检测模块，基于标准样本情绪视频对待测者观看标准情绪素材库而产生的面部表情特征进行检测，获得意识状态标签。本发明专利技术基于情绪视听刺激诱导用户产生自发的面部表情特征，实现了客观、便利且准确地检测用户的意识状态。意识状态。意识状态。

【技术实现步骤摘要】
基于情绪视听刺激和面部表情的意识状态检测系统、设备


[0001]本专利技术涉及意识状态检测领域，尤其涉及一种基于情绪视听刺激和面部表情的意识状态检测系统、设备。

技术介绍

[0002]慢性意识障碍（prolonged disorders of consciousness, pDoC）患者人数众多，给家庭和社会带来沉重负担。常见的pDoC的类型包括植物状态和微意识状态等。现有的诊断患者意识状态方法主要从行为学、神经电生理和影像学三个方面进行。行为学方面的诊断方法主要依赖于修订版的昏迷评估量表（Coma Recovery Scale
‑
Revised, CRS
‑
R）。神经电生理方面的方法包括观测脑电图（EEG）、分析事件相关电位等。影像学方面的检测方法包括电子计算机断层扫描（CT）以及核磁共振成像（MRI）等。
[0003]在临床上，医生依据CRS
‑
R的评估结果通常作为评估pDoC患者类型的金标准。依据CRS
‑
R，医生需要观察患者在接受一些视觉或听觉刺激时的反应。然而，患者对刺激做出的行为反馈的持续时间和强度不尽相同。一些快速且微弱的微表情往往难以被肉眼捕捉，从而导致对患者的意识状态评估不准确。同时，使用CRS
‑
R进行评估较大程度依赖于评估者的经验，较为主观，使得意识状态评估工作不能客观且标准化的开展。另外，因为大部分患者在遭受严重脑损伤或接受手术后，难以采集EEG或MRI等信号，所以使用神经电生理和影像学进行意识状态检测估的方法受众较窄。

技术实现思路

[0004]本专利技术针对现有技术的不足，旨在提供一种基于情绪视听刺激和面部表情的意识状态检测系统、设备，能够客观、直接且准确地检测用户意识状态。
[0005]本专利技术通过以下技术方案来实现：本专利技术实施例的第一方面提供了一种基于情绪视听刺激和面部表情的意识状态检测系统，所述意识状态检测系统包括：情绪素材库模块，用于存储样本情绪视频；情绪类型与面部表情特征集处理模块，用于处理用户观看情绪素材库中每种情绪类型下的每个样本情绪视频时产生的面部表情特征与对应的情绪类型，选取每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征作为面部表情特征数据集；标准情绪素材库模块，用于存储标准样本情绪视频；所述标准样本情绪视频通过对情绪素材库模块中的样本情绪视频筛选得到；意识状态检测模块，基于标准样本情绪视频对待测者观看标准情绪素材库而产生的面部表情特征进行检测，获得意识状态标签。
[0006]进一步地，所述情绪素材库模块中包括欢乐、自豪、搞笑、亲切、悲伤、愤怒、恐惧以及厌恶在内的两种以上情绪类型的样本情绪视频单元；每种情绪类型的样本视频单元至少包括4~5个样本视频。
[0007]进一步地，所述情绪类型与面部表情特征集处理模块包括以下子模块：面部图像数据采集模块，用于记录用户观看情绪素材库中每个样本视频时的面部表情特征；面部表情特征集提取模块，用于获取面部表情特征随时间变化的强度曲线，对强度曲线进行时域分析，对每个样本情绪视频与其引发的面部表情特征、情绪类型的相关性进行计算并排序，取每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征作为面部表情特征数据集。
[0008]进一步地，所述面部表情特征集提取模块包括以下子模块：动作单元识别模块，用于获得用户在观看每个样本视频时产生的面部特征随时间变化的强度曲线；情绪相关的面部表情特征集获取模块，用于通过时域分析和相关性分析获得每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征数据集。
[0009]进一步地，所述动作单元识别模块包括以下子模块：人脸追踪和面部特征点检测模块，通过约束局部神经域模型中的人脸追踪器和特征点检测器依次对用户进行脸部追踪和人脸特征点提取；人脸对齐模块，通过使用相似性变换将人脸特征点映射到同一的参考框架之下；外界环境图像屏蔽模块，用于通过使用凸包算法包围人脸对齐后的人脸特征点，实现对周围环境图像的屏蔽；图像特征提取模块，用于提取通过人脸对齐后图像局部区域的梯度方向直方图的外观特征和由进行人脸追踪时约束局部神经域模型输出的非刚性参数和人脸的特征点参数组成的几何特征；动作单元检测模块，用于基于外观特征和几何特征，使用支持向量回归获得所有动作单元随时间变化的强度曲线。
[0010]进一步地，情绪相关的面部表情特征集获取模块包括时域分析和相关性的过程；其中，时域分析的过程包括：计算每种情绪类型下的所有动作单元在整个时间窗内强度均值，作为时域特征，并进行排序，选取强度排名前a的动作单元；相关性分析的过程包括：计算时域分析获得的时域强度特征排名前a的动作单元与对应的情绪样本视频中的听觉特征和视觉特征的互相关系数，并进行排序，将相关性排序的前b个动作单元作为对应情绪类型下的面部表情特征集。
[0011]进一步地，所述标准样本情绪视频通过对情绪素材库模块中的样本情绪视频筛选得到，其中，筛选的过程包括：基于面部表情特征数据集训练SVM分类器，并进行十折交叉验证，对SVM分类器输出的识别率进行排序，取识别率排序前m的情绪类型对应的样本情绪视频作为标准样本情绪视频。
[0012]进一步地，所述意识状态检测模块获得的意识状态标签包括健康状态标签、微意识状态标签和植物状态标签。
[0013]本专利技术实施例的第二方面提供了一种基于情绪视听刺激和面部表情的意识状态检测设备，所述意识状态检测设备包括面部视频采集系统和上述的情绪视听刺激和面部表情的意识状态检测系统；其中，所述面部视频采集系统用于在用户观看情绪素材库时，采集用户观看情绪素材库中每个样本视频时产生的面部表情特征。
[0014]本专利技术的有益效果是，本专利技术使用情绪视听刺激诱发面部表情检测意识状态，能够捕捉评估者难以发现的快速且微弱的行为反应，并且能够补充昏迷评估量表CRS
‑
R，提供客观且准确的意识状态检测结果。相较于神经电生理和影像学的采集条件和检测手段，面部表情的信号采集约束条件更少且操作更加便捷，因此，本专利技术在意识状态检测工作中更加适用。
附图说明
[0015]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是基于情绪视听刺激和面部表情的意识状态检测系统的示意性框图；图2是情绪类型与面部表情特征集处理模块的示意性框图；图3是面部表情特征集提取模块的示意性框图；图4是动作单元识别模块的示意性框图；图5是情绪视听刺激和面部表情的意识状态检测设备的示意性框图；图6是不同动作单元随时间变化的强度曲线。
具体实施方式
[0017]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，所述意识状态检测系统包括：情绪素材库模块，用于存储样本情绪视频；情绪类型与面部表情特征集处理模块，用于处理用户观看情绪素材库中每种情绪类型下的每个样本情绪视频时产生的面部表情特征与对应的情绪类型，选取每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征作为面部表情特征数据集；标准情绪素材库模块，用于存储标准样本情绪视频；所述标准样本情绪视频通过对情绪素材库模块中的样本情绪视频筛选得到；意识状态检测模块，基于标准样本情绪视频对待测者观看标准情绪素材库而产生的面部表情特征进行检测，获得意识状态标签。2.根据权利要求1所述的基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，所述情绪素材库模块中包括欢乐、自豪、搞笑、亲切、悲伤、愤怒、恐惧以及厌恶在内的两种以上情绪类型的样本情绪视频单元；每种情绪类型的样本视频单元至少包括4~5个样本视频。3.根据权利要求1所述的基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，所述情绪类型与面部表情特征集处理模块包括以下子模块：面部图像数据采集模块，用于记录用户观看情绪素材库中每个样本视频时的面部表情特征；面部表情特征集提取模块，用于获取面部表情特征随时间变化的强度曲线，对强度曲线进行时域分析，对每个样本情绪视频与其引发的面部表情特征、情绪类型的相关性进行计算并排序，取每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征作为面部表情特征数据集。4.根据权利要求3所述的基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，所述面部表情特征集提取模块包括以下子模块：动作单元识别模块，用于获得用户在观看每个样本视频时产生的面部特征随时间变化的强度曲线；情绪相关的面部表情特征集获取模块，用于通过时域分析和相关性分析获得每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征数据集。5.根据权利要求4所述的基于情绪视听刺激和面部表情的意识状态检测系统，其特征在于，所述动作单元识别模块包括以下子模块：人脸追踪和面部特征点检测模块，通过约束局部神经域模型...

【专利技术属性】
技术研发人员：王瑶瑶，丁鼐，罗本燕，俞杰，赵佳佳，
申请(专利权)人：之江实验室，
类型：发明
国别省市：