【技术实现步骤摘要】
本专利技术属于深度学习、计算机视觉和临床医学，具体涉及基于面部表情的意识障碍辅助诊断方法。
技术介绍
1、据医疗数据统计，我国保守估计有50-100万名患者因颅脑外伤、脑卒中、缺血缺氧性脑病等病陷入昏迷，继而进入长期的意识障碍状态（disorder of consciousness,doc)，即成为传统意义上的“植物人”，并且还在以每年10万名患者的速度增加。慢性意识障碍根据意识水平的高低，可以分为最小意识状态(minimally consciousness state，mcs)和持续的植物人状态(vegetative state, vs)两个层次。虽然现代医学的迅猛发展，这类脑损伤患者在能够维持最小生命体征底线下死亡率明显下降，但意识障碍患者逐渐增多，随之带来的一个重大难题就是患者后期的诊断与康复。识别意识障碍患者的意识水平，对指定诊疗方案、预后估计和增强家属信心等方面都有重大作用。目前，针对doc患者意识水平诊断主要是基于行为量表进行评估，也是金标准。但即使如此，使用这类基于行为表现进行评估的方法误诊率高达37%-43%，主要是因为患者的行为能力有限，医生难以观察到患者自主的运动。长期以来，许多临床医生对意识障碍的诊断和治疗感到十分困惑，其根本原因在于没有一个直接、有效的手段可以测量意识。
2、基于神经成像和神经生理学方法的先进技术已经开发并应用于doc患者的残余意识和认知功能评估。这两种方法虽然尝试从行为以外的途径来评估意识障碍患者的状态，但前者需要较为贵重或者体积较大的设备，同时需要专业设备操作人员，可及性有
3、现有已公开的涉及面部表情的认知状态识别系统及方法的专利有申请号为cn112201343a的基于脸部微表情的认知状态识别系统及方法和cn202210036474.6的基于微表情识别的意识评估方法及系统，均尝试利用面部表情评估患者的意识水平。但第一种方法仅利用面部动作单元（action unit, au）出现的概率，而不是au强度进行认知状态识别。此外，该方法以患者的视频数据作为输入，但未对视频采集的细节内容进行规范，比如：患者是在何种环境下，接受何种刺激，专利中未作说明。该方法的任务是分类认知正常和认知异常，未对认知异常患者的意识水平高低进行预测。第二种方法通过分析受试者受到语音刺激时的面部表情图像，对受试者的意识状态进行判断。该方法难以运用于听觉能力受损的患者。
4、因此，希望设计一种更具有普适性的方法，基于已有的医学研究，再结合深度学习的方法，通过一个连续的指标反映患者的意识水平，为医生临床诊断提供参考。具体来说是用回归的方法估计患者在疼痛刺激下的au强度，然后计算与疼痛相关的au的强度之和，以此来反映患者的意识水平，进而辅助现有临床诊断方法对患者的意识状态进行评估。
技术实现思路
1、本专利技术的目的在于提供基于面部表情的意识障碍辅助诊断方法，在不依赖意识障碍患者肢体运动的情况下，通过au强度的组合量化疼痛刺激下患者面部表情的变化，从而辅助现有临床方法，提高患者意识检测的准确性。
2、为实现上述目的，本专利技术提供如下技术方案：基于面部表情的意识障碍辅助诊断方法，该方法采用数据采集模块、预处理模块、au强度估计模型、疼痛量化模块、联合诊断模块，具体步骤包括：
3、s1：数据采集模块：使用1080p、60fps的摄像头设备进行数据采集，要求病人脸部正面占画面主体；开启录制后，由医生对患者施加疼痛刺激；
4、s2：预处理模块：预处理包括人脸识别、裁剪、平移、旋转和缩放；
5、s3：au强度估计模型：将预处理后的图像输入到au强度估计模型中，通过特征提取模块进行面部特征的提取，获得64×64×256的特征向量；随后，把特征向量输入到au强度预测模块，用个1×1卷积核对每个面部图像生成个大小为64×64×的热图，其中每个热图表示对应au的位置和强度；
6、s4：疼痛量化模块：用au强度估计模型检测患者在疼痛刺激下与疼痛相关的个面部au的强度，然后通过疼痛量化模块计算个au的强度之和，计算方法如下：
7、
8、其中是第个疼痛相关au的强度，是个疼痛相关au的强度之和，即疼痛强度；
9、s5：联合诊断模块：利用疼痛感知与意识的潜在关系，即疼痛感知能力随着意识水平的升高而增强，用疼痛强度进一步分析微意识状态患者mcs和植物状态患者vs间的差异，并结合现有的临床诊断方法，综合评估患者的意识状态。
10、优选的，au强度估计模型的输入为视频每帧预处理后的图片，先经过特征提取模块得到特征向量，再输入到au强度预测模块，最后输出个au的热图，热图中蕴涵au的位置和强度。
11、优选的，步骤s2中，预处理模块基于dlib库对原始视频帧中的图像进行人脸识别，并裁剪出人脸，去除背景干扰；同时识别68个面部标志点，并以两眼间的水平线对裁剪后的人脸图片进行平移、旋转和缩放，统一大小为256×256×3。
12、优选的，特征提取模块进行面部特征的提取流程时，使用到多层残差卷积，以充分的提取特征，并使用特征归一化。
13、优选的，步骤s1中，画面中无需出现病人肩膀以下部位，采用临床上的按压甲床方式对患者施加疼痛刺激。
14、与现有技术相比，本专利技术的有益效果是：采用基于计算机视觉的方法，操作简便、耗时短且价格低廉；
15、结合疼痛和人脸表情，以及疼痛与意识的相关性来评估患者的意识水平，降低了对患者的行为能力的依赖；
16、提供了一种新的辅助诊断方法，有助于降低临床上对微意识状态患者和植物状态患者的误诊率；
17、将医学理论成果与深度学习技术结合一起，确保了准确性和可解释性。
本文档来自技高网...【技术保护点】
1.基于面部表情的意识障碍辅助诊断方法，其特征在于：该方法采用数据采集模块、预处理模块、AU强度估计模型、疼痛量化模块、联合诊断模块，具体步骤包括：
2.根据权利要求1所述的基于面部表情的意识障碍辅助诊断方法，其特征在于：AU强度估计模型的输入为视频每帧预处理后的图片，先经过特征提取模块得到特征向量，再输入到AU强度预测模块，最后输出个AU的热图，热图中蕴涵AU的位置和强度。
3.根据权利要求1所述的基于面部表情的意识障碍辅助诊断方法，其特征在于：步骤S2中，预处理模块基于Dlib库对原始视频帧中的图像进行人脸识别，并裁剪出人脸，去除背景干扰；同时识别68个面部标志点，并以两眼间的水平线对裁剪后的人脸图片进行平移、旋转和缩放，统一大小为256×256×3。
4.根据权利要求1所述的基于面部表情的意识障碍辅助诊断方法，其特征在于：特征提取模块进行面部特征的提取流程时，使用到多层残差卷积，以充分的提取特征，并使用特征归一化。
5.根据权利要求1所述的基于面部表情的意识障碍辅助诊断方法，其特征在于：步骤S1中，画面中无需出现病人肩膀以下部
...【技术特征摘要】
1.基于面部表情的意识障碍辅助诊断方法，其特征在于：该方法采用数据采集模块、预处理模块、au强度估计模型、疼痛量化模块、联合诊断模块，具体步骤包括：
2.根据权利要求1所述的基于面部表情的意识障碍辅助诊断方法，其特征在于：au强度估计模型的输入为视频每帧预处理后的图片，先经过特征提取模块得到特征向量，再输入到au强度预测模块，最后输出个au的热图，热图中蕴涵au的位置和强度。
3.根据权利要求1所述的基于面部表情的意识障碍辅助诊断方法，其特征在于：步骤s2中，预处理模块基于dlib库对原始视频...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。