基于脑电数据与面部表情影像的抑郁症病症辅助识别方法技术

本发明专利技术公开了一种基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，本发明专利技术的主要设计构思在于，围绕抑郁人群冲突处理障碍及负性偏向的核心症状，有机结合脑电生理指标及面部影像指标，评测其冲突处理障碍的程度，进而为抑郁症的识别及预估的提炼出客观

【技术实现步骤摘要】
基于脑电数据与面部表情影像的抑郁症病症辅助识别方法


[0001]本专利技术涉及人工智能技术应用领域，尤其涉及一种基于脑电数据与面部表情影像的抑郁症病症辅助识别方法
。

技术介绍

[0002]抑郁症作为常见的情感障碍性疾病，严重影响患者身心健康，而如何更佳地辅助医生辨识
、
判别
、
预测抑郁症的相关指征，探索客观指标的构建，成为辅助抑郁症诊疗的远期
、
重要目标
。
[0003]事件相关电位（
Event
‑
related potentials
，
ERP
）范式是一种神经生理学实验设计和分析方法，用于研究大脑对特定刺激或任务的电生理反应，又称“认知电位”，在揭示心理
‑
认知过程方面极具优势
。N270
是前后两次刺激不完全匹配的时候在
270ms
处记录到的负波，反映了脑对冲突信息的处理能力，可以作为冲突处理能力的电活动指标，且特异性强
。
抑郁症患者存在明显的冲突处理能力障碍及负性偏向的核心症状，也是抑郁症患者不能正常进行社交
、
恢复社会功能的主要原因
。
因此，
N270
作为评判冲突信息处理能力的电活动指标，可以作为独立于抑郁症候群之外的预测抑郁症的特异性客观指标
。
既往影像研究表明抑郁症患者在工作及社会活动中冲突处理系统受损，由此本专利技术认为
N270
可以作为预测抑郁症的敏感性客观指标
。
[0004]然而，既往已知的
N270
任务范式存在以下问题：
1、
信噪比较低，需要进行大量的试验重复和数据处理才能提取出可靠的成分，实验操作程序繁琐，被试者学习成本较高，导致实验的时间和工作量比较大；
2、
刺激呈现系统中，事件码与刺激码之间未做到精确计时，存在时间尺度的误差；
3、
范式所用素材主要为数字
、
字母
、
图形等，不能较好针对抑郁人群的负性偏向症状设计；
4、
尤其是考虑到单一应用
N270
脑电数据，其可靠性相对受限，为后续生成指导性报告带来一定影响
。

技术实现思路

[0005]鉴于上述，本专利技术旨在提供一种基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，以解决前述提及的技术问题
。
[0006]本专利技术采用的技术方案如下：本专利技术提供了一种基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，其中包括：基于预设的实验范式执行脑电刺激实验，并同步采集被试的面部表情影像数据以及个体的脑电数据；对脑电数据进行解析，得到
N270
波形；对面部表情影像数据以及
N270
波形进行多特征提取；将多特征整合后输入经训练的基于自注意力机制的神经网络模型，输出抑郁症病症辅助识别结果
。
[0007]在其中至少一种可能的实现方式中，预设的实验范式的编辑过程包括：基于
Matlab
及
E
‑
prime
，使用物理性质一致的灰度照片；其中，灰度照片中的性别比例均衡，被试表情中性与负性比例均衡，且无任何面部标志，并对其中一半数量的照片进行面部局部遮挡处理；设置既定数量的试次
、
单个试次的持续时间以及实验总时长
。
[0008]在其中至少一种可能的实现方式中，所述多特征提取包括：利用预先训练的多任务深度预测模型从所述面部表情影像数据提取面部特征
、
生理信号特征；基于所述
N270
波形提取波形特征；基于所述面部表情影像数据以及所述
N270
波形，获得情感特征向量
。
[0009]在其中至少一种可能的实现方式中，所述多任务深度预测模型包括共有特征提取模块以及多任务特征融合模块；所述共有特征提取模块用于提取各任务的特征并恢复粗糙的深度图
、
语义分割图
、
表面向量图；所述多任务特征融合模块用于将所述共有特征提取模块提取到的特征进行多任务融合，且能够区分各任务的共有语义特征和各任务独有的语义特征
。
[0010]在其中至少一种可能的实现方式中，所述共有特征提取模块采用单输入多输出型网络，并至少由如下四部分组成：编码器
、
多维解码器
、
多尺度特征融合子模块以及细化子模块；所述编码器用于提取多种尺度的特征；所述多维解码器用于经过上采样模块，逐步扩大所述编码器的最终特征，同时减少通道数量；所述多尺度特征融合子模块用于将多个尺度的不同信息合并为一个；所述细化子模块用于调整图像的输出大小以及通道数
。
[0011]在其中至少一种可能的实现方式中，所述多任务特征融合模块采用多输入多输出型网络，并至少由如下两部分组成：多输入特征融合模块，用于将前一模块输出的多任务特征进行融合；特征解码部分为多输出解码器
。
[0012]在其中至少一种可能的实现方式中，所述输出抑郁症病症辅助识别结果包括：将多特征按时间顺序融合，得到时空特征向量；将所述时空特征向量输入
Transformer encoder
模型，再经过
softmax
分类得到辅助识别结果
。
[0013]与现有技术相比，本专利技术的主要设计构思在于，围绕抑郁人群冲突处理障碍及负性偏向的核心症状，有机结合脑电生理指标及面部影像指标，评测其冲突处理障碍的程度，进而为抑郁症的识别及预估的提炼出客观
、
量化指标
。
具体是基于预设的实验范式执行脑电刺激实验，并同步采集被试的面部表情影像数据及个体脑电数据，经解析得到
N270
波形后，对面部表情影像数据及
N270
波形进行多特征提取，再将多特征整合后输入经训练的神经网络模型，输出抑郁症病症辅助识别结果
。
本专利技术不仅能够提供辅助医生利用实验波形及影像数据辨识抑郁症的客观指标，还具有准确性高
、
鲁棒性强
、
误差率低的优点
。
[0014]进一步地，将机器学习技术应用于抑郁症患者面部表情或微表情检测
、
特征提取，
并结合多任务模块的深度学习，可以显著提高抑郁症指征辨识
、
预测的敏感性
、
准确性
、
特异性
。
附图说明
[0015]为使本专利技术的目的
、
技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步描述，其中：图1为本专利技术实施例提供的基于脑电数据与面部表情影像的抑郁症病症辅助识别方法的流程示意图
。
具体实施方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，其特征在于，包括：基于预设的实验范式执行脑电刺激实验，并同步采集被试的面部表情影像数据以及个体的脑电数据；对脑电数据进行解析，得到
N270
波形；对面部表情影像数据以及
N270
波形进行多特征提取；将多特征整合后输入经训练的基于自注意力机制的神经网络模型，输出抑郁症病症辅助识别结果
。2.
根据权利要求1所述的基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，其特征在于，预设的实验范式的编辑过程包括：基于
Matlab
及
E
‑
prime
，使用物理性质一致的灰度照片；其中，灰度照片中的性别比例均衡，被试表情中性与负性比例均衡，且无任何面部标志，并对其中一半数量的照片进行面部局部遮挡处理；设置既定数量的试次
、
单个试次的持续时间以及实验总时长
。3.
根据权利要求1所述的基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，其特征在于，所述多特征提取包括：利用预先训练的多任务深度预测模型从所述面部表情影像数据提取面部特征
、
生理信号特征；基于所述
N270
波形提取波形特征；基于所述面部表情影像数据以及所述
N270
波形，获得情感特征向量
。4.
根据权利要求3所述的基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，其特征在于，所述多任务深度预测模型包括共有特征提取模块以及多任务特征融合模块；所述共...

【专利技术属性】
技术研发人员：吕玉丹，杨鑫，王长明，姚翰，张永祥，殷雪峰，李童，张肇轩，尹宝才，张远，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：