基于双模态融合的抑郁状态识别方法及系统技术方案

一种基于双模态融合的抑郁状态识别的智能方法，包括：采集目标人员在抑郁状态诱发场景中的脑电信号和心电信号；建立识别模型：利用多模态深度神经网络对所述脑电预处理数据和心电预处理数据进行特征提取并融合，得到融合特征；所述多模态深度神经网络包括心电特征提取网络和脑电特征提取网络；训练识别模型：利用最优模型对待测试人员的抑郁状态进行识别，最终将其抑郁状态进行归类、分级。本发明专利技术利用深度学习算法对抑郁状态患者进行识别，减轻了心理工作者在面临大范围筛查时的巨大工作量，为医疗工作人员提供判定参考，提高抑郁状态患者识别的效率。态患者识别的效率。态患者识别的效率。

【技术实现步骤摘要】
基于双模态融合的抑郁状态识别方法及系统


[0001]本专利技术公开一种基于双模态融合的抑郁状态识别方法及系统，属于基于深度学习的智慧医疗领域。

技术介绍

[0002]随着社会的快速发展，全球抑郁状态患者数量逐年递增。抑郁状态对个人的生活质量、学习和工作能力、社交活动都有比较严重的影响，甚至会导致自伤和自杀行为。抑郁状态的症状会随着时间推移对个人造成不同程度的损害，因此早期发现和诊断抑郁状态是康复的关键。
[0003]传统的抑郁状态识别方法如临床评估、量表自评主观性较大，不确定因素较多。现有的利用数据分析和人工智能技术识别抑郁状态、识别在速度和效率都有很大的提升。然而现有的算法识别主要是采集被测者静息态或任务态的脑电、表情、语音、眼动等多模态的生理数据，被测者的量表评分作为标签，构建抑郁状态识别算法。
[0004]另外，研究发现针对脑电和心电作为人类的无意识的生理反应，比易受外界影响的有意识的生理反应如表情、眼动等更加可靠。面部表情、语音、眼动等行为信号易受外界环境的影响，识别抑郁状态准确率较差。脑电信号(EEG)时间分辨率高、无创、记录方便、成本低等特点使其逐渐成为研究抑郁状态的方向。便携式的脑电采集设备的发展使脑电的采集成本降低、精度变高。心电信号(ECG)心脏组织极化和去极化产生的心脏电活动的记录，可以反映与情感和应激相关的自主神经系统的变化，但在抑郁状态识别的研究较少。
[0005]综上可知，传统针对抑郁状态识别主观性、资源成本、过程复杂且耗时；根据行为信号对抑郁状态的识别不够准确。r/>
技术实现思路

[0006]针对现有技术的不足，本专利技术公开一种基于双模态融合的抑郁状态识别方法。
[0007]本专利技术还公开了一种加载上述识别方法的系统。
[0008]专利技术概述：
[0009]一种基于双模态融合的抑郁状态识别方法，通过利用被测者的脑电信号EEG和心电信号ECG，经设计的神经网络模型提取两种模态的高维特征进行特征融合，实现更加准确识别抑郁状态。
[0010]本专利技术详细的技术方案如下：
[0011]一种基于双模态融合的抑郁状态识别的智能方法，其特征在于，包括：
[0012]1)采集目标人员在抑郁状态诱发场景中的脑电信号和心电信号，作为样本数据集，利用国际通用抑郁状态激发情景作为诱发场景，通过传感器采集被测人员的脑电和心电作为样本数据集；
[0013]2)对采集到的脑电信号和心电信号进行预处理，得到脑电预处理数据和心电预处理数据，根据采集的生理信号的频率振幅方面的固有特性采用相应的预处理方法；
[0014]3)建立识别模型：利用多模态深度神经网络对所述脑电预处理数据和心电预处理数据进行特征提取并融合，得到融合特征；所述多模态深度神经网络包括心电特征提取网络和脑电特征提取网络；
[0015]4)训练识别模型：
[0016]将所述融合特征输入到构建的LSTM分类器进行迭代、保存最优模型，利用最优模型对待测试人员的抑郁状态进行识别，最终将其抑郁状态进行归类、分级。
[0017]根据本专利技术优选的，所述步骤2)的预处理方法包括：
[0018]对心电信号的预处理包括：对心电信号降采样、小波变换去除对心电影响较大的噪声、对所述心电信号分割去除信号边缘处滤波器影响以及完成信号长度统一；进一步，对原始心电信号的偏差和均值进行标准化，最后得到心电信号的序列输出，即ECG序列输出，作为心电特征提取网络的输入；
[0019]对脑电信号的预处理包括：由于脑电通道的分布结构不规则，采集的脑电数据也不是规则的结构数据，无法直接作为神经网络的输入，采用带通滤波器去除脑电信号周围噪声及电源线频率的干扰；对脑电信号分割去除信号边缘处滤波器影响以及完成信号长度统一；对原始脑电信号的偏差和均值进行标准化，标准化的脑电数据经过Nasion 10
‑
20系统进行二维矩阵映射，最后将矩阵转为EEG二维图片作为脑电特征提取网络的输入。脑电信号的处理中针对均值与偏差的标准化采用的是Z
‑
score标准化方法。脑电预处理方法采用的是脑电处理中常用方法，接触过脑电处理的能进行实现。
[0020]根据本专利技术优选的，对心电信号的预处理的具体方法，包括：
[0021]心电信号的采集频率256Hz，为了减少频率不同造成融合过程的误差，所述对心电信号进行降采样：对采集的原始表心电信号进行间隙为L的取样，经过
[0022][0023]在公式(I)中，ω为心电信号在频域上的数字角频率；将频域上的原始心电信号X的频谱拓展为原来的L倍得到经过降采样后的心电信号Y，降采样后的低采样率为实现了在不影响心电信号的互相关情况下，降低了心电信号的长度；
[0024]所述小波变换以去除高频噪声、工频干扰和肌电图信号等：在测量人体心电信号，会出现不可避免的干扰，由于经过小波分解后，原始心电信号比噪声的小波系数大，通过设置合适的阈值可以滤除原始心电信号中的干扰，首先通过python.pywt库中wavedec函数对心电信号进行8层的小波分解，再通过Sqtwolog阈值进行降噪：
[0025][0026]在公式(II)中，λ为选取的降噪阈值，P是心电信号降采样后的长度，最后经过python.pywt库中的waverec函数进行小波反变换获取降噪后的心电信号；对心电信号进行分割完成ERP分段，只保留被测者在接受到某个刺激并作出反应时具体时段的信号，并去除每一段信号的前后各1s片段抵消边缘处滤波器的影响，对心电信号进行Z
‑
Score标准化：
[0027][0028]在公式(III)中，z为标准化之后得到的个体被测生理信号的分值，用于特征提取网络的输入；为每个被测人员分段生理信号的均值；μ为所有被测人员生理信号的总体均值；N为被测人员的数量；x
i
，i＝1，2，3，
……
为每个被测人员的生理信号。
[0029]根据本专利技术优选的，对脑电信号的预处理的具体方法，包括：
[0030]通过共同平均参考值(Common Average Reference,CAR)从所选通道中减去所有电极的平均值去除脑电噪声：
[0031][0032]在公式(IV)中，为t时刻脑电信号滤波后的电位；χ
i
(t)为t时刻第i个电极电位；G是选取的通道数量；χ
j
(t)为t时刻某个选定通道的电极电位；
[0033]利用0
‑
45Hz带通滤波器去除眼动、工频等的伪影信号；
[0034]对脑电信号进行分割完成ERP分段，去除前后1s的信号消除边缘滤波器的影响；最后对脑电信号进行Z
‑
Score标准化，如公式(III)的模式对脑电信号进行处理，Z
‑
Score标准化是数据处理的一种常用方法，(III)是该标准化方式的标准公式，在文中对两种模态的数据进行标准化是将不同量级的数据统一转化为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双模态融合的抑郁状态识别的智能方法，其特征在于，包括：1)采集目标人员在抑郁状态诱发场景中的脑电信号和心电信号；2)对采集到的脑电信号和心电信号进行预处理，得到脑电预处理数据和心电预处理数据；3)建立识别模型：利用多模态深度神经网络对所述脑电预处理数据和心电预处理数据进行特征提取并融合，得到融合特征；所述多模态深度神经网络包括心电特征提取网络和脑电特征提取网络；4)训练识别模型：将所述融合特征输入到构建的LSTM分类器进行迭代、保存最优模型，利用最优模型对待测试人员的抑郁状态进行识别，最终将其抑郁状态进行归类、分级。2.如权利要求1所述的一种基于双模态融合的抑郁状态识别的智能方法，其特征在于，所述步骤2)的预处理方法包括：对心电信号的预处理包括：对心电信号降采样、小波变换去除对心电的噪声、对所述心电信号分割去除信号边缘处滤波器影响以及完成信号长度统一；进一步，对原始心电信号的偏差和均值进行标准化，最后得到心电信号的序列输出，即ECG序列输出，作为心电特征提取网络的输入；对脑电信号的预处理包括：采用带通滤波器去除脑电信号周围噪声及电源线频率的干扰；对脑电信号分割去除信号边缘处滤波器影响以及完成信号长度统一；对原始脑电信号的偏差和均值进行标准化，标准化的脑电数据经过Nasion 10
‑
20系统进行二维矩阵映射，最后将矩阵转为EEG二维图片作为脑电特征提取网络的输入。3.如权利要求1所述的一种基于双模态融合的抑郁状态识别的智能方法，其特征在于，对心电信号的预处理的具体方法，包括：所述对心电信号进行降采样：对采集的原始表心电信号进行间隙为L的取样，经过在公式(I)中，ω为心电信号在频域上的数字角频率；将频域上的原始心电信号X的频谱拓展为原来的L倍得到经过降采样后的心电信号Y，降采样后的低采样率为所述小波变换：首先通过python.pywt库中wavedec函数对心电信号进行8层的小波分解，再通过Sqtwolog阈值进行降噪：在公式(II)中，λ为选取的降噪阈值，P是心电信号降采样后的长度，最后经过python.pywt库中的waverec函数进行小波反变换获取降噪后的心电信号；对心电信号进行分割完成ERP分段，只保留被测者在接受到某个刺激并作出反应时具体时段的信号，并去除每一段信号的前后各1s片段抵消边缘处滤波器的影响，对心电信号进行Z
‑
Score标准化：
在公式(III)中，z为标准化之后得到的个体被测生理信号的分值，用于特征提取网络的输入；为每个被测人员分段生理信号的均值；μ为所有被测人员生理信号的总体均值；N为被测人员的数量；x
i
，i＝1，2，3，
……
为每个被测人员的生理信号。4.如权利要求1所述的一种基于双模态融合的抑郁状态识别的智能方法，其特征在于，对脑电信号的预处理的具体方法，包括：通过共同平均参考值从所选通道中减去所有电极的平均值去除脑电噪声：在公式(IV)中，为t时刻脑电信号滤波后的电位；χ
i
(t)为t时刻第i个电极电位；G是选取的通道数量；χ
j
(t)为t时刻某个选定通道的电极电位；利用带通滤波器去除伪影信号；对脑电信号进行分割完成ERP分段，去除前后1s的信号消除边缘滤波器的影响；最后对脑电信号进行Z
‑
Score标准化；对分割后的每一个包含16个电极的脑电信号样本利用国际10
‑
20系统完成通道集到索引集的匹配序列映射，进而得到某一被测者单一EEG分段的81x128维度的特征矩阵，最后将其转为EEG二维图片作为脑电特征提取网络的输入。5.如权利要求1所述的一种基于双模态融合的抑郁状态识别的智能方法，其特征在于，在所述步骤3)中，所述心电特征提取网络包括：利用CNN
‑
LSTM网络对所述ECG序列输出进行高层特征的提取，通过CNN的卷积和池化层从ECG序列中提取时间特征，再通过LSTM层提取时间特征之间顺序依赖关系，完成对ECG序列高层特征的提取。6.如权利要求1所述的一种基于双模态融合的抑郁状态识别的智能方法，其特征在于，在所述步骤3)中，所述心电特征提取网络为1D
‑
CNN和LSTM串联网络，包括：固定时间窗口为1s的序列作为输入，通过CNN网络提取心电信号序列的空间特征，经过Flatten Layer输入到两层LSTM网络中提取时间特征之间的顺序依赖关系，经过全连接层输出提取的高维心电信号特征矩阵F1；所述C...

【专利技术属性】
技术研发人员：隋金雁，张继洲，王聪聪，刘得成，马佳霖，翟立彬，王明晗，孙保林，邢奥林，陶笑笑，刁志强，刘祖明，王树，曹艳坤，陶可猛，
申请(专利权)人：浩睿智源山东人工智能有限公司，
类型：发明
国别省市：