基于P300字符拼写任务的情绪识别方法技术

本发明专利技术涉及情绪检测技术，为提出一种检测情绪状态的新方法，进行自动情绪状态检测，可有效地进行基于P300的脑机接口任务过程中的情绪识别，并获得可观的社会效益和经济效益。本发明专利技术采用的技术方案是，基于P300字符拼写任务的情绪识别方法，首先通过观看情绪图片分别诱发出积极情绪、中性情绪和消极情绪三类情绪状态，然后进行基于P300的字符拼写任务；同时采集EEG信号；经过信号预处理后提取EEG信号中标签后700ms数据并降采样到100Hz作为特征，筛选出最佳可分时段并计算ERP信号的N2，P3幅值，得到特征向量作为后续模式识别的输入，从而进行自动情绪识别。本发明专利技术主要应用于进行自动情绪状态检测。

Emotion recognition method based on P300 character spelling task

The present invention relates to emotion detection technology, a new method is proposed for detecting the emotional state, automatic emotion detection, can effectively carry out emotion recognition task of brain machine interface in the process of P300 based, and has gained considerable economic and social benefits. The technical scheme of the invention is that emotion recognition method based on P300 character spelling task, first by watching the emotional pictures were induced by positive emotions and negative emotions, neutral three types of emotional state, then the P300 is based on the characters of the spelling task; acquisition of EEG signal at the same time; after signal preprocessing to extract EEG signal label 700ms data and down sampling to 100Hz as features, selected the best can be divided into time and calculating the ERP signal of N2, amplitude of P3, get the feature vector as input to subsequent pattern recognition, automatic emotion recognition. The invention is mainly applied to automatic emotional state detection.

【技术实现步骤摘要】
基于P300字符拼写任务的情绪识别方法
本专利技术涉及情绪检测技术，具体讲,涉及基于P300字符拼写任务的情绪识别方法。
技术介绍
情绪是人对客观事物或情景(对外界或自身刺激)是否满足自身愿望或需要而产生的态度体验，是人多种感觉、思想和行为反应综合产生的心理和生理状态。情绪作为人脑的高级功能，属于人类智能的重要部分，不同程度上影响人的学习、记忆与决策。对于情绪的检测识别及调控一直是科学研究的热点。情绪识别是情感计算的重要组成部分，是计算科学与心理科学、认知科学的结合，为探究人机交互的情感特点，提高人与计算机的和谐性的重要保证。鉴于情绪具有三种成分：主观体验(及个体对不同情感状态的自我感受)、外部表现(在情感状态发生时身体各部分的动作量化形式，即表情)和生理唤醒(情感产生的生理反应)。对于情绪的识别也相应的有基于主观体验的主观报告法，包括情绪评定量表、自我测试问卷等，主观报告法操作简单，但由于个体对量表的表述理解有偏差导致精度及可靠性不高；基于外部表现的外部行为测量法，即通过对面部表情、姿态表情及语调表情等外部行为信息与情绪间关系的分析，来识别不同情绪状态，外部行为信号易受个人主观意志控制，可以人为地进行掩饰或伪装，易出现错误识别；基于生理唤醒的生理信号测量法，主要有皮质醇水平、心率、血压、呼吸、皮肤电活动、掌汗、瞳孔直径、事件相关电位和脑电等，生理信号由人的神经系统和内分泌系统支配，具有自发性，不可伪装，很少受人的主观意志控制，更能客观、真实地反映人的情绪状态。这些情绪识别的方法各有特点且可以自由组合。脑-机接口(braincomputerinterface,BCI)是一个在大脑和外围设备之间传递信息，且不依赖于外围神经和肌肉组成的大脑正常输出通路的通讯系统。随着电子信息技术的快速发展，脑-机接口技术的应用得到了极大拓展，不仅在神经康复领域，在休闲娱乐、疾病诊断和检测、人工智能和机器学习等领域也有较好的应用前景。脑机交互，这种将人类的双手彻底解放出来的新型通讯方式很可能带来劳动方式和劳动关系的变革。但脑控过程中情绪的波动会对脑机接口性能的稳定性及可靠性产生影响，因此迫切需要在脑控过程中监控识别情绪状态，并对使用者进行实时反馈。由于脑机接口使用过程中脑电的采集和处理时必须的，同时脑电信号具有时间分辨率高，实时性好的特点，因此可以利用脑电信号进行脑机接口任务过程中的情绪识别。基于P300字符拼写的脑机接口是脑机接口的典型应用和重要示例。P300是一种典型的利用事件相关电位(event-relatedpotentials，ERP)内源性成分，其幅值与刺激出现的可预测性相关，一般出现在事件发生后300ms左右而得名。ERP是一种特殊的脑诱发电位，它通过赋予刺激以特殊的心理意义，利用多种或多个刺激所引发，反映了大脑认知过程中的神经电生理变化。20世纪60年代，针对情绪ERP的研究开始兴起，大量研究表明，与中性图片相比，唤醒度高的情绪图片能诱发更大的P300波幅；积极情绪刺激相对于中性和消极情绪刺激，会引发更大的P3b幅度。也有研究表明，消极情绪刺激在枕区诱发的P1(117ms)幅值比积极情绪刺激大，因此利用ERP信号进行情绪识别具有可行性。在P300字符拼写任务执行过程中，会产生的ERP信号，用ERP信号进行情绪识别方便快捷，实时性好。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种检测情绪状态的新方法，进行自动情绪状态检测，可有效地进行基于P300的脑机接口任务过程中的情绪识别，并获得可观的社会效益和经济效益。本专利技术采用的技术方案是，基于P300字符拼写任务的情绪识别方法，首先通过观看情绪图片分别诱发出积极情绪、中性情绪和消极情绪三类情绪状态，然后进行基于P300的字符拼写任务；同时采集EEG信号；经过信号预处理后提取EEG信号中标签后700ms数据并降采样到100Hz作为特征，筛选出最佳可分时段并计算ERP信号的N2，P3幅值，得到特征向量作为后续模式识别的输入，从而进行自动情绪识别。情绪诱发与字符拼写任务选取唤醒度匹配的诱发积极情绪、中性情绪、消极情绪的IAPS图片，当IAPS被应用于不同文化、不同种族、不同国家时，其通用性仍然受到挑战，因此实验前要进行适用性的评估工作，即对三类情绪的图片做唤醒度和愉悦度的评分，选取较高唤醒度的图片作为情绪诱发素材；以情绪图片诱发出相应情绪后，进行基于P300的字符拼写任务并对自己当前的情绪状态进行主观评定，字符拼写界面为一个6*6的字符行列式，每拼写一个字符需要10轮次的行列闪烁，每次闪烁相应的行或列点亮100ms，变暗75ms，因此每拼写一个字符需要(100+75)*12*10/1000＝21s；为了保证在字符拼写任务期间，情绪状态依然保持，采用每拼写一次字符，诱发一次情绪的方式进行实验，主观评定是受试者对自己的愉悦度进行评分，共分为1到9个等级，随着等级增加，愉悦度升高，5为中性放松状态。特征提取首先将采集到的脑电信号进行预处理，包括去工频干扰、去基线、带通滤波，降采样到100Hz，以及ICA去眼电。然后将预处理后的信号进行特征提取；特征提取的方法流程是，首先检测受试者对自己愉悦度的自主评分，评分为1到3视为处于消极情绪状态，评分为4到6视为处于中性情绪状态，评分为7到9视为处于积极情绪状态，将数据分为三类情绪状态下的字符拼写数据段，每段数据为21s，共包含120个行列标签和1个目标字符标签；针对每段数据，需要提取每个行列标签后700ms数据,以及这700ms数据的N2、P3幅值；1)ERP信号的幅值，将某种情绪状态下的标签后700ms数据进行叠加平均，得到平均ERP信号，平均ERP信号包括P1、N1、P2、N2、P3成分，关注N2、P3成分，首先将平均ERP信号的潜伏期确定下来，再计算出每个刺激ERP信号的N2、P3的幅值，共有60导联*2＝120维特征，记为特征向量V1，V2，…，V120；2)截取标签后700ms的数据作为字符识别的特征，采样频率为100Hz，每个导联有700*100/1000＝70个数据点，当前的脑电采集设备导联数目较多，再加入与情绪相关的前额部分的导联FP1、FP2，共选取了8个导联，采用fisher比率找到可将不同情绪类型区分开的最佳可分性时段，进行可分时段的自适应跟踪法计算。可分时段自适应跟踪法每拼写一个字符，会产生120个ERP信号，因此每一个导联都有一个离散ERP矩阵Ik(n,t)，n为ERP信号的个数，t为时间，首先计算每个导联的ERP信号矩阵的Fisher比率，接下来利用迭代选择法，以100ms作为窗长，25ms作为重叠时长，计算各个时间段的平均可分比率；可分比率最大的时段包含的三类情绪差异特征最多，选取可分比率最大的前三个时段作为模式识别的特征，具体算法如下：计算Fisher比率FR(t)的方法如公式(1)所示，其中，FR(t)为某一导联的三类情绪的可分系数，它是类间即三类情绪类型之间的差异SB(t)与类内即同一情绪类型差异Sw(t)的比值，Ik(n,t)为第k类情绪的第n个样本在t时刻的ERP值，mk(t)为第k类情绪所有样本在t时刻的平均ERP值，m(t)为所有类的所有样本在t时刻的平均ERP值，C代表类别数本文档来自技高网...

【技术保护点】
一种基于P300字符拼写任务的情绪识别方法，其特征是，首先通过观看情绪图片分别诱发出积极情绪、中性情绪和消极情绪三类情绪状态，然后进行基于P300的字符拼写任务；同时采集EEG信号；经过信号预处理后提取EEG信号中标签后700ms数据并降采样到100Hz作为特征，筛选出最佳可分时段并计算ERP信号的N2，P3幅值，得到特征向量作为后续模式识别的输入，从而进行自动情绪识别。

【技术特征摘要】
1.一种基于P300字符拼写任务的情绪识别方法，其特征是，首先通过观看情绪图片分别诱发出积极情绪、中性情绪和消极情绪三类情绪状态，然后进行基于P300的字符拼写任务；同时采集EEG信号；经过信号预处理后提取EEG信号中标签后700ms数据并降采样到100Hz作为特征，筛选出最佳可分时段并计算ERP信号的N2，P3幅值，得到特征向量作为后续模式识别的输入，从而进行自动情绪识别。2.如权利要求1所述的基于P300字符拼写任务的情绪识别方法，其特征是，情绪诱发与字符拼写任务：选取唤醒度匹配的诱发积极情绪、中性情绪、消极情绪的IAPS图片，当IAPS被应用于不同文化、不同种族、不同国家时，其通用性仍然受到挑战，因此实验前要进行适用性的评估工作，即对三类情绪的图片做唤醒度和愉悦度的评分，选取较高唤醒度的图片作为情绪诱发素材；以情绪图片诱发出相应情绪后，进行基于P300的字符拼写任务并对自己当前的情绪状态进行主观评定，字符拼写界面为一个6*6的字符行列式，每拼写一个字符需要10轮次的行列闪烁，每次闪烁相应的行或列点亮100ms，变暗75ms，因此每拼写一个字符需要(100+75)*12*10/1000＝21s；为了保证在字符拼写任务期间，情绪状态依然保持，采用每拼写一次字符，诱发一次情绪的方式进行实验，主观评定是受试者对自己的愉悦度进行评分，共分为1到9个等级，随着等级增加，愉悦度升高，5为中性放松状态。3.如权利要求1所述的基于P300字符拼写任务的情绪识别方法，其特征是，特征提取具体为：首先将采集到的脑电信号进行预处理，包括去工频干扰、去基线、带通滤波，降采样到100Hz，以及ICA去眼电。然后将预处理后的信号进行特征提取；特征提取的方法流程是，首先检测受试者对自己愉悦度的自主评分，评分为1到3视为处于消极情绪状态，评分为4到6视为处于中性情绪状态，评分为7到9视为处于积极情绪状态，将数据分为三类情绪状态下的字符拼写数据段，每段数据为21s，共包含120个行列标签和1个目标字符标签；针对每段数据，需要提取每个行列标签后700ms数据,以及这700ms数据的N2、P3幅值；1)ERP信号的幅值，将某种情绪状态下的标签后700ms数据进行叠加平均，得到平均ERP信号，平均ERP信号包括P1、N1、P2、N2、P3成分，关注N2、P3成分，首先将平均ERP信号的潜伏期确定下来，再计算出每个刺激ERP信号的N2、P3的幅值，共有60导联*2＝120维特征，记为特征向量V1，V2，…，V120；2)截取标签后700ms的数据作为字符识别的特征，采样频率为100Hz，每个导联有700*100/1000＝70个数据点，当前的脑电采集设备导联数目较多，再加入与情绪相关的前额部分的导联FP1、FP2，共选取了8个导联，采用fisher...

【专利技术属性】
技术研发人员：仝晶晶，赵欣，刘爽，许敏鹏，汤佳贝，安兴伟，何峰，明东，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12