一种基于脑-机协同智能的表情识别方法技术

本发明专利技术涉及一种基于脑‑机协同智能的表情识别方法。本发明专利技术主要采用两层卷积神经网络提取人脸表情的图像视觉特征，以及多个门控循环单元提取观看表情时诱发的脑电情感特征，并通过随机森林回归模型建立两种特征之间的映射关系，最后采用K‑近邻分类器对回归模型得到的预测脑电情感特征进行表情的分类。本发明专利技术包括数据采集、数据预处理、图像视觉特征提取、脑电情感特征提取、特征映射和表情分类。表情分类结果表明：采用预测的脑电情感特征得到了较好的分类结果。与传统的图像视觉方法相比，基于脑‑机协同智能的表情识别，是一种很有前景的情感计算方法。

A Face Recognition Method Based on Brain-Computer Cooperative Intelligence

【技术实现步骤摘要】
一种基于脑-机协同智能的表情识别方法
本专利技术属于情感计算领域中的表情识别领域，具体涉及一种基于脑-机协同智能的表情识别方法。
技术介绍
一般来说，我们使用面部表情，身体姿势和声音音调来推断某人的情绪状态(如喜悦，悲伤和愤怒等)。就承载情感意义而言，面部表情是日常交流中主要的信息来源，它也是人机交互系统(HCIS)中的关键组成部分，如何有效地进行表情识别已经成为一个重要课题。目前，面部表情识别(FER)方法主要从人类视觉角度出发，利用计算机技术从面部图像中提取相关特征来区分不同的表情，根据特征是人工设计还是神经网络生成可以分为两大类。第一类是传统的表情识别方法。该类方法首先检测出人脸，然后通过提取几何特征、统计特征、频率域特征和运动特征等表情特征，最后采用支持向量机(SVM)，K-近邻(KNN)和Adaboost算法等对提取的特征进行分类，从而完成表情的识别。但这些特征易受外界因素(主要是光照、角度、复杂背景等)干扰，丢失一些重要的识别和分类信息，导致结果的精确性不高。第二类是基于深度学习技术的表情识别方法。近年来，深度学习技术取得了突破性进展且在计算机视觉领域得到广泛应用。深度学习模型能对数据进行有效的特征提取，这是许多传统的机器学习模型所达不到的。因此，将深度学习引入到表情识别，可以使计算机深度理解人脸表情图像的表达意义。目前，大部分学者利用卷积神经网络实现表情识别。Liu等人提出了构建一个深度网络AUDN，它利用面部动作编码系统(FACS)的面部动作单元AU为特征，用卷积神经网络与多层受限制玻尔兹曼机进行特征提取，最后用支持向量机(SVM)做表情分类器。Mollahosseini等人提出了一个更复杂的神经网络模型，由两个卷积层组成，每个卷积层后面连接一个最大池，然后是四个Inception层，该模型在多个标准人脸数据集上取得了可观的效果。通常，增加隐含层的层数可以增强网络的学习能力，使得学习到的特征更加贴近物体本身。但是，多层网络训练时间会增加，训练难度也会随之加大。同时，对训练样本的规模和多样性的要求也会变高，否则模型过拟合也会导致识别结果不理想。事实上，人类对表情的识别几乎不需要训练，而且可以做到在有限的样本集上获得可靠的识别结果。研究表明，基于视听觉刺激诱发的生理信号(脑电信号、肌电信号、血压、心率和呼吸等)与情感语义存在隐含关系。其中，脑电信号中包含了大量的情感信息，这些信息在大脑皮层的不同区域随着情绪的变化而变化，具有高级的情感表达和良好的可分性。据此，本专利技术创新地提出了基于脑-机协同智能的表情识别方法，通过表情诱发的脑电信号与计算机技术捕捉到的视觉信息来实现表情的分类。它的意义在于利用人类的真实情感来提高机器在情感学习上的有效性，从而实现更人性化的情感计算。
技术实现思路
本专利技术针对现有技术的不足，提供了一种基于脑-机协同智能的表情识别方法。该方法是利用两层卷积神经网络(Two-layerConvolutionalNeuralNetwork,TCNN)提取表情的图像视觉特征，以及多个门控循环单元(GatedRecurrentUnits,GRUs)提取脑电情感特征，采用随机森林回归模型建立图像视觉特征与脑电情感特征之间的映射关系，并通过K-近邻分类器对得到的预测脑电特征进行分类，从而完成表情的自动识别。本专利技术所采用的技术方案：1.获取数据：采用多通道脑电采集设备采集原始脑电信号，获取每张表情图像诱发的脑电信号，共获取到N段原始脑电信号。2.数据预处理：脑电数据：对各段原始脑电信号均进行数据预处理，包括去伪迹和带通滤波，目的是减少伪迹的干扰，提高信噪比，从而提高特征提取的有效性。去伪迹和带通滤波属于本领域技术人员所熟知的常规技术，故不作详解。图像数据：对上述原始表情图像调整大小，并对其像素值进行归一化处理(0-1之间)，方便计算。3.脑电情感特征提取：对预处理后的脑电信号采用多个门控循环单元(GRUs)模型提取脑电情感特征。每个GRU单元结构中包含了两个门，t时刻的更新门zt和重置门rt，给定t时刻的脑电输入et和该时刻隐藏层的状态ht，满足以下等式：rt＝σ(Wr·[ht-1,et])zt＝σ(Wz·[ht-1,et])其中σ是激活函数，[]表示向量连接，*是矩阵元素乘法，Wr,Wz和Wh分别是重置门权重矩阵、更新门权重矩阵和隐藏层的状态权重矩阵。更新门zt用于控制前一时间的状态信息进入当前状态的程度。更新门zt的值越大，在时间t-1引入的状态信息越多。重置门rt用于控制在时间t-1忽略状态信息的程度，并且重置门rt的值越小，前一时刻的信息被忽略得越多。该GRUs模型包含两层堆叠的GRU单元，第一层是由多对多模式的256个神经元节点组成，第二层是多对一模式的128个神经元节点组成，后连接一个soft-max层。将第二层GRU的最后一个单元隐藏节点状态输出作为脑电情感特征Y。4.图像视觉特征提取：预处理后原始表情的图像视觉特征通过两层卷积神经网络模型(TCNN)来提取，该神经网络模型包含两层卷积、两层最大池化，一个全连接层和最后的soft-max层。其中全连接层包含了256个神经元节点，并将该层的输出作为提取的图像视觉特征X。5.特征映射：针对步骤3提取的特征Y和步骤4提取的特征X，采用随机森林回归模型建立了两者之间的映射关系，将Y设为回归目标，回归方程记作Y＝RF(X)。随机森林是一种集成算法，它是由多棵决策树组成，输入向量在多个决策树上运行。能够降低模型的方差，与单棵决策树相比，随机森林通常具有更好的泛化性能。它对数据集中的异常值不敏感，不需要过多的参数调优。对于回归方程Y＝RF(X)拟合的程度评估，采用决定系数R2(又名拟合优度)。在多元回归分析中，其表达式如下：其中，yi表示真实的脑电情感特征值，表示根据回归方程Y＝RF(X)预测的脑电情感特征值，y表示真实脑电情感特征的均值，SST为真实脑电特征的总平方和，SSE为真实脑电特征与预测脑电特征的残差平方和；i表示脑电特征中第i维特征值，一共有d维。对图像视觉特征对脑电情感特征的拟合优度R2越大，预测的脑电情感特征越接近真实的脑电情感特征，分类结果的精确度越高。6.表情分类：在步骤5训练好的回归模型Y＝RF(X)上，对于任意的图像视觉特征xi得到对应的预测脑电情感特征采用K-近邻分类器在步骤3提取的真实脑电特征Y中找到与预测脑电特征距离最近的表情类别属性，即为xi对应的真实表情类别属性。本专利技术的有益效果是：在样本不充分情况下，避免了深度复杂神经网络模型在小样本下过拟合问题。同时，利用人脑对表情感知的特殊能力(即表情诱发产生的脑电信号)来弥补浅层神经网络模型学习低层图像视觉特征的有效性，从而提高表情识别的精确性。与单独的图像特征识别相比，避免了传统特征的构造以及深度复杂神经网络建模与训练的过程。基于脑-机协同智能的方法更为方便和精确，是一种很有前景的情感计算方法。附图说明图1为具体实施流程图；图2为脑电通道图。具体实施方式以下结合附图对本专利技术作进一步说明。如图1所示，本专利技术的具体实施步骤如下：步骤S1：采用多通道脑电采集设备采集所需的脑电信号，共采集6名被观看870张包含7种情绪(生气，恶心、恐惧、高兴、中性、悲伤和惊讶)的表本文档来自技高网...

【技术保护点】
1.一种基于脑‑机协同智能的表情识别方法，其特征在于该方法包括以下步骤：步骤1.获取数据：采用多通道脑电采集设备采集原始脑电信号，获取每张表情图像诱发的脑电信号，共获取到N段原始脑电信号；步骤2.数据预处理步骤3.脑电情感特征提取：对步骤2预处理后的脑电信号采用多个门控循环单元(GRUs)模型提取脑电情感特征；步骤4.图像视觉特征提取：预处理后原始表情图像的图像视觉特征X通过两层卷积神经网络模型(TCNN)来提取；步骤5.特征映射：针对步骤3提取的特征Y和步骤4提取的特征X，采用随机森林回归模型建立了两者之间的映射关系，将Y设为回归目标，回归方程记作Y＝RF(X)；对于回归方程Y＝RF(X)拟合的程度评估，采用决定系数R

【技术特征摘要】
1.一种基于脑-机协同智能的表情识别方法，其特征在于该方法包括以下步骤：步骤1.获取数据：采用多通道脑电采集设备采集原始脑电信号，获取每张表情图像诱发的脑电信号，共获取到N段原始脑电信号；步骤2.数据预处理步骤3.脑电情感特征提取：对步骤2预处理后的脑电信号采用多个门控循环单元(GRUs)模型提取脑电情感特征；步骤4.图像视觉特征提取：预处理后原始表情图像的图像视觉特征X通过两层卷积神经网络模型(TCNN)来提取；步骤5.特征映射：针对步骤3提取的特征Y和步骤4提取的特征X，采用随机森林回归模型建立了两者之间的映射关系，将Y设为回归目标，回归方程记作Y＝RF(X)；对于回归方程Y＝RF(X)拟合的程度评估，采用决定系数R2(又名拟合优度)；在多元回归分析中，其表达式如下：其中，yi表示真实的脑电情感特征值，表示根据回归方程Y＝RF(X)预测的脑电情感特征值，表示真实脑电情感特征的均值，SST为真实脑电特征的总平方和，SSE为真实脑电特征与预测脑电特征的残差平方和；i表示脑电特征中第i维特征值，一共有d维；步骤6.表情分类：在步骤5训练好的回归模型Y＝RF(X)上，对于任意的图像视觉特征xi得到对应的预测脑电情感特征采用K-近邻分类器在步骤3提取的真实脑电特征Y中找到与预测脑电特征距离最近的表情类别属性，即为xi对应的真实表情类别属性。2.如权利要求1所述的一种基于...

【专利技术属性】
技术研发人员：孔万增，隆燕芳，凌文芬，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33