一种基于脑-机协同智能的表情识别方法技术

本发明专利技术涉及一种基于脑‑机协同智能的表情识别方法。本发明专利技术主要采用两层卷积神经网络提取人脸表情的图像视觉特征，以及多个门控循环单元提取观看表情时诱发的脑电情感特征，并通过随机森林回归模型建立两种特征之间的映射关系，最后采用K‑近邻分类器对回归模型得到的预测脑电情感特征进行表情的分类。本发明专利技术包括数据采集、数据预处理、图像视觉特征提取、脑电情感特征提取、特征映射和表情分类。表情分类结果表明：采用预测的脑电情感特征得到了较好的分类结果。与传统的图像视觉方法相比，基于脑‑机协同智能的表情识别，是一种很有前景的情感计算方法。

A Face Recognition Method Based on Brain-Computer Cooperative Intelligence

【技术实现步骤摘要】
一种基于脑-机协同智能的表情识别方法
本专利技术属于情感计算领域中的表情识别领域，具体涉及一种基于脑-机协同智能的表情识别方法。
技术介绍
一般来说，我们使用面部表情，身体姿势和声音音调来推断某人的情绪状态(如喜悦，悲伤和愤怒等)。就承载情感意义而言，面部表情是日常交流中主要的信息来源，它也是人机交互系统(HCIS)中的关键组成部分，如何有效地进行表情识别已经成为一个重要课题。目前，面部表情识别(FER)方法主要从人类视觉角度出发，利用计算机技术从面部图像中提取相关特征来区分不同的表情，根据特征是人工设计还是神经网络生成可以分为两大类。第一类是传统的表情识别方法。该类方法首先检测出人脸，然后通过提取几何特征、统计特征、频率域特征和运动特征等表情特征，最后采用支持向量机(SVM)，K-近邻(KNN)和Adaboost算法等对提取的特征进行分类，从而完成表情的识别。但这些特征易受外界因素(主要是光照、角度、复杂背景等)干扰，丢失一些重要的识别和分类信息，导致结果的精确性不高。第二类是基于深度学习技术的表情识别方法。近年来，深度学习技术取得了突破性进展且在计算机视觉领域得到广泛应用。深度学本文档来自技高网...

【技术保护点】
1.一种基于脑‑机协同智能的表情识别方法，其特征在于该方法包括以下步骤：步骤1.获取数据：采用多通道脑电采集设备采集原始脑电信号，获取每张表情图像诱发的脑电信号，共获取到N段原始脑电信号；步骤2.数据预处理步骤3.脑电情感特征提取：对步骤2预处理后的脑电信号采用多个门控循环单元(GRUs)模型提取脑电情感特征；步骤4.图像视觉特征提取：预处理后原始表情图像的图像视觉特征X通过两层卷积神经网络模型(TCNN)来提取；步骤5.特征映射：针对步骤3提取的特征Y和步骤4提取的特征X，采用随机森林回归模型建立了两者之间的映射关系，将Y设为回归目标，回归方程记作Y＝RF(X)；对于回归方程Y＝RF(X)拟...

【技术特征摘要】
1.一种基于脑-机协同智能的表情识别方法，其特征在于该方法包括以下步骤：步骤1.获取数据：采用多通道脑电采集设备采集原始脑电信号，获取每张表情图像诱发的脑电信号，共获取到N段原始脑电信号；步骤2.数据预处理步骤3.脑电情感特征提取：对步骤2预处理后的脑电信号采用多个门控循环单元(GRUs)模型提取脑电情感特征；步骤4.图像视觉特征提取：预处理后原始表情图像的图像视觉特征X通过两层卷积神经网络模型(TCNN)来提取；步骤5.特征映射：针对步骤3提取的特征Y和步骤4提取的特征X，采用随机森林回归模型建立了两者之间的映射关系，将Y设为回归目标，回归方程记作Y＝RF(X)；对于回归方程Y＝RF(X)拟合的程度评估，采用决定系数R2(又名拟合优度)；在多元回归分析中，其表达式如下：其中，yi表示真实的脑电情感特征值，表示根据回归方程Y＝RF(X)预测的脑电情感特征值，表示真实脑电情感特征的均值，SST为真实脑电特征的总平方和，SSE为真实脑电特征与预测脑电特征的残差平方和；i表示脑电特征中第i维特征值，一共有d维；步骤6.表情分类：在步骤5训练好的回归模型Y＝RF(X)上，对于任意的图像视觉特征xi得到对应的预测脑电情感特征采用K-近邻分类器在步骤3提取的真实脑电特征Y中找到与预测脑电特征距离最近的表情类别属性，即为xi对应的真实表情类别属性。2.如权利要求1所述的一种基于...

【专利技术属性】
技术研发人员：孔万增，隆燕芳，凌文芬，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33