一种基于传感器数据的情绪识别方法和系统技术方案

本发明专利技术公开了一种基于传感器数据的情绪识别方法和系统，通过已知情绪状态下的传感器数据，建立基于自注意力机制的深度神经网络模型，然后通过对网络模型训练、验证和测试，确定网络模型的超参数，得到最终模型；然后将待识别传感器数据输入最终模型内，从而得到情绪识别结果。本发明专利技术采用上述情绪识别方法和系统，充分挖掘利用传感器数据中的有效信息及深层次信息，提高情绪识别效率及准确率。提高情绪识别效率及准确率。

【技术实现步骤摘要】
一种基于传感器数据的情绪识别方法和系统


[0001]本专利技术涉及情绪识别
，尤其是涉及一种基于传感器数据的情绪识别方法和系统。

技术介绍

[0002]情绪是有机体在特定对象或场景的刺激下产生的心理和生理状态的一系列反应，是对有机体内、外环境中的信息进行综合评价的结果。因而，综合考察与分析个体的内、外环境，对于情绪的准确识别具有重要作用。
[0003]随着互联网的发展以及搭载各类传感器的智能设备的广泛普及，智能设备内置的各种传感器可有效获取用户生理信号（表征内部环境）和周围环境信息（表征外部环境），例如，智能设备中的生理信号传感器可以采集个体的脑电、心电、皮肤电和肌电等，加速度传感器可以获取个体的物理运动状态，GPS传感器可以获得个体所处的地理位置，声音传感器、光线传感器和温度传感器等可以检测个体所处的环境状况。因此，智能设备传感器数据可用于推断用户个人的情绪状态。
[0004]已有专利技术使用传统机器学习进行基于传感器数据的情绪识别技术，主要取决于人工提取特征的有效性，既耗时又需要领域相关知识，限制了其实际应用。此外，人工提取的特征更多是浅层次特征（例如提取均值、方差、极值、众数和四分位数等），而隐含的深层次特征无法被提取并利用，使得情绪识别在准确性和分类泛化性等方面受到很大限制。

技术实现思路

[0005]为解决上述问题，本专利技术基于传感器数据构建深度神经网络，深度神经网络通过CNN网络和BLSTM网络实现传感器数据的空间特征和时间特征的自动提取，通过加入注意力机制，进一步提高情绪状态识别准确率。
[0006]一种基于传感器数据的情绪识别方法，其特征在于，包括以下步骤：S1、数据采集，通过智能设备中的传感器采集用户在不同情绪状态的数据；S2、数据处理，对传感器采集的数据依次进行预处理、标签制作以及数据集划分，形成训练集、验证集和测试集；S3、模型搭建，构建基于自注意力机制的深度神经网络模型，深度神经网络模型包括融合CNN网络和BLSTM网络的双通道特征学习层、注意力机制层和Softmax分类层；S4、模型训练，使用训练集对上述网络模型进行训练，训练过程使用交叉熵损失函数，并通过Adam算子进行优化；使用验证集对训练后的网络模型进行验证，确定网络模型的超参数，得到最终模型；使用测试集对最终模型的预测精准度进行测试；S5、情绪识别，将待识别的传感器数据输入最终网络模型中，获得情绪识别结果。
[0007]优选的，步骤S1中，所述传感器包括生理信号传感器、加速度传感器、陀螺仪传感器、重力传感器、GPS传感器、声音传感器、光线传感器和温度传感器；所述情绪状态包括高兴、惊讶、生气、厌恶、悲伤和恐惧六种基本情绪。
[0008]优选的，步骤S2中，所述预处理包括缺失值处理、同频处理、小波阈值去噪、移动均值滤波降噪、归一化和传感器数据模板化；所述标签制作采用One
‑
Hot编码方式，所述数据划分按照M：N：L 的比例形成训练集、验证集和测试集。
[0009]优选的，步骤S3中，所述CNN网络用于提取传感器数据的空间特征，包括卷积层、池化层和全连接层；所述BLSTM网络用于提取传感器数据的时间特征，包括两个并行的循环层；注意力机制层用来调节提取特征的表达，使用加性模型作为打分机制；Softmax分类层用于输出最终的情绪识别结果。
[0010]对照上述方法，本申请还提出了一种基于传感器数据的情绪识别系统，包括如下模块：数据采集模块，通过传感器采集不同情绪状态的数据；数据处理模块，对传感器采集的数据依次进行预处理、标签制作以及数据集划分，形成训练集、验证集和测试集；模型搭建模块，构建基于自注意力机制的深度神经网络模型，深度神经网络模型包括融合CNN网络和BLSTM网络的双通道特征学习层、注意力机制层和Softmax分类层；模型训练模块，使用训练集对网络模型进行训练，使用验证集对训练后的网络模型进行验证并确定超参数，使用测试集对验证后的网络模型的预测精准度进行测试；情绪识别模块，将待识别的传感器数据输入网络模型中，并输出情绪识别结果。
[0011]本专利技术采用CNN神经网络和BLSTM网络自动提取传感器数据的空间特征和时间特征，更适用于情绪状态识别中传感器数据特征不明显的情况，省去人工先验的特征提取步骤。深度学习网络中加入注意力机制，使其能自适应地关注更加重要的传感器数据特征，充分挖掘利用传感器数据中的有效信息及深层次信息，进而提高情绪识别准确率。此外，深度学习可以通过大规模的已标签数据集训练出来的模型迁移到新的没有标签的情绪状态分类任务中，使情绪识别具有更好地泛化性。
附图说明
[0012]图1为本专利技术实施例一中传感器的数据格式；图2为本专利技术实施例一中CNN神经网络的输入格式；图3为本专利技术实施例一中BLSTM网络的输入格式；图4为本专利技术实施例一中网络模型的结构示意图；图5为本专利技术实施例一中注意力机制层的结构示意图。
具体实施方式
[0013]以下结合附图和实施例对本专利技术的技术方案作进一步说明。
[0014]实施例一：一种基于传感器数据的情绪识别方法，包括深度神经网络建立、深度神经网络训练以及深度神经网络应用，其流程具体如下：S1、数据采集，基于给定的心理学实验范式，诱发用户的不同情绪状态（高兴、惊讶、生气、厌恶、悲伤和恐惧六种基本情绪），然后通过智能设备采集用户在不同情绪状态的数据
智能设备主要指智能手机、平板电脑、生理多导仪等，其内部集成有生理信号传感器、加速度传感器、陀螺仪传感器、重力传感器、GPS传感器、声音传感器、光线传感器和温度传感器等传感器。
[0015]进一步，生理信号传感器数据包括脑电、心电、肌电和皮肤电数据及时间戳信息；加速度传感器、陀螺仪传感器、重力传感器数据包括x轴、y轴、z轴及时间戳信息；GPS传感器数据包括经度、纬度和海拔三维数据及时间戳信息；声音传感器数据包括声音分贝值及时间戳信息；光线传感器数据包括光线强度值及时间戳信息；温度传感器数据包括温度值及时间戳信息。
[0016]S2、数据处理，对传感器采集的数据依次进行预处理、标签制作以及数据集划分，形成训练集、验证集和测试集。
[0017]其中，预处理包括缺失值处理、同频处理、移动均值滤波降噪、归一化和传感器数据模板化。标签制作采用One
‑
Hot的编码方式。数据集划分按照6：2：2的比例形成训练集、验证集和测试集。
[0018]缺失值处理是指使用插值法、平均数、中位数默认值等填充缺失值。
[0019]同频处理以50Hz为标准频率，将高频率的数据通过等距抽样使所有传感器数据的采样率相同。
[0020]使用小波阈值去噪对生理信号数据集进行去噪处理；使用移动均值滤波器用于降低加速度传感器、陀螺仪传感器、重力传感器、GPS传感器、声音传感器、光线传感器、温度传感器数据、数据中的噪音，移动均值滤波具体公式为：其中， 为输出的滤波后数据，为输入的原始传感器信号，N是滤波器阶数，N表示移动均值滤波器的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于传感器数据的情绪识别方法，其特征在于，包括以下步骤：S1、数据采集，通过智能设备中的传感器采集用户在不同情绪状态的数据；S2、数据处理，对传感器采集的数据依次进行预处理、标签制作以及数据集划分，形成训练集、验证集和测试集；S3、模型搭建，构建基于自注意力机制的深度神经网络模型，深度神经网络模型包括融合CNN网络和BLSTM网络的双通道特征学习层、注意力机制层和Softmax分类层；S4、模型训练，使用训练集对上述网络模型进行训练，训练过程使用交叉熵损失函数，并通过Adam算子进行优化；使用验证集对训练后的网络模型进行验证，确定网络模型的超参数，得到最终模型；使用测试集对最终模型的预测精准度进行测试；S5、情绪识别，将待识别的传感器数据输入最终模型中，并输出情绪识别结果。2.根据权利要求1所述的基于传感器数据的情绪识别方法，其特征在于：步骤S1中，所述传感器包括生理信号传感器、加速度传感器、陀螺仪传感器、重力传感器、GPS传感器、声音传感器、光线传感器和温度传感器；所述情绪状态包括高兴、惊讶、生气、厌恶、悲伤和恐惧六种基本情绪。3.根据权利要求1所述的基于传感器数据的情绪识别方法，其特征在于：步骤S2中，所述预处理包括缺失值处理、同频处理、移动均值滤波降噪、小波阈值去噪、归一化...

【专利技术属性】
技术研发人员：梁佩鹏，钟国强，
申请(专利权)人：首都师范大学，
类型：发明
国别省市：