基于深度学习模型与长短记忆网络的情绪识别方法及系统技术方案

本发明专利技术公开了一种基于深度学习生成模型与长短记忆网络的情绪识别方法及系统，该方法包括对脑电信号进行数据预处理及划分数据集，构建网络模型，网络模型包括由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型；根据网络模型构建目标函数；利用训练集对网络模型进行训练，采用神经网络中Adam优化算子对目标函数进行优化，得到训练后的网络模型；利用交叉检验集对训练后的网络模型进行交叉检验，确定网络模型的超参数，得到最终网络模型；利用最终网络模型对种子数据进行可视化生成和情绪识别。本发明专利技术依赖数据人工智能方法深入学习收集到的脑电信号空间和时间上复杂的结构，减少预测中的主观因素，提高预测的准确度。

【技术实现步骤摘要】
基于深度学习模型与长短记忆网络的情绪识别方法及系统
本专利技术涉及机器学习
，特别是涉及一种基于深度学习模型与长短记忆网络的情绪识别方法及系统。
技术介绍
随着人类正常生活的实际需求的发展，近几十年来人类大脑的研究得到了广泛的改善。人机交互(HCI)和脑机接口(BCI)发展迅速，通过脑电信号的广泛应用前景使得脑电信号可视化生成变得尤为重要。由人脑产生的情绪是保障人们日常生存和适应环境的重要机制，并且进一步影响人们日常的学习生活和工作、决策。然而，通过外在对于人体的观察会受到人们日常文化的影响，通过一些量表和对于情绪的检测又会受到主观因素的影响，这使得脑电信号来客观的检测情绪变得十分有意义。现有的情绪识别方法往往采取传统的机器学习或者信号处理方法，这使得不能很好学习具有复杂神经结构产生的脑电信号以识别对应的情绪。同时传统的方法不具备可视化生成信号的能力。
技术实现思路
本专利技术的目的是提供一种基于深度学习生成模型与长短记忆网络的情绪识别方法及系统，以实现通过脑电信号识别情绪类别和实现脑电信号的可视化生成，并提高情绪识别的准确性。为实现上述目的，本专利技术提供了一种基于深度学习生成模型与长短记忆网络的情绪识别方法，所述方法包括：对脑电信号进行数据预处理及划分数据集，所述数据集包括训练集、交叉检验集和测试集；构建网络模型，所述网络模型包括由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型；根据所述网络模型构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数；利用所述训练集对所述网络模型进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型；利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型；利用所述最终网络模型对种子数据进行可视化生成和情绪识别，所述种子数据为由待处理脑电信号生成的高维图片。可选的，所述对脑电信号进行数据预处理及划分数据集，具体包括：获取脑电信号，所述脑电信号为每个通道以50-225Hz的频率下采样得到的脑电信号；将所述脑电信号经傅里叶变换得到若干分割频段的脑电谱；利用等距方位投影和多元样条插值方法对所述脑电谱进行转换，得到高维图片；根据所述脑电信号、所述脑电谱、所述高维图片和情绪类别建立数据集；按照设定比率划分所述数据集，得到训练集、交叉检验集和测试集。可选的，所述网络模型包括单帧高维图片输入端、编码器、低维向量表示、解码器、重建高维图片输出端、时间序列、预测概率输出端和情绪类别输出端；单帧高维图片经所述单帧高维图片输入端进入所述编码器进行编码得到所述低维向量表示，所述低维向量表示经所述解码器解码后得到重建高维图片，所述重建高维图片经所述重建高维图片输出端输出，实现脑电信号的可视化生成；所述低维向量表示按照时间序列进行预测得到预测概率，该预测概率经所述预测概率输出端输入至所述情绪类别输出端得到情绪类别并输出，实现情绪识别。可选的，所述解码器采用卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布；所述编码器反卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为解码器诱导的zx条件，以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；所述时间序列采用长短记忆网络实现。可选的，所述目标函数为其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数；所述生成重建目标函数为其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，X表示输入数据的随机变量，x表示输入数据的值，z表示为隐变量。；所述情绪概率识别目标函数为LossD＝-DKL(qenc(z|x)||pdec(z))，其中，损失LossY为预测概率的目标函数，logppre(y|z)表示预测期ppre(y|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，损失LossD为解耦的目标函数，LossD＝-DKL(qenc(z|x)||pdec(z))为编码器诱导的分布条件qenc(z|x)和解码器诱导的分布条件pdec(z)的K-L散度的负数，DKL表示为K-L散度。可选的，所述利用所述最终网络模型对种子数据进行可视化生成和情绪识别，具体包括：将所述种子数据输入所述编码器得到低维向量表示；利用解码器对所述低维向量表示进行解码，在[-3,3]内调整所述低维向量表示的维度数值，得到脑电信号的可视化生成图片；将所述低维向量表示输入至预测期进行概率预测，得到预测概率；根据所述预测概率确定情绪类别。本专利技术还提供了一种基于深度学习生成模型与长短记忆网络的情绪识别系统，所述系统包括：预处理单元，用于对脑电信号进行数据预处理及划分数据集，所述数据集包括训练集、交叉检验集和测试集；网络模型构建单元，用于构建网络模型，所述网络模型包括图片重建模型和情绪识别模型；目标函数构建单元，用于根据所述网络模型构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数；训练单元，用于利用所述训练集对所述网络模型进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型；检验单元，用于利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型；识别单元，用于利用所述最终网络模型对种子数据进行可视化生成和情绪识别，所述种子数据为由待处理脑电信号生成的高维图片。可选的，所述网络模型包括单帧高维图片输入端、编码器、低维向量表示、解码器、重建高维图片输出端、时间序列、预测概率输出端和情绪类别输出端；单帧高维图片经所述单帧高维图片输入端进入所述编码器进行编码得到所述低维向量表示，所述低维向量表示经所述解码器解码后得到重建高维图片，所述重建高维图片经所述重建高维图片输出端输出，实现脑电信号的可视化生成；所述低维向量表示按照时间序列进行预测得到预测概率，该预测概率经所述预测概率输出端输入至所述情绪类别输出端得到情绪类别并输出，实现情绪识别；所述解码器采用卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布；所述编码器反卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为解码器诱导的zx条件，以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；所述时间序列采用长短记忆网络实现。可选的，所述目标函数为其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数；所述生成重建目标函数为其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，表示在编码器诱导的条本文档来自技高网...

【技术保护点】
1.一种基于深度学习生成模型与长短记忆网络的情绪识别方法，其特征在于，所述方法包括：对脑电信号进行数据预处理及划分数据集，所述数据集包括训练集、交叉检验集和测试集；构建网络模型，所述网络模型包括由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型；根据所述网络模型构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数；利用所述训练集对所述网络模型进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型；利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型；利用所述最终网络模型对种子数据进行可视化生成和情绪识别，所述种子数据为由待处理脑电信号生成的高维图片。

【技术特征摘要】
1.一种基于深度学习生成模型与长短记忆网络的情绪识别方法，其特征在于，所述方法包括：对脑电信号进行数据预处理及划分数据集，所述数据集包括训练集、交叉检验集和测试集；构建网络模型，所述网络模型包括由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型；根据所述网络模型构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数；利用所述训练集对所述网络模型进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型；利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型；利用所述最终网络模型对种子数据进行可视化生成和情绪识别，所述种子数据为由待处理脑电信号生成的高维图片。2.根据权利要求1所述的情绪识别方法，其特征在于，所述对脑电信号进行数据预处理及划分数据集，具体包括：获取脑电信号，所述脑电信号为每个通道以50-225Hz的频率下采样得到的脑电信号；将所述脑电信号经傅里叶变换得到若干分割频段的脑电谱；利用等距方位投影和多元样条插值方法对所述脑电谱进行转换，得到高维图片；根据所述脑电信号、所述脑电谱、所述高维图片和情绪类别建立数据集；按照设定比率划分所述数据集，得到训练集、交叉检验集和测试集。3.根据权利要求1所述的情绪识别方法，其特征在于，所述网络模型包括单帧高维图片输入端、编码器、低维向量表示、解码器、重建高维图片输出端、时间序列、预测概率输出端和情绪类别输出端；单帧高维图片经所述单帧高维图片输入端进入所述编码器进行编码得到所述低维向量表示，所述低维向量表示经所述解码器解码后得到重建高维图片，所述重建高维图片经所述重建高维图片输出端输出，实现脑电信号的可视化生成；所述低维向量表示按照时间序列进行预测得到预测概率，该预测概率经所述预测概率输出端输入至所述情绪类别输出端得到情绪类别并输出，实现情绪识别。4.根据权利要求2所述的情绪识别方法，其特征在于，所述解码器采用卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布；所述编码器反卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为解码器诱导的z|x条件分布，其为以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；所述时间序列采用长短记忆网络实现。5.根据权利要求1所述的情绪识别方法，其特征在于，所述目标函数为其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数；所述生成重建目标函数为其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，X表示输入数据的随机变量，x表示输入数据的值，z表示为隐变量；所述情绪概率识别目标函数为LossD＝-DKL(qenc(z|x)||pdec(z))，其中，损失LossY为预测概率的目标函数，logppre(y|z)表示预测期ppre(y|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，损失LossD为解耦的目标函数，LossD＝-DKL(qenc(z|x)||pdec(z))为编码器诱导的分布条件qenc(z|x)和解码器诱导的分布条件pdec(z)的K-L散度的负数，DKL表示为K-L散度。6.根据权利要求3所述的情绪识别方法，其特征在于，所述利用所述最终网络模型对种子数据进行可视化生成和情绪识别，具体包括：将所述种子数据输入所述编码器得到低维向量表示；利用解...

【专利技术属性】
技术研发人员：刘仕琪，刘京鑫，孟德宇，孟鸿鹰，
申请(专利权)人：刘仕琪，
类型：发明
国别省市：陕西,61