一种深度混合神经网络情感识别模型的构建方法技术

本发明专利技术公开了一种深度混合神经网络情感识别模型的构建方法，包括如下步骤：S1、通过深度卷积神经网络层对原始图像进行特征提取；S2、将提取的图像特种进行扁平化处理，并进行输出；S3、卷积神经网络的输出作为LSTM循环神经网络的输入数据，进入循环神经网络进行情感分类识别；S4、通过混合网络对四种情感分类的预测百分比向量进行输出；S5、设置压缩比例为1/10，通过压缩层对输出向量进行压缩，变为一个一维特征向量；S6、将一维特征向量以全连接的形式输入LSTM循环网络；S7、LSTM循环网络的输出层以“softmax”函数为激活函数，最终的输出类别设置为4，通过混合网络进行分类输出，对情感状态的识别分析具有重要意义。情感状态的识别分析具有重要意义。

【技术实现步骤摘要】
一种深度混合神经网络情感识别模型的构建方法


[0001]本专利技术涉及情感识别模型术领域，尤其涉及一种深度混合神经网络情感识别模型的构建方法。

技术介绍

[0002]在情感是人类智能的一个重要标志，因此作为人工智能的重要标志之一就是机器能够理解人类的情感。
[0003]通过人类的行为、面部表情或者生理信号进行的情感识别逐渐成为研究的热点。然而在对情感进行识别分析时，需要对情感分类器进行构件，这就需要提出一种新的模型构件方法。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种深度混合神经网络情感识别模型的构建方法。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：一种深度混合神经网络情感识别模型的构建方法，该构建方法包括如下步骤：S1、通过深度卷积神经网络层对原始图像进行特征提取；S2、将提取的图像特种进行扁平化处理，并进行输出；S3、卷积神经网络的输出作为LSTM循环神经网络的输入数据，进入循环神经网络进行情感分类识别；S4、通过混合网络对四种情感分类的预测百分比向量进行输出；S5、设置压缩比例为1/10，通过压缩层对输出向量进行压缩，变为一个一维特征向量；S6、将一维特征向量以全连接的形式输入LSTM循环网络；S7、LSTM循环网络的输出层以“softmax”函数为激活函数，最终的输出类别设置为4，对应之前的4种情感分类类别。
[0006]优选的，所述S1步骤的卷积神经网络包括输入层、卷积层、池化层、全连接层和输出层。
>[0007]优选的，所述卷积层定位为：式中，Fi为第i层卷积操作的输出特征，，为第i层卷积网络的权值矩阵，bi为偏移量，符号为第i层卷积网络。
[0008]优选的，所述池化层标识形式为：其中，Kpool 函数为池化函数。
[0009]优选的，所述全连接层表达为：
式中，为输入数据为第i类分类结果的概率，为概率计算函数，为第i类标签，为具体的神经网络权重矩阵和偏置向量。
[0010]优选的，所述S2步骤的LSTM 循环神经网络表达为：循环神经网络表达为：循环神经网络表达为：式中，为对应每个门的输入权重矩阵，为对应每个门的反馈权重矩阵，为每个门对应的偏置向量。
[0011]优选的，所述LSTM 循环神经网络还包括对LSTM单元进行更新，表达为：循环神经网络还包括对LSTM单元进行更新，表达为：。
[0012]优选的，所述S7步骤还包括通过LSTM循环神经网络能够捕捉到脑电多维度特征帧序列中情绪变化的关键特征，提高情绪识别准确度。
[0013]本专利技术提供的一种深度混合神经网络情感识别模型的构建方法通过采用深度卷积神经网络提取图像特征，结合LSTM循环神经网络进行输出处理，进而通过混合网络进行分类输出，利于构建情感分类模型，提高情绪设备准确度，对情感状态的识别分析具有重要意义。
附图说明
[0014]图1为本专利技术的混合神经网络示意图；图2为本专利技术的普通循环神经网络结构示意图；图3为本专利技术的LSTM单元示意图；图4为本专利技术的深度混合神经网络各网络层的设置表。
具体实施方式
[0015]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0016]一种深度混合神经网络情感识别模型的构建方法，该构建方法包括如下步骤：S1、通过深度卷积神经网络层对原始图像进行特征提取；S2、将提取的图像特种进行扁平化处理，并进行输出；S3、卷积神经网络的输出作为LSTM循环神经网络的输入数据，进入循环神经网络进行情感分类识别；S4、通过混合网络对四种情感分类的预测百分比向量进行输出；S5、设置压缩比例为1/10，通过压缩层对输出向量进行压缩，变为一个一维特征向量；S6、将一维特征向量以全连接的形式输入LSTM循环网络；
S7、LSTM循环网络的输出层以“softmax”函数为激活函数，最终的输出类别设置为4，对应之前的4种情感分类类别。
[0017]优选的，所述S1步骤的卷积神经网络包括输入层、卷积层、池化层、全连接层和输出层。
[0018]优选的，所述卷积层定位为：式中，Fi为第i层卷积操作的输出特征，，为第i层卷积网络的权值矩阵，bi为偏移量，符号为第i层卷积网络。
[0019]优选的，所述池化层标识形式为：其中，Kpool 函数为池化函数。
[0020]优选的，所述全连接层表达为：式中，为输入数据为第i类分类结果的概率，为概率计算函数，为第i类标签，为具体的神经网络权重矩阵和偏置向量。
[0021]优选的，所述S2步骤的LSTM 循环神经网络表达为：循环神经网络表达为：循环神经网络表达为：式中，为对应每个门的输入权重矩阵，为对应每个门的反馈权重矩阵，为每个门对应的偏置向量。
[0022]优选的，所述LSTM 循环神经网络还包括对LSTM单元进行更新，表达为：循环神经网络还包括对LSTM单元进行更新，表达为：。
[0023]优选的，所述S7步骤还包括通过LSTM循环神经网络能够捕捉到脑电多维度特征帧序列中情绪变化的关键特征，提高情绪识别准确度。
[0024]本专利技术提供的一种深度混合神经网络情感识别模型的构建方法通过采用深度卷积神经网络提取图像特征，结合LSTM循环神经网络进行输出处理，进而通过混合网络进行分类输出，利于构建情感分类模型，提高情绪设备准确度，对情感状态的识别分析具有重要意义。
实施例
[0025]根据图4中，本文的卷积神经网络包含两个卷积层，两个最大池化层，最终通过一个全连接层与LSTM循环神经网络连接，卷积神经网络层的最终输出是一个扁平化的特征向量。输入数据脑电特征帧为200
×
200的三通道彩色图片，对应于这个图片我们将开始的卷积神经网络设计为30个卷积滤镜，通过这30个滤镜我们能从一幅脑电特征帧中得到30个特
征值，同时为了从不同的粒度学习图片，设置三种尺度的授视野进行学习，分别是2
×
2像素大小，5
×
5像素大小和10
×
10像素大小，这三种授视野对应的移动步长分别为2，5和10像素，授视野之间互不重叠。激活函数用的是ReLU，紧接着第一个卷积层的是最大池化层，池化的尺寸是2
×
2像素，步长为2像素。第二个卷积层设置10个卷积滤镜授视野的尺寸为2
×
2像素，步长为2像素，步长之间没有重叠，通过卷积网络提取的脑电信号特征在进入LSTM循环神经网络之前，需要将之前提取的图像特征进行扁平化，具体的做法是将卷积神经网络的输出特征向量通过压缩变为一个一维特征向量，这个功能通过压缩层实现，在这个层中，我们将压缩比例设置为1/10。随后，输出的一维特征向量以全连接的形式输入LSTM循环网络，LSTM循环网络的输出层以“softmax”函数为激活函数，最终本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度混合神经网络情感识别模型的构建方法，其特征在于：该构建方法包括如下步骤：S1、通过深度卷积神经网络层对原始图像进行特征提取；S2、将提取的图像特种进行扁平化处理，并进行输出；S3、卷积神经网络的输出作为LSTM循环神经网络的输入数据，进入循环神经网络进行情感分类识别；S4、通过混合网络对四种情感分类的预测百分比向量进行输出；S5、设置压缩比例为1/10，通过压缩层对输出向量进行压缩，变为一个一维特征向量；S6、将一维特征向量以全连接的形式输入LSTM循环网络；S7、LSTM循环网络的输出层以“softmax”函数为激活函数，最终的输出类别设置为4，对应之前的4种情感分类类别。2.根据所述权利要求1的一种深度混合神经网络情感识别模型的构建方法，其特征在于：所述S1步骤的卷积神经网络包括输入层、卷积层、池化层、全连接层和输出层。3.根据所述权利要求2的一种深度混合神经网络情感识别模型的构建方法，其特征在于：所述卷积层定位为：式中，Fi为第i层卷积操作的输出特征，，为第i层卷积网络的权值矩阵，bi为偏移量，符号为第i层卷积网络。4.根...

【专利技术属性】
技术研发人员：李幼军，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：