本发明专利技术涉及人工智能领域，揭露一种情绪识别方法，包括：提取用户视频流的对话语音数据集及对话文本集；利用表情情绪识别模型对用户视频流进行表情提取，得到用户表情情绪；将对话语音数据集转化为梅尔帧频谱，利用语音情绪识别模型对梅尔帧频谱进行语音情绪识别，得到对话语音数据集的用户语音情绪；利用语义情绪识别模型对对话文本集进行语义情绪识别，得到对话文本集的用户语义情绪；根据用户表情情绪、用户语音情绪及用户语义情绪识别用户视频流中的用户情绪。本发明专利技术还涉及一种区块链技术，用户情绪可存储在区块链节点中。本发明专利技术还提出一种情绪识别装置、设备以及介质。本发明专利技术可以提高情绪识别的准确性。可以提高情绪识别的准确性。可以提高情绪识别的准确性。
【技术实现步骤摘要】
情绪识别方法、装置、设备及介质
[0001]本专利技术涉及人工智能领域，尤其涉及一种情绪识别方法、装置、设备及存储介质。
技术介绍
[0002]情绪识别主要是通过识别人物的面部表情以辨别人物的情绪，目前在许多领域都有应用该技术。比如，在心里咨询领域中，可以通过识别来访者的情绪以便于对来访者进行情绪疏导。
[0003]现有技术中的情绪识别方法主要是通过机器算法识别图像中的人物面部，以提取对应的面部情绪，但是，这种方法在用户无明显表情波动或多种情绪混杂在一起时，无法准确进行情绪识别，导致情绪识别的准确率较低。
技术实现思路
[0004]本专利技术提供一种情绪识别方法、装置、设备及存储介质，其主要目的是提高情绪识别的准确性。
[0005]为实现上述目的，本专利技术提供了一种情绪识别方法，包括：
[0006]获取待识别的用户视频流，并提取所述用户视频流的对话语音数据集及对话文本集；
[0007]利用训练完成的表情情绪识别模型中的复合卷积层对所述用户视频流进行表情提取，得到表情特征集；
[0008]将所述表情特征集输入至所述表情情绪识别模型中的激活函数中，得到所述用户视频流的用户表情情绪；
[0009]将所述对话语音数据集转化为梅尔帧频谱，利用训练完成的语音情绪识别模型的卷积层对所述梅尔帧频谱进行特征提取，得到语音特征向量集；
[0010]利用所述训练完成的语音情绪识别模型的池化层对所述语音特征向量集进行特征降维操作，得到语音特征矩阵；
[0011]将所述语音特征矩阵输入至所述语音情绪识别模型的全连接层中的激活函数中，得到所述对话语音数据集的用户语音情绪；
[0012]利用训练完成的语义情绪识别模型对所述对话文本集进行语义情绪识别，得到所述对话文本集的用户语义情绪；
[0013]根据所述用户表情情绪、所述用户语音情绪及所述用户语义情绪识别所述用户视频流中的用户情绪。
[0014]可选地，所述利用训练完成的表情情绪识别模型中的复合卷积层对所述用户视频流进行表情提取，得到表情特征集，包括：
[0015]利用所述复合卷积层对所述用户视频流中的图像进行表情特征提取操作，得到初始表情特征集；
[0016]将所述初始表情特征集进行叠加偏差量计算，得到所述表情特征集。
[0017]可选地，所述将所述对话语音数据集转化为梅尔帧频谱，包括：
[0018]获取所述对话语音数据集的语音帧信号，将所述语音帧信号进行快速傅里叶变换，得到帧频谱；
[0019]利用预设的梅尔三角滤波器组对所述帧频谱进行更新，得到所述梅尔帧频谱。
[0020]可选地，所述根据所述用户表情情绪、所述用户语音情绪及所述用户语义情绪识别所述用户视频流中的用户情绪，包括：
[0021]统计所述用户表情情绪、所述用户语音情绪及所述用户语义情绪的情绪分布值；
[0022]根据所述用户视频流的时间逐帧将所述情绪分布值绘制情绪分布图；
[0023]从所述情绪分布图中读取所述用户视频流的用户情绪。
[0024]可选地，所述利用训练完成的语音情绪识别模型的卷积层对所述梅尔帧频谱进行特征提取，得到语音特征向量集，包括：
[0025]利用所述卷积层中的两个平行卷积核提取所述梅尔帧频谱的水平频谱纹理特征及垂直频谱纹理特征；
[0026]将所述水平频谱纹理特征及所述垂直频谱纹理特征进行归一化操作，得到所述语音特征向量集。
[0027]可选地，所述利用训练完成的语义情绪识别模型对所述对话文本集进行语义情绪识别，得到所述对话文本集的用户语义情绪，包括：
[0028]利用所述语义情绪识别模型中的前馈注意力机制层对所述对话文本集进行特征提取，得到文本特征向量集；
[0029]利用所述语义情绪识别模型中的编码层对所述文本特征向量集进行编码，得到文本特征关联矩阵；
[0030]利用所述语义情绪识别模型中的解码层对所述文本特征关联矩阵进行解码，得到所述对话文本集的用户语义情绪。
[0031]可选地，所述利用所述语义情绪识别模型中的编码层对所述文本特征向量集进行编码，得到文本特征关联矩阵，包括：
[0032]将所述文本特征向量集转化为文本特征向量矩阵；
[0033]利用所述编码层将所述文本特征向量矩阵拆分为中心转换矩阵、关联转换矩阵和权重转换矩阵；
[0034]将所述文本特征向量矩阵分别与所述中心转换矩阵、所述关联转换矩阵以及所述权重转换矩阵进行点乘，得到中心向量矩阵、关联向量矩阵和权重向量矩阵；
[0035]将所述中心向量矩阵、所述关联向量矩阵和所述权重向量矩阵进行组合，并将组合结果输入至预设的激活函数，得到所述激活函数输出的文本特征关联矩阵。
[0036]为了解决上述问题，本专利技术还提供一种情绪识别装置，所述装置包括：
[0037]语音及文本数据集提取模块，用于获取待识别的用户视频流，并提取所述用户视频流的对话语音数据集及对话文本集；
[0038]用户表情情绪提取模块，用于利用训练完成的表情情绪识别模型中的复合卷积层对所述用户视频流进行表情提取，得到表情特征集；将所述表情特征集输入至所述表情情绪识别模型中的激活函数中，得到所述用户视频流的用户表情情绪；
[0039]用户语音情绪提取模块，用于将所述对话语音数据集转化为梅尔帧频谱，利用训
练完成的语音情绪识别模型的卷积层对所述梅尔帧频谱进行特征提取，得到语音特征向量集；利用所述训练完成的语音情绪识别模型的池化层对所述语音特征向量集进行特征降维操作，得到语音特征矩阵；将所述语音特征矩阵输入至所述语音情绪识别模型的全连接层中的激活函数中，得到所述对话语音数据集的用户语音情绪；
[0040]用户语义情绪提取模块，用于利用训练完成的语义情绪识别模型对所述对话文本集进行语义情绪识别，得到所述对话文本集的用户语义情绪；
[0041]用户情绪识别模块，用于根据所述用户表情情绪、所述用户语音情绪及所述用户语义情绪识别所述用户视频流中的用户情绪。
[0042]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0043]存储器，存储至少一个计算机程序；及
[0044]处理器，执行所述存储器中存储的计算机程序以实现上述所述的情绪识别方法。
[0045]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的情绪识别方法。
[0046]本专利技术实施例中，获取待识别的用户视频流，并提取所述用户视频流的对话语音数据集及对话文本集之后，首先通过利用训练完成的表情情绪识别模型中的复合卷积层对用户视频流进行表情提取，得到表情特征集，可以通过增加深度、宽度及分辨率的复合卷积层进行更深层次及更复杂的表情特征提取，提高用户表情情绪识别的准确率；其次，通过将从用户视频流本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种情绪识别方法，其特征在于，所述方法包括：获取待识别的用户视频流，并提取所述用户视频流的对话语音数据集及对话文本集；利用训练完成的表情情绪识别模型中的复合卷积层对所述用户视频流进行表情提取，得到表情特征集；将所述表情特征集输入至所述表情情绪识别模型中的激活函数中，得到所述用户视频流的用户表情情绪；将所述对话语音数据集转化为梅尔帧频谱，利用训练完成的语音情绪识别模型的卷积层对所述梅尔帧频谱进行特征提取，得到语音特征向量集；利用所述训练完成的语音情绪识别模型的池化层对所述语音特征向量集进行特征降维操作，得到语音特征矩阵；将所述语音特征矩阵输入至所述语音情绪识别模型的全连接层中的激活函数中，得到所述对话语音数据集的用户语音情绪；利用训练完成的语义情绪识别模型对所述对话文本集进行语义情绪识别，得到所述对话文本集的用户语义情绪；根据所述用户表情情绪、所述用户语音情绪及所述用户语义情绪识别所述用户视频流中的用户情绪。2.如权利要求1所述的情绪识别方法，其特征在于，所述利用训练完成的表情情绪识别模型中的复合卷积层对所述用户视频流进行表情提取，得到表情特征集，包括：利用所述复合卷积层对所述用户视频流中的图像进行表情特征提取操作，得到初始表情特征集；将所述初始表情特征集进行叠加偏差量计算，得到所述表情特征集。3.如权利要求1所述的情绪识别方法，其特征在于，所述将所述对话语音数据集转化为梅尔帧频谱，包括：获取所述对话语音数据集的语音帧信号，将所述语音帧信号进行快速傅里叶变换，得到帧频谱；利用预设的梅尔三角滤波器组对所述帧频谱进行更新，得到所述梅尔帧频谱。4.如权利要求1所述的情绪识别方法，其特征在于，所述根据所述用户表情情绪、所述用户语音情绪及所述用户语义情绪识别所述用户视频流中的用户情绪，包括：统计所述用户表情情绪、所述用户语音情绪及所述用户语义情绪的情绪分布值；根据所述用户视频流的时间逐帧将所述情绪分布值绘制情绪分布图；从所述情绪分布图中读取所述用户视频流的用户情绪。5.如权利要求1
‑
4中任一项所述的情绪识别方法，其特征在于，所述利用训练完成的语音情绪识别模型的卷积层对所述梅尔帧频谱进行特征提取，得到语音特征向量集，包括：利用所述卷积层中的两个平行卷积核提取所述梅尔帧频谱的水平频谱纹理特征及垂直频谱纹理特征；将所述水平频谱纹理特征及所述垂直频谱纹理特征进行归一化操作，得到所述语音特征向量集。6.如权利要求1所述的情绪识别方法，其特征在于，所述利用训练完成的语义情绪识别模型对所述对话文本集进行语义情绪识别，得到所述对话文本集的用户语义情绪，包括：
...
【专利技术属性】
技术研发人员：李明阳，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。