本发明专利技术公开了一种情绪识别方法、装置、计算机可读存储介质及设备，所述方法包括：获取目标对象的语音特征、表情特征和生物特征；通过预先训练完成的第一情绪识别模型对所述语音特征进行情绪识别，得到第一情绪识别结果；通过预先训练完成的第二情绪识别模型对所述表情特征进行情绪识别，得到第二情绪识别结果；通过预先训练完成的第三情绪识别模型对所述生物特征进行情绪识别，得到第三情绪识别结果；利用预先构建的融合模型将所述第一情绪识别结果、第一情绪识别结果、第三情绪识别结果进行融合，得到融合值；根据所述融合值识别出所述目标对象的情绪。本发明专利技术通过融合语音特征、表情特征、生物特征，征弥补了单一特征的不足。足。足。
【技术实现步骤摘要】
一种情绪识别方法、装置、计算机可读存储介质及设备
[0001]本专利技术涉及人工智能领域，具体涉及一种情绪识别方法、装置、计算机可读存储介质及设备。
技术介绍
[0002]随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。人脸表情是最直接、最有效的情绪识别模式。它有很多人机交互方面的应用。计算机和机器人如查能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。情绪识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。
[0003]现有技术中包括诸多情绪提取方法，多通过采集面部或语音信息识别用户情绪。然而，采用单种特征进行情绪识别，其准确度较低。因此，现有技术存在诸多缺陷，需要改进。
技术实现思路
[0004]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种情绪识别方法、装置、计算机可读存储介质及设备，用于解决现有技术存在的问题。
[0005]为实现上述目的及其他相关目的，本专利技术提供一种情绪识别方法，包括：获取目标对象的语音特征、表情特征和生物特征；通过预先训练完成的第一情绪识别模型对所述语音特征进行情绪识别，得到第一情绪识别结果；通过预先训练完成的第二情绪识别模型对所述表情特征进行情绪识别，得到第二情绪识别结果；通过预先训练完成的第三情绪识别模型对所述生物特征进行情绪识别，得到第三情绪识别结果；利用预先构建的融合模型将所述第一情绪识别结果、第一情绪识别结果、第三情绪识别结果进行融合，得到融合值；根据所述融合值识别出所述目标对象的情绪。
[0006]可选地，所述语音特征包括动作特征和韵律学特征。
[0007]可选地，还包括：对所述韵律学特征进行增强。
[0008]可选地，所述对所述韵律学特征进行增强，包括：基于所述目标对象的韵律学特征，以第n帧韵律学特征和以第n帧韵律学特征为中心的相邻多帧韵律学特征构成输入韵律学特征序列；对所述输入韵律学特征序列进行编码，得到编码特征序列；对所述编码特征序列进行解码，得到所述输入韵律学特征序列对应的增强韵律学
特征序列。
[0009]可选地，在对所述输入韵律学特征序列进行编码时，通过在所述相邻多帧韵律学特征上施加多头自注意力运算。
[0010]可选地，在通过预先训练完成的第一情绪识别模型对所述语音特征进行情绪识别前，还包括：对所述动作特征和所述韵律学特征进行特征融合，得到融合特征。
[0011]可选地，获取所述目标对象的表情特征包括：获取人脸图片；通过第一神经网络从所述人脸图片中提取出单人表情特征；通过第二神经网络对所述单人表情特征进行多尺度提取，得到不同尺度下所述单人表情特征的注意力特征；将不同尺度下所述单人表情特征的注意力特征进行融合，得到表情特征。
[0012]为实现上述目的及其他相关目的，本专利技术提供一种情绪识别装置，包括：特征获取模块，用于获取目标对象的语音特征、表情特征和生物特征；第一初始情绪识别模块，用于通过预先训练完成的第一情绪识别模型对所述语音特征进行情绪识别，得到第一情绪识别结果；第二初始情绪识别模块，用于通过预先训练完成的第二情绪识别模型对所述表情特征进行情绪识别，得到第二情绪识别结果；第三初始情绪识别模块，用于通过预先训练完成的第三情绪识别模型对所述生物特征进行情绪识别，得到第三情绪识别结果；融合模块，用于利用预先构建的融合模型将所述第一情绪识别结果、第一情绪识别结果、第三情绪识别结果进行融合，得到融合值；情绪识别模块，用于根据所述融合值识别出所述目标对象的情绪。
[0013]为实现上述目的及其他相关目的，本专利技术提供一种情绪识别设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现所述的方法。
[0014]为实现上述目的及其他相关目的，本专利技术提供一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行所述的方法。
[0015]如上所述，本专利技术提供的一种情绪识别方法、装置、计算机可读存储介质及设备，具有以下有益效果：本专利技术的一种情绪识别方法，包括：获取目标对象的语音特征、表情特征和生物特征；通过预先训练完成的第一情绪识别模型对所述语音特征进行情绪识别，得到第一情绪识别结果；通过预先训练完成的第二情绪识别模型对所述表情特征进行情绪识别，得到第二情绪识别结果；通过预先训练完成的第三情绪识别模型对所述生物特征进行情绪识别，得到第三情绪识别结果；利用预先构建的融合模型将所述第一情绪识别结果、第一情绪识别结果、第三情绪识别结果进行融合，得到融合值；根据所述融合值识别出所述目标对象的情绪。本专利技术通过融合语音特征、表情特征、生物特征，征弥补了单一特征的不足。
附图说明
[0016]图1为本专利技术一实施例中的一种情绪识别方法的流程图；
图2为本专利技术一实施例中的对韵律学特征进行增强的方法流程图；图3为本专利技术一实施例中的编码器的结构示意图；图4为本专利技术一实施例中的获取所述目标对象的表情特征的方法的流程图；图5为本专利技术一实施例中的一种情绪识别装置的结构示意图。
具体实施方式
[0017]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0018]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0019]如图1所示，本申请实施例提供一种情绪识别方法，包括：S11获取目标对象的语音特征、表情特征和生物特征；S12通过预先训练完成的第一情绪识别模型对所述语音特征进行情绪识别，得到第一情绪识别结果；S13通过预先训练完成的第二情绪识别模型对所述表情特征进行情绪识别，得到第二情绪识别结果；S14通过预先训练完成的第三情绪识别模型对所述生物特征进行情绪识别，得到第三情绪识别结果；S15利用预先构建的融合模型将所述第一情绪识别结果、第一情绪识别结果、第三情绪识别结果进行融合，得到融合值；S16根据所述融合值识别出所述目标对象的情绪。
[0020]本专利技术通过融合语音特征、表情特征、生物特征，征弥补了单一特征的不足。
[0021]在一实施例中，所述语音特征包括动作特征和韵律学特征。其中，动作特征可以从运动信号中提取，包括速度和位移。位移特征指相对于初始位置的最大位移，速度指发音器官在每一时刻位移变化量，将最大速度、最小速度、平均速度和速度的方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种情绪识别方法，其特征在于，包括：获取目标对象的语音特征、表情特征和生物特征；通过预先训练完成的第一情绪识别模型对所述语音特征进行情绪识别，得到第一情绪识别结果；通过预先训练完成的第二情绪识别模型对所述表情特征进行情绪识别，得到第二情绪识别结果；通过预先训练完成的第三情绪识别模型对所述生物特征进行情绪识别，得到第三情绪识别结果；利用预先构建的融合模型将所述第一情绪识别结果、第一情绪识别结果、第三情绪识别结果进行融合，得到融合值；根据所述融合值识别出所述目标对象的情绪。2.根据权利要求1所述的情绪识别方法，其特征在于，所述语音特征包括动作特征和韵律学特征。3.根据权利要求2所述的情绪识别方法，其特征在于，还包括：对所述韵律学特征进行增强。4.根据权利要求3所述的情绪识别方法，其特征在于，所述对所述韵律学特征进行增强，包括：基于所述目标对象的韵律学特征，以第n帧韵律学特征和以第n帧韵律学特征为中心的相邻多帧韵律学特征构成输入韵律学特征序列；对所述输入韵律学特征序列进行编码，得到编码特征序列；对所述编码特征序列进行解码，得到所述输入韵律学特征序列对应的增强韵律学特征序列。5.根据权利要求4所述的情绪识别方法，其特征在于，在对所述输入韵律学特征序列进行编码时，通过在所述相邻多帧韵律学特征上施加多头自注意力运算。6.根据权利要求2所述的情绪识别方法，其特征在于，在通过预先训练完成的第一情绪识别模型对所述语音特征进行情绪识别前，还包括：对所述动作特征和所述韵律学...
【专利技术属性】
技术研发人员：姚娟娟，钟南山，
申请(专利权)人：明品云北京数据科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。