情绪识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种情绪识别方法、装置、设备及存储介质。其中，该方法包括：确定多模态会话信息的融合会话特征；将所述多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中，得到所述多模态会话信息的情绪特征。本发明专利技术实施例提供的技术方案，通过将多模态会话信息中每个模态的会话特征融合得到融合会话特征，并将该融合会话特征输入到一个统一的多模态情绪识别模型中，供模型训练，就可直接预测出最终的情绪结果，无需分别训练各模态的识别模型，并进行不同模型结果的融合。简化了样本训练过程，且提高了情绪识别结果的准确性。

【技术实现步骤摘要】
情绪识别方法、装置、设备及存储介质
本专利技术实施例涉及人工智能
，尤其涉及一种情绪识别方法、装置、设备及存储介质。
技术介绍
随着人工智能的发展，智能交互在越来越多的领域中发挥着越来越重要的作用。而智能交互中，一个重要的方向，就是如何识别多模态交互过程中用户当前的情绪状态，从而为整个智能交互系统提供情绪层面的反馈，及时作出调整，以便应对不同情绪状态下的用户，提升整个交互过程的服务质量。目前，主要情绪识别方法如图1所示，整个过程如下：通过对语音，文本及表情图像等各个模态进行独立建模，并在最后将每个模型的结果融合在一起，根据规则或者机器学习模型，对多个模态的结果进行融合判定，最终输出一个整体的多模态情绪识别结果。由于同一词语在不同场景下含义不同，表示的情绪状态不同，而上述方法通用性较差；此外，还需要依赖于人力操作采集大量数据，成本较高且结果可控性较差。
技术实现思路
本专利技术实施例提供了一种情绪识别方法、装置、设备和存储介质，简化了样本训练过程，且提高了情绪识别结果的准确性。第一方面，本专利技术实施例提供了一种情绪识别方法，该方法包括：确定多模态会话信息的融合会话特征；将所述多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中，得到所述多模态会话信息的情绪特征。第二方面，本专利技术实施例还提供了一种情绪识别装置，该装置包括：融合特征确定模块，用于确定多模态会话信息的融合会话特征；情绪特征确定模块，用于将所述多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中，得到所述多模态会话信息的情绪特征。第三方面，本专利技术实施例还提供了一种设备，该设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现第一方面中任意所述的情绪识别方法。第四方面，本专利技术实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意所述的情绪识别方法。本专利技术实施例提供的技术方案，通过将多模态会话信息中每个模态的会话特征融合得到融合会话特征，并将该融合会话特征输入到一个统一的多模态情绪识别模型中，供模型训练，就可直接预测出最终的情绪结果，无需分别训练各模态的识别模型，并进行不同模型结果的融合。简化了样本训练过程，且提高了情绪识别结果的准确性。附图说明图1是现有技术提供的一种基于独立模态训练的多模态情感识别示意图；图2A是本专利技术实施例一中提供的一种情绪识别方法的流程图；图2B是本专利技术实施所适用的基于多模态特征融合学习模型示意图；图3是本专利技术实施例二中提供的一种情绪识别方法的流程图；图4是本专利技术实施例三中提供的一种情绪识别装置的结构框图；图5是本专利技术实施例四中提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术实施例，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术实施例相关的部分而非全部结构。实施例一图2A为本专利技术实施例一提供的一种情绪识别方法的流程图，图2B是本专利技术实施例所适用的基于多模态特征融合学习模型示意图。本实施例适用于如何在多模态交互过程中准确识别出用户情绪的情况。该方法可以由本专利技术实施例提供的情绪识别装置来执行，该装置可采用软件和/或硬件的方式实现，并可集成于计算设备中。参见图2A和2B，该方法具体包括：S210，确定多模态会话信息的融合会话特征。其中，模态是一种交互时使用的一个术语，多模态是指综合运用文本、图像、视频、语音及手势等多种手段和符号载体进行交互的现象。对应的，多模态会话信息即为同时包含至少两种模态的会话信息，如同时包括语音、文本和图像三种模态的会话信息。融合会话特征是通过将一个会话信息中包含的不同模态的会话特征进行融合得到的。可选的，可采用深度学习模型，同时考虑一个会话信息中包含的多个模态特征来确定多模态会话信息的融合会话特征。S220，将多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中，得到多模态会话信息的情绪特征。其中，多模态情绪识别模型是基于人工智能中的语言识别、智能识图以及文本识别技术等所建立的模型；具体的，可预先采用样本数据集对初始机器学习模型如神经网络模型训练得到的。情绪特征即为多模态情绪识别结果，用于表征个体对外界事物的一种态度，可以包括情绪类型及情绪强度等；情绪类型可以包括喜、怒、哀及乐等；情绪强度是用于表征某一情绪的强弱程度。示例性的，将多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中之前，还可以包括：依据多模态会话样本信息的融合会话特征以及多模态会话样本信息的情绪特征，对初始机器学习模型进行训练，得到多模态情绪识别模型。具体的，通过不断累积各种场景下交互过程中的会话信息，得到大量的多模态会话样本信息的融合会话特征以及对应的多模态会话样本信息的情绪特征，将其作为训练样本集，输入到神经网络中对其进行训练，通过各样本训练之后，得到多模态情绪识别模型。当把一个多模态会话信息的融合会话特征输入到该多模态情绪识别模型中，模型会结合该模型现有的参数，对输入的融合会话特征做出判断，并输出相对应的情绪特征。需要说明的是，由于现有技术需要对每个模态都单独建立识别模型，并将各模型结果加权得到最终的情绪结果，因此需要大量的训练样本，且存在单个模态学习出来的模型质量不好，最终导致的整体情绪识别效果差的问题。而本实施例参见图2B，由于直接将多模态会话信息中每个模态的会话特征融合得到融合会话特征，并只需将融合会话特征输入到一个统一的多模态情绪识别模型中，供模型训练，就可输出最终的情绪特征，训练样本相比现有技术大大减少；且由于多模态会话特征的融合使得该多模态情绪识别模型不仅能学习到每个模态的特征信息，也能学习到不同模态之间的特征关系，能够避免出现现有技术由于单个模态学习出来的模型质量不好，最终导致的整体情绪识别效果差的问题。以文本和语音双模态会话信息为例进行说明。当用户说出“我现在就想买苹果X，就想要那个券”，这个句子的时候，采用现有的技术如果分别考虑文本模态信息和语音模态信息，那么这个句子是不确定能否被标注为负面情绪的，最终导致情绪识别结果不准确。但是，采用本实施的技术方案在考虑文本模态信息的同时再加上用户的语音模态方面的信息，比如用户说这个句子时候语音的起伏很剧烈，通过将“文本”+“语音”双模态特征融合，最终能准确识别出情绪为负面情绪。此外，需要强调的是，本实施例所采用的多模态会话样本信息的情绪特征是在综合考虑各模态的情况下对多模态会话信息进行标注得到的，能够确保所标注的情绪状态是没有歧义的，为后面模型训练构建一个更准确的数据集，使最终得到的多模态情绪识别模型更准确。而现有技术是独立的每个模态进行标注，由于独立对一个模态进行标注，可能无法正确地标注一个句子的情绪特征，将导致各个模态对应的情绪模型的识别准确度较差，最终导致后续的结果融合阶段效果下降。本专利技术实施例提供的技术方案，通过将多模态会话信息中每个模态的会话特征融合得到融合会话特征，并将该融合会话特征输入到一个统一的多模态情绪识别模型中，供模型训练，就可直接预测出最终的情绪结果，无需分别训练各本文档来自技高网...

【技术保护点】
1.一种情绪识别方法，其特征在于，包括：确定多模态会话信息的融合会话特征；将所述多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中，得到所述多模态会话信息的情绪特征。

【技术特征摘要】
1.一种情绪识别方法，其特征在于，包括：确定多模态会话信息的融合会话特征；将所述多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中，得到所述多模态会话信息的情绪特征。2.根据权利要求1所述的方法，其特征在于，确定多模态会话信息的融合会话特征，包括：分别确定语音会话信息、文本会话信息和图像会话信息中至少两种模态会话信息的向量表示；对所述至少两种模态会话信息的向量表示进行融合，得到多模态会话信息的融合会话特征的向量表示。3.根据权利要求2所述的方法，其特征在于，对所述至少两种模态会话信息的向量表示进行融合，包括：按照预设的模态顺序，对所述至少两种模态会话信息的向量表示进行顺序拼接。4.根据权利要求2所述的方法，其特征在于，对所述至少两种模态会话信息的向量表示进行融合，包括：分别抽取所述至少两种模态会话信息的向量表示的非线性特征；对抽取的所述至少两种模态会话信息的非线性特征进行融合。5.根据权利要求1所述的方法，其特征在于，将所述多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中之前，还包括：依据多模态会话样本信息的融合会话特征以及所述多模态会话样本信息的情绪特征，对初始机器学习模型进行训练，得到所述多模态情绪识别模型。6.一种情绪识别装置，其特征在于，包括：融合特征确定模块，用于确定多模态会话信息的融合会话特征；情绪特征确定模块，用于将所述多模态会话信息的融合会话特征输入预先...

【专利技术属性】
技术研发人员：林英展，陈炳金，梁一川，凌光，周超，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11