【技术实现步骤摘要】
一种情感识别方法及装置、存储介质及电子设备
[0001]本专利技术涉及数据处理
，特别涉及一种情感识别方法及装置、存储介质及电子设备。
技术介绍
[0002]随着人工智能和计算机视觉技术的飞速发展，人机交互技术日新月异，利用计算机进行的人类情感识别技术已经受到了广泛的关注，如何使计算机更加快速准确地识别人类情感成为了当下机器视觉领域的研究热点。
[0003]现有技术中，在进行情感识别的过程中，通常需要采集特定模态的数据进行情感识别，然而，在采集到的数据的模态缺失的情况下，会出现情感识别结果不准确的问题。
技术实现思路
[0004]本专利技术所要解决的技术问题是提供一种情感识别方法，能够获得准确的情感识别结果。
[0005]本专利技术还提供了一种情感识别装置，用以保证上述方法在实际中的实现及应用。
[0006]一种情感识别方法，包括：
[0007]响应于情感识别指令，获取待识别数据；所述待识别数据为文本模态数据、音频模态数据和视频模态数据中的至少一种；
[0008]利用预设的情感识别模型中的多模态转换网络对所述待识别数据进行模态转换，获得各个模态特征；
[0009]利用所述情感识别模型中的特征融合模块对所述各个模态特征进行融合，获得融合特征；
[0010]利用所述情感识别模型中的输出模块基于所述融合特征进行情感识别，获得所述待识别数据的情感识别结果。
[0011]上述的方法，可选的，所述多模态转换网络包括多个双向模态转换网络；>[0012]所述利用预设的情感识别模型中的多模态转换网络对所述待识别数据进行模态转换，获得各个模态特征，包括：
[0013]利用每个所述双向模态转换网络对所述待识别数据进行模态转换，获得每个所述双向模态转换网络转换得到的模态特征。
[0014]上述的方法，可选的，所述利用所述情感识别模型中的特征融合模块对各个所述模态特征进行融合，获得融合特征，包括：
[0015]利用所述情感识别模型中的特征融合模块中的卷积层对所述各个模态特征进行卷积，获得融合卷积特征；
[0016]利用所述情感识别模型中的特征融合模块中的双向长短期记忆网络，对所述融合卷积特征进行处理，获得融合特征。
[0017]上述的方法，可选的，所述利用所述情感识别模型中的输出模块基于所述融合特
征进行情感识别，获得所述待识别数据的情感识别结果，包括：
[0018]利用所述情感识别模型中的输出模块，根据所述融合特征在各个预设的备选分类标签中选取出目标分类标签；
[0019]将所述目标分类标签，作为所述待识别数据的情感识别结果。
[0020]上述的方法，可选的，所述获得所述待识别数据的情感识别结果之后，还包括：
[0021]根据所述情感识别结果确定所述待识别数据所属的客户的满意度。
[0022]一种情感识别装置，包括：
[0023]获取单元，用于响应情感识别指令，获取待识别数据；所述待识别数据为文本模态数据、音频模态数据和视频模态数据中的至少一种；
[0024]模态转换单元，用于利用预设的情感识别模型中的多模态转换网络对所述待识别数据进行模态转换，获得各个模态特征；
[0025]特征融合单元，用于利用所述情感识别模型中的特征融合模块对所述各个模态特征进行融合，获得融合特征；
[0026]情感识别单元，用于利用所述情感识别模型中的输出模块基于所述融合特征进行情感识别，获得所述待识别数据的情感识别结果。
[0027]上述的装置，可选的，所述多模态转换网络包括多个双向模态转换网络；
[0028]相应的，所述模态转换单元，包括：
[0029]模态转换子单元，用于利用每个所述双向模态转换网络对所述待识别数据进行模态转换，获得每个所述双向模态转换网络转换得到的模态特征。
[0030]上述的装置，可选的，所述特征融合单元，包括：
[0031]卷积子单元，用于利用所述情感识别模型中的特征融合模块中的卷积层对所述各个模态特征进行卷积，获得融合卷积特征；
[0032]融合子单元，用于利用所述情感识别模型中的特征融合模块中的双向长短期记忆网络，对所述融合卷积特征进行处理，获得融合特征。
[0033]一种存储介质，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述的情感识别方法。
[0034]一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述的情感识别方法。
[0035]与现有技术相比，本专利技术包括以下优点：
[0036]本专利技术提供了一种情感识别方法及装置、存储介质及电子设备，该方法包括：响应于情感识别指令，获取待识别数据；所述待识别数据为文本模态数据、音频模态数据和视频模态数据中的至少一种；利用预设的情感识别模型中的多模态转换网络对所述待识别数据进行模态转换，获得各个模态特征；利用所述情感识别模型中的特征融合模块对所述各个模态特征进行融合，获得融合特征；利用所述情感识别模型中的输出模块基于所述融合特征进行情感识别，获得所述待识别数据的情感识别结果。应用本专利技术实施例提供的方法，能够通过多模态转换网络实现数据的跨模态转换，获得不同模态的特征，能够有效的避免数据的模态缺失的问题，并且本实施例通过特征融合模块对各模态特征进行融合，可以联合不同模态特征进行情感识别，从而可以获得准确的情感识别结果。
附图说明
[0037]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0038]图1为本专利技术提供的一种情感识别方法的方法流程图；
[0039]图2为本专利技术提供的一种获得融合特征的过程的流程图；
[0040]图3为本专利技术提供的一种获得待识别数据的情感识别结果的过程的流程图；
[0041]图4为本专利技术提供的又一种情感识别方法的方法流程图；
[0042]图5为本专利技术提供的一种情感识别装置的结构示意图；
[0043]图6为本专利技术提供的一种电子设备的结构示意图。
具体实施方式
[0044]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0045]在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种情感识别方法，其特征在于，包括：响应于情感识别指令，获取待识别数据；所述待识别数据为文本模态数据、音频模态数据和视频模态数据中的至少一种；利用预设的情感识别模型中的多模态转换网络对所述待识别数据进行模态转换，获得各个模态特征；利用所述情感识别模型中的特征融合模块对所述各个模态特征进行融合，获得融合特征；利用所述情感识别模型中的输出模块基于所述融合特征进行情感识别，获得所述待识别数据的情感识别结果。2.根据权利要求1所述的方法，其特征在于，所述多模态转换网络包括多个双向模态转换网络；所述利用预设的情感识别模型中的多模态转换网络对所述待识别数据进行模态转换，获得各个模态特征，包括：利用每个所述双向模态转换网络对所述待识别数据进行模态转换，获得每个所述双向模态转换网络转换得到的模态特征。3.根据权利要求1所述的方法，其特征在于，所述利用所述情感识别模型中的特征融合模块对各个所述模态特征进行融合，获得融合特征，包括：利用所述情感识别模型中的特征融合模块中的卷积层对所述各个模态特征进行卷积，获得融合卷积特征；利用所述情感识别模型中的特征融合模块中的双向长短期记忆网络，对所述融合卷积特征进行处理，获得融合特征。4.根据权利要求1所述的方法，其特征在于，所述利用所述情感识别模型中的输出模块基于所述融合特征进行情感识别，获得所述待识别数据的情感识别结果，包括：利用所述情感识别模型中的输出模块，根据所述融合特征在各个预设的备选分类标签中选取出目标分类标签；将所述目标分类标签，作为所述待识别数据的情感识别结果。5.根据权利要求1所述的方法，其特征在于，所述获得所述待识别数据的情感识别结果之后，还包括：根据所述情感识...
【专利技术属性】
技术研发人员：殷素素，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。