【技术实现步骤摘要】
本专利技术涉及自然语言处理，尤其是一种多任务融合的情感识别方法、系统、装置及介质。
技术介绍
1、情感分析是自然语言处理领域的一个热门研究方向，主要是对文本中的主观信息进行挖掘，以判断其背后的情感倾向，例如积极、消极或中立等情感。
2、目前，传统的情感识别方法只能识别特定的几种情感目标，难以对用户情感进行深入识别，情感识别深度不高。另外，由于在实际应用中，用户产生的情感数据类型会发生变化，多模态数据难以同时获得，而传统的多模态情感识别方法在输入的多模态数据类型产生变化时，输出的情感识别结果往往并不尽人意，且在情感识别时，对算力资源的需求较高。
3、因此，现有技术存在的问题还亟需解决和优化。
技术实现思路
1、本专利技术的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
2、为此，本专利技术实施例的一个目的在于提供一种多任务融合的情感识别方法，该情感识别方法可以有效提高情感识别的深度，减少情感识别所需的算力资源，以及，提高情感识别结果的准确性。
3、本申请实施例的另一个目的在于提供一种多任务融合的情感识别系统。
4、为了达到上述技术目的，本申请实施例所采取的技术方案包括：
5、第一方面，本申请实施例提供了一种多任务融合的情感识别方法，包括：
6、获取待情感识别的情感数据；
7、根据训练好的多任务情感模型对所述情感数据进行识别，得到情感识别结果；
8、其中，所述多任务情感
9、获取模态数据集，并对所述模态数据集进行标注，得到标注数据集，所述标注数据集包括语音标注数据、文本标注数据和混合标注数据，所述混合标注数据包括混合语标数据和混合文标数据；
10、对所述标注数据集进行填充预处理，得到语音训练集和文本训练集，所述语音训练集包括所述语音标注数据、语音填充数据和所述混合语标数据，所述语音填充数据为与所述文本标注数据对应的零填充数据，所述文本训练集包括所述文本标注数据、文本填充数据和所述混合文标数据，所述文本填充数据为与所述语音标注数据对应的零填充数据；
11、将所述语音训练集输入至初始化的第一网络框架进行训练，得到训练好的第一网络框架，以及所述训练好的第一网络框架输出的语音识别结果，和，将所述文本训练集输入至初始化的第二网络框架进行训练，得到训练好的第二网络框架，以及所述训练好的第二网络框架输出的文本识别结果；
12、将所述语音识别结果和所述文本识别结果输入至训练好的第三网络框架进行加权识别处理，得到混合识别结果；
13、根据所述语音识别结果、所述文本识别结果和所述混合识别结果，更新所述多任务情感模型的参数，得到所述训练好的多任务情感模型。
14、另外，根据本申请上述实施例的情感识别方法，还可以具有以下附加的技术特征：
15、进一步地，在本申请的一个实施例中，所述根据训练好的多任务情感模型对所述情感数据进行识别，得到情感识别结果，包括：
16、获取所述情感数据的文本范数和语音范数；
17、根据所述训练好的多任务情感模型对所述情感数据进行识别，得到目标语音结果、目标文本结果和混合目标结果；
18、根据所述文本范数和语音范数，对所述目标语音结果、所述目标文本结果和所述混合目标结果进行筛选处理，得到所述情感识别结果。
19、进一步地，在本申请的一个实施例中，所述对所述模态数据集进行标注，得到标注数据集，包括：
20、对所述模态数据集进行格式转换处理，得到第一中间数据集；
21、对所述第一中间数据集进行数据清洗处理，得到第二中间数据集；
22、对所述第二中间数据集进行标签标注处理，得到所述标注数据集。
23、进一步地，在本申请的一个实施例中，所述对所述标注数据集进行填充预处理，得到语音训练集和文本训练集，包括：
24、对所述标注数据集进行填充检测处理，得到第一检测结果，所述第一检测结果包括语音检测结果、文本检测结果和混合拆分结果，所述语音检测结果用于记录需要进行语音填充的文本标注数据，所述文本检测结果用于记录需要进行文本填充的语音标注数据，所述混合拆分结果用于记录需要进行拆分的混合标注数据集；
25、根据所述语音检测结果，对所述文本标注数据进行语音填充处理，得到与所述文本标注数据对应的语音填充数据，以及，根据所述文本检测结果，对所述语音标注数据进行文本填充，得到与所述语音标注数据对应的文本填充数据；
26、根据所述混合拆分结果，对所述混合标注数据集进行拆分处理，得到混合语标数据和混合文标数据；
27、对所述语音标注数据、所述语音填充数据和所述混合语标数据进行第一整合处理，得到所述语音训练集，以及，对所述文本标注数据、所述文本填充数据和所述混合文标数据进行第二整合处理，得到所述文本训练集。
28、进一步地，在本申请的一个实施例中，所述根据所述混合拆分结果，对所述混合标注数据集进行拆分处理，得到混合语标数据和混合文标数据，包括：
29、根据所述混合拆分结果，对所述混合标注数据集进行数据集拆分处理，得到语音中间数据和文本中间数据；
30、对所述语音中间数据和所述文本中间数据进行映射处理，得到所述混合语标数据和所述混合文标数据。
31、进一步地，在本申请的一个实施例中，所述将所述语音训练集输入至初始化的第一网络框架进行训练，包括：
32、对所述语音训练集进行特征提取处理，得到第一训练集；
33、对所述第一训练集进行特征选择处理，得到第二训练集；
34、计算所述第二训练集输入至所述初始化的第一网络框架的损失权重，根据所述第一网络框架的损失权重更新所述初始化的第一网络框架的参数。
35、进一步地，在本申请的一个实施例中，所述训练好的第三网络框架通过以下步骤得到：
36、对所述混合标注数据进行混合特征处理，得到混合训练集；
37、计算所述混合训练集输入至初始化的第三网络框架的损失权重，根据所述第三网络框架的损失权重更新所述初始化的第三网络框架的参数，得到所述训练好的第三网络框架。
38、第二方面，本申请实施例提供了一种多任务融合的情感识别系统，包括：
39、获取模块，用于获取待情感识别的情感数据；
40、识别模块，用于根据训练好的多任务情感模型对所述情感数据进行识别，得到情感识别结果；
41、其中，所述多任务情感模型包括第一网络框架、第二网络框架和第三网络框架，所述训练好的多任务情感模型通过以下步骤得到：
42、获取模态数据集，并对所述模态数据集进行标注，得到标注数据集，所述标注数据集包括语音标注数据、文本标注数据和混合标注数据，所述混合标注数本文档来自技高网...
【技术保护点】
1.一种多任务融合的情感识别方法，其特征在于，包括：
2.根据权利要求1所述的多任务融合的情感识别方法，其特征在于，所述根据训练好的多任务情感模型对所述情感数据进行识别，得到情感识别结果，包括：
3.根据权利要求1所述的多任务融合的情感识别方法，其特征在于，所述对所述模态数据集进行标注，得到标注数据集，包括：
4.根据权利要求1所述的多任务融合的情感识别方法，其特征在于，所述对所述标注数据集进行填充预处理，得到语音训练集和文本训练集，包括：
5.根据权利要求4所述的多任务融合的情感识别方法，其特征在于，所述根据所述混合拆分结果，对所述混合标注数据集进行拆分处理，得到混合语标数据和混合文标数据，包括：
6.根据权利要求1所述的多任务融合的情感识别方法，其特征在于，所述将所述语音训练集输入至初始化的第一网络框架进行训练，包括：
7.根据权利要求1所述的多任务融合的情感识别方法，其特征在于，所述训练好的第三网络框架通过以下步骤得到：
8.一种多任务融合的情感识别系统，其特征在于，包括：
9.
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由所述处理器执行时用于实现如权利要求1-7任一项所述的多任务融合的情感识别方法。
...【技术特征摘要】
1.一种多任务融合的情感识别方法，其特征在于，包括：
2.根据权利要求1所述的多任务融合的情感识别方法，其特征在于，所述根据训练好的多任务情感模型对所述情感数据进行识别，得到情感识别结果，包括：
3.根据权利要求1所述的多任务融合的情感识别方法，其特征在于，所述对所述模态数据集进行标注，得到标注数据集，包括：
4.根据权利要求1所述的多任务融合的情感识别方法，其特征在于，所述对所述标注数据集进行填充预处理，得到语音训练集和文本训练集，包括：
5.根据权利要求4所述的多任务融合的情感识别方法，其特征在于，所述根据所述混合拆分结果，对所述混合标注数据集进行拆分处理，...
【专利技术属性】
技术研发人员：谢金文，范宜佳，宋云生，廖琳琳，
申请(专利权)人：深圳联友科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。