【技术实现步骤摘要】
本专利技术涉及情绪判定，尤其涉及一种基于多模态信息的情绪定量模型训练方法及情绪定量方法。
技术介绍
1、情绪分析的主要目的是分析公众对某些产品、事件、人或想法的看法。现有技术中，一些方法在进行情绪分析时通过机器学习模型对文本模态进行语义理解实现。
2、但是，采用的机器学习模型通常是bert等参数量较小的模型，这些机器学习模型训练使用的数据量有限，即使增加数据量模型自身可以承载的知识量也是有限的，这将导致模型在理解能力上很受限，对复杂文本的理解效果较差。
3、而且，现有的机器学习模型均是基于单模态信息进行情绪分析，并不能全面表征用户的整体状态，造成信息缺失，导致分析结果不准确。
技术实现思路
1、本专利技术提供一种基于多模态信息的情绪定量模型训练方法及情绪定量方法，用以解决现有技术中存在的缺陷。
2、本专利技术提供一种基于多模态信息的情绪定量模型训练方法，包括：
3、获取多模态信息以及所述多模态信息的情绪定量标签；所述多模态信息包括文本信息和非文本信息；
4、基于所述多模态信息以及所述情绪定量标签，构建监督微调数据集，并基于所述监督微调数据集，联合预先训练的多模态特征提取器，对初始多模态特征对齐模块进行训练；
5、基于所述监督微调数据集，联合所述多模态特征提取器以及训练后的多模态特征对齐模块，对初始大型语言模型进行微调；
6、基于所述多模态特征提取器、所述多模态特征对齐模块以及微调后的大型语言模型，构
7、其中，所述多模态特征对齐模块用于将输入特征与所述大型语言模型的输入空间对齐。
8、根据本专利技术提供的一种基于多模态信息的情绪定量模型训练方法，所述基于所述监督微调数据集，联合所述多模态特征提取器以及训练后的多模态特征对齐模块，对初始大型语言模型进行微调，包括：
9、基于所述监督微调数据集，联合所述多模态特征提取器以及所述多模态特征对齐模块，对所述初始大型语言模型以及所述多模态特征对齐模块进行微调。
10、根据本专利技术提供的一种基于多模态信息的情绪定量模型训练方法，所述基于所述多模态信息以及所述情绪定量标签，构建监督微调数据集，包括：
11、确定所述多模态信息中非文本信息对应的文本描述信息，并基于文本语言模型，采用第一提示模板，应用所述多模态信息中的文本信息以及所述文本描述信息，结合所述情绪定量标签，生成定量问答解释数据；
12、基于所述定量问答解释数据，采用第二提示模板，构建所述监督微调数据集。
13、根据本专利技术提供的一种基于多模态信息的情绪定量模型训练方法，所述基于所述监督微调数据集，联合预先训练的多模态特征提取器，对初始多模态特征对齐模块进行训练，还包括：
14、对所述监督微调数据集进行模态数据丢弃，或基于所述监督微调数据集中的文本数据，确定模态残缺数据集；
15、基于所述模态残缺数据集，联合所述多模态特征提取器，对所述初始多模态特征对齐模块进行训练。
16、根据本专利技术提供的一种基于多模态信息的情绪定量模型训练方法，所述基于所述监督微调数据集，联合预先训练的多模态特征提取器，对初始多模态特征对齐模块进行训练，包括：
17、固定所述初始大型语言模型的结构参数，并将所述监督微调数据集中的非文本信息依次输入至所述多模态特征提取器以及所述初始多模态特征对齐模块，得到所述初始多模态特征对齐模块输出的第一对齐信息；
18、将所述第一对齐信息以及所述监督微调数据中的文本信息输入至所述初始大型语言模型，得到所述初始大型语言模型输出的所述多模态信息的情绪定量结果信息；
19、基于所述情绪定量结果信息以及所述监督微调数据中的情绪定量标签，对所述初始多模态特征对齐模块进行训练，得到训练后的多模态特征对齐模块。
20、根据本专利技术提供的一种基于多模态信息的情绪定量模型训练方法，所述多模态特征提取器包括多个单模态特征提取器；
21、每个单模态特征提取器基于对应模态的样本信息以及所述样本信息对应的标签信息进行训练得到。
22、本专利技术还提供一种情绪定量方法，包括：
23、获取待识别信息；
24、将所述待识别信息输入至多模态情绪定量模型，得到所述多模态情绪定量模型输出的情绪定量结果；
25、其中，所述多模态情绪定量模型基于上述的情绪定量模型训练方法构建得到。
26、根据本专利技术提供的一种情绪定量方法，所述待识别信息包括待识别文本信息和待识别非文本信息；
27、所述将所述待识别信息输入至多模态情绪定量模型，得到所述多模态情绪定量模型输出的情绪定量结果，包括：
28、基于所述多模态情绪定量模型中的多模态特征提取器，提取所述待识别非文本信息的目标情绪特征；
29、基于所述多模态情绪定量模型中的多模态特征对齐模块，将所述目标情绪特征对齐至所述多模态情绪定量模型中的大型语言模型的输入空间，得到第二对齐信息；
30、基于所述多模态情绪定量模型中的大型语言模型，应用所述第二对齐信息以及所述待识别文本信息，确定所述情绪定量结果。
31、本专利技术还提供一种基于多模态信息的情绪定量模型训练系统，包括：
32、第一获取模块，用于获取多模态信息以及所述多模态信息的情绪定量标签；所述多模态信息包括文本信息和非文本信息；
33、第一训练模块，用于基于所述多模态信息以及所述情绪定量标签，构建监督微调数据集，并基于所述监督微调数据集，联合预先训练的多模态特征提取器，对初始多模态特征对齐模块进行训练；
34、第二训练模块，用于基于所述监督微调数据集，联合所述多模态特征提取器以及训练后的多模态特征对齐模块，对初始大型语言模型进行微调；
35、模型构建模块，用于基于所述多模态特征提取器、所述多模态特征对齐模块以及微调后的大型语言模型，构建多模态情绪定量模型；
36、其中，所述多模态特征对齐模块用于将输入特征与所述大型语言模型的输入空间对齐。
37、本专利技术还提供一种情绪定量系统，包括：
38、第二获取模块，用于获取待识别信息；
39、情绪定量模块，用于将所述待识别信息输入至多模态情绪定量模型，得到所述多模态情绪定量模型输出的情绪定量结果；
40、其中，所述多模态情绪定量模型基于上述的情绪定量模型训练方法构建得到。
41、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的基于多模态信息的情绪定量模型训练方法，或情绪定量方法。
42、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于多模态信息的情绪定量模型训练方法，本文档来自技高网...
【技术保护点】
1.一种基于多模态信息的情绪定量模型训练方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态信息的情绪定量模型训练方法，其特征在于，所述基于所述监督微调数据集，联合所述多模态特征提取器以及训练后的多模态特征对齐模块，对初始大型语言模型进行微调，包括：
3.根据权利要求1所述的基于多模态信息的情绪定量模型训练方法，其特征在于，所述基于所述多模态信息以及所述情绪定量标签，构建监督微调数据集，包括：
4.根据权利要求2所述的基于多模态信息的情绪定量模型训练方法，其特征在于，所述基于所述监督微调数据集，联合预先训练的多模态特征提取器，对初始多模态特征对齐模块进行训练，还包括：
5.根据权利要求1-4中任一项所述的基于多模态信息的情绪定量模型训练方法，其特征在于，所述基于所述监督微调数据集，联合预先训练的多模态特征提取器，对初始多模态特征对齐模块进行训练，包括：
6.根据权利要求1-4中任一项所述的基于多模态信息的情绪定量模型训练方法，其特征在于，所述多模态特征提取器包括多个单模态特征提取器；
7.一种情绪定量
8.根据权利要求7所述的情绪定量方法，其特征在于，所述待识别信息包括待识别文本信息和待识别非文本信息；
9.一种基于多模态信息的情绪定量模型训练系统，其特征在于，包括：
10.一种情绪定量系统，其特征在于，包括：
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的基于多模态信息的情绪定量模型训练方法，或如权利要求7-8中任一项所述的情绪定量方法。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的基于多模态信息的情绪定量模型训练方法，或如权利要求7-8中任一项所述的情绪定量方法。
...【技术特征摘要】
1.一种基于多模态信息的情绪定量模型训练方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态信息的情绪定量模型训练方法，其特征在于，所述基于所述监督微调数据集，联合所述多模态特征提取器以及训练后的多模态特征对齐模块，对初始大型语言模型进行微调，包括：
3.根据权利要求1所述的基于多模态信息的情绪定量模型训练方法，其特征在于，所述基于所述多模态信息以及所述情绪定量标签，构建监督微调数据集，包括：
4.根据权利要求2所述的基于多模态信息的情绪定量模型训练方法，其特征在于，所述基于所述监督微调数据集，联合预先训练的多模态特征提取器，对初始多模态特征对齐模块进行训练，还包括：
5.根据权利要求1-4中任一项所述的基于多模态信息的情绪定量模型训练方法，其特征在于，所述基于所述监督微调数据集，联合预先训练的多模态特征提取器，对初始多模态特征对齐模块进行训练，包括：
6.根据权利要求1-4中任一项所述的基于多模态信息的...
【专利技术属性】
技术研发人员：刘蓬博，王静，贺志阳，胡加学，赵景鹤，张晓燕，鹿晓亮，沈静，
申请(专利权)人：讯飞医疗科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。