【技术实现步骤摘要】
本专利技术涉及语音文本分析，尤其涉及一种基于大模型的多模态细粒度倾向分析方法及系统。
技术介绍
1、情感是人类体验的基础，影响着人类生活中认知、感知等多项日常任务。在人工智能的研究中，拥有对情感的识别分析的能力是必不可少的功能之一。
2、人们表达过程中的情绪是指人员在表达过程中表现出来的情感和情绪状态，在表达过程中，适当的情绪表达可以让演讲更加生动和有感染力，表达的情绪对于讲者和接受者的感受都有很大的影响，而讲者的情绪往往对应着讲者的实际观点倾向，且有时讲者的实际观点倾向对应着对社会的影响。
3、而在现有技术的语音文本分析方案中，往往仅仅涉及对情绪类型的分类，而并未涉及讲者的实际观点倾向。
技术实现思路
1、鉴于此，本专利技术的实施例提供了一种基于大模型的多模态细粒度倾向分析方法，以消除或改善现有技术中存在的一个或更多个缺陷。
2、本专利技术的一个方面提供了一种基于大模型的多模态细粒度倾向分析方法，所述方法的步骤包括：
3、获取语音数据，将所述语音数据划分为多个语音子数据，基于预设的编码器将每个所述语音子数据编码为语音子向量；
4、获取每个语音子数据对应的文本子数据，基于预设的编码器将每个所述文本子数据编码为文本子向量；
5、将所述语音子向量输入到预训练的第一模型中，所述第一模型输出第一情绪倾向向量；
6、将所述文本子向量输入到预训练的第二模型中，所述第二模型输出第二情绪倾向向量；
7、
8、采用上述方案，现有的方法在捕捉细微和隐含的信息方面存在局限性，本方案区别于传统的语言情感分析方法，通过采用强大的预训练语言模型，不仅能够分析文本材料，还能结合声学材料，进行多模态分析，在句子层面进行细粒度分析，以捕捉更多信息，能够更准确地捕捉和量化语言沟通中的细微情感倾向，通过这种细致的分析，本方案能够更准确地判定检测语句的实际观点倾向，从而为市场参与者提供更有价值的洞察。
9、在本专利技术的一些实施方式中，在基于预设的编码器将每个所述语音子数据编码为语音子向量的步骤中，对所述语音子数据进行梅尔转换得到梅尔频谱，将所述梅尔频谱构建为梅尔图像，将所述梅尔图像通过编码器编码为语音子向量。
10、在本专利技术的一些实施方式中，在基于预设的编码器将每个所述文本子数据编码为文本子向量的步骤中，采用预设的文本编码器将每个所述文本子数据编码为文本子向量。
11、在本专利技术的一些实施方式中，在基于所述第一情绪倾向向量和第二情绪倾向向量确定相互对应的语音子数据和文本子数据的情绪倾向的步骤中，基于所述第一情绪倾向向量和第二情绪倾向向量中的鸽派情绪值和鹰派情绪值分别计算情绪倾向值，基于通过所述第一情绪倾向向量和第二情绪倾向向量得到的情绪倾向值判定情绪倾向。
12、在本专利技术的一些实施方式中，在基于所述第一情绪倾向向量和第二情绪倾向向量中的鸽派情绪值和鹰派情绪值分别计算情绪倾向值的步骤中，采用如下公式计算情绪倾向值：
13、
14、其中，表示情绪倾向值，表示鸽派情绪值，表示鹰派情绪值。
15、在本专利技术的一些实施方式中，所述方法的步骤还包括：
16、获取所述语音数据中每个语音子数据对应的第一情绪倾向向量和第二情绪倾向向量，并获取第一情绪倾向向量和第二情绪倾向向量对应的情绪倾向值，基于两个情绪倾向值计算合并倾向值；
17、获取每个语音子数据的前预设数量和后预设数量的语音子数据对应的第二情绪倾向向量，基于前预设数量的语音子数据对应的第二情绪倾向向量计算前倾向值，基于后预设数量的语音子数据对应的第二情绪倾向向量计算后倾向值；
18、基于预设的映射对照表将合并倾向值、前倾向值和后倾向值分别映射为像素变化值；
19、获取预设的模板图像，所述模板图像中对应每个语音子数据设置有图像区域，基于每个语音子数据的合并倾向值、前倾向值和后倾向值对应的像素变化值修改该语音子数据对应的图像区域的像素值，将所述模板图像修改为判定图像，基于所述判定图像确定所述语音数据对应的情绪倾向。
20、在本专利技术的一些实施方式中，在基于前预设数量的语音子数据对应的第二情绪倾向向量计算前倾向值，基于后预设数量的语音子数据对应的第二情绪倾向向量计算后倾向值的步骤中，
21、基于前预设数量的语音子数据对应的第二情绪倾向向量的情绪倾向值计算加权平均值，得到所述前倾向值；
22、基于后预设数量的语音子数据对应的第二情绪倾向向量的情绪倾向值计算加权平均值，得到所述后倾向值。
23、在本专利技术的一些实施方式中，在基于前预设数量的语音子数据对应的第二情绪倾向向量的情绪倾向值计算加权平均值，得到所述前倾向值；基于后预设数量的语音子数据对应的第二情绪倾向向量的情绪倾向值计算加权平均值，得到所述后倾向值的步骤中，基于每个语音子数据与判定的语音子数据的距离确定权重参数。
24、在本专利技术的一些实施方式中，在基于所述判定图像确定所述语音数据对应的情绪倾向的步骤中，将所述判定图像输入到预训练的第三模型，得到所述语音数据对应的情绪倾向。
25、本专利技术的第二方面还提供一种基于大模型的多模态细粒度倾向分析系统，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如前所述方法所实现的步骤。
26、本专利技术的第三方面还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于大模型的多模态细粒度倾向分析方法所实现的步骤。
27、本专利技术的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本专利技术的实践而获知。本专利技术的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
28、本领域技术人员将会理解的是，能够用本专利技术实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本专利技术能够实现的上述和其他目的。
本文档来自技高网...【技术保护点】
1.一种基于大模型的多模态细粒度倾向分析方法，其特征在于，所述方法的步骤包括：
2.根据权利要求1所述的基于大模型的多模态细粒度倾向分析方法，其特征在于，在基于预设的编码器将每个所述语音子数据编码为语音子向量的步骤中，对所述语音子数据进行梅尔转换得到梅尔频谱，将所述梅尔频谱构建为梅尔图像，将所述梅尔图像通过编码器编码为语音子向量。
3.根据权利要求1所述的基于大模型的多模态细粒度倾向分析方法，其特征在于，在基于预设的编码器将每个所述文本子数据编码为文本子向量的步骤中，采用预设的文本编码器将每个所述文本子数据编码为文本子向量。
4.根据权利要求1所述的基于大模型的多模态细粒度倾向分析方法，其特征在于，在基于所述第一情绪倾向向量和第二情绪倾向向量确定相互对应的语音子数据和文本子数据的情绪倾向的步骤中，基于所述第一情绪倾向向量和第二情绪倾向向量中的鸽派情绪值和鹰派情绪值分别计算情绪倾向值，基于通过所述第一情绪倾向向量和第二情绪倾向向量得到的情绪倾向值判定情绪倾向。
5.根据权利要求4所述的基于大模型的多模态细粒度倾向分析方法，其特征在于，
6.根据权利要求4所述的基于大模型的多模态细粒度倾向分析方法，其特征在于，所述方法的步骤还包括：
7.根据权利要求6所述的基于大模型的多模态细粒度倾向分析方法，其特征在于，在基于前预设数量的语音子数据对应的第二情绪倾向向量计算前倾向值，基于后预设数量的语音子数据对应的第二情绪倾向向量计算后倾向值的步骤中，
8.根据权利要求7所述的基于大模型的多模态细粒度倾向分析方法，其特征在于，在基于前预设数量的语音子数据对应的第二情绪倾向向量的情绪倾向值计算加权平均值，得到所述前倾向值；基于后预设数量的语音子数据对应的第二情绪倾向向量的情绪倾向值计算加权平均值，得到所述后倾向值的步骤中，基于每个语音子数据与判定的语音子数据的距离确定权重参数。
9.根据权利要求7或8所述的基于大模型的多模态细粒度倾向分析方法，其特征在于，在基于所述判定图像确定所述语音数据对应的情绪倾向的步骤中，将所述判定图像输入到预训练的第三模型，得到所述语音数据对应的情绪倾向。
10.一种基于大模型的多模态细粒度倾向分析系统，其特征在于，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如权利要求1~9任一项所述方法所实现的步骤。
...【技术特征摘要】
1.一种基于大模型的多模态细粒度倾向分析方法，其特征在于，所述方法的步骤包括：
2.根据权利要求1所述的基于大模型的多模态细粒度倾向分析方法，其特征在于，在基于预设的编码器将每个所述语音子数据编码为语音子向量的步骤中，对所述语音子数据进行梅尔转换得到梅尔频谱，将所述梅尔频谱构建为梅尔图像，将所述梅尔图像通过编码器编码为语音子向量。
3.根据权利要求1所述的基于大模型的多模态细粒度倾向分析方法，其特征在于，在基于预设的编码器将每个所述文本子数据编码为文本子向量的步骤中，采用预设的文本编码器将每个所述文本子数据编码为文本子向量。
4.根据权利要求1所述的基于大模型的多模态细粒度倾向分析方法，其特征在于，在基于所述第一情绪倾向向量和第二情绪倾向向量确定相互对应的语音子数据和文本子数据的情绪倾向的步骤中，基于所述第一情绪倾向向量和第二情绪倾向向量中的鸽派情绪值和鹰派情绪值分别计算情绪倾向值，基于通过所述第一情绪倾向向量和第二情绪倾向向量得到的情绪倾向值判定情绪倾向。
5.根据权利要求4所述的基于大模型的多模态细粒度倾向分析方法，其特征在于，在基于所述第一情绪倾向向量和第二情绪倾向向量中的鸽派情绪值和鹰派情绪值分别计算情绪倾向值的步骤中，采用如下公式计算情绪倾向值：
6.根据权利要求4所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。