【技术实现步骤摘要】
本专利技术属于智能，具体涉及一种基于情感识别和大语言模型的多模式问答方法及系统。
技术介绍
1、随着信息化社会的迅速发展，大数据时代的到来，人们接触到的信息量日益增大，而智能问答系统的需求也随之显著增长。智能问答系统可以帮助用户通过对话的方式获取他们需要的信息，极大地提高了信息检索的效率。
2、现有的智能问答系统中，采用大语言模型进行智能问答对话，例如chatgpt，一个自然语言处理的人工智能模型，可以智能地分析和回答用户的问题。这个人工智能模型可以被训练来理解特定的语境，并捕捉问题背后的意图，使其能够为用户提供准确和定制的回应。chatgpt可用于实时分析对话，并生成相关回应，使其成为客户服务、通信系统和聊天机器人的理想工具。
3、但是，现有技术中的智能问答系统，仅仅关注问题数据与答案数据在语法、术语等技术层面上的准确性与专业性，而忽略了对话情感的分析，输出的答案数据仅仅为专业知识堆积而成的刻板文字，导致用户的使用体验度差；并且，现有技术中的智能问答系统，往往采用单一的文本对话模式，功能简单，随着语音对话需求的发展，已经无法满足市场的需求。
技术实现思路
1、为了解决现有技术存在的缺乏情感识别、使用体验度差、功能简单以及无法满足市场需求的问题，本专利技术目的在于提供一种基于情感识别和大语言模型的多模式问答方法及系统。
2、本专利技术所采用的技术方案为：
3、一种基于情感识别和大语言模型的多模式问答方法，包括如下步骤：
4
5、根据预处理后问答对语音数据集和对应的若干问答对文本数据，构建问答知识图谱、语音文本识别模型、语音情感识别模型、文本情感识别模型以及大语言模型；
6、基于文本问答模式，采集用户上传的文本问题数据，并根据文本问题数据，使用文本情感识别模型，进行文本情感识别，得到预测文本情感标签；
7、根据文本问题数据和对应的预测文本情感标签，使用大语言模型和问答知识图谱，进行智能答应生成，得到第一文本答案数据；
8、基于语音问答模式，采集用户上传的语音问题数据，并根据语音问题数据，使用语音文本识别模型，进行语音文本识别，得到语音文本数据，使用语音情感识别模型，进行语音情感识别，得到预测语音情感标签；
9、根据语音文本数据和对应的预测语音情感标签，使用大语言模型和问答知识图谱，进行智能答应生成，得到第二文本答案数据；
10、根据第二文本答案数据和对应的预测语音情感标签，进行文本语音转换，得到语音答案数据。
11、进一步地，对若干问答对语音数据进行预处理的具体方法为：根据预设的过完备原子库，对若干问答对语音数据进行去噪处理，得到由若干去噪后问答对语音数据构成的预处理后问答对语音数据集。
12、进一步地，根据预处理后问答对语音数据集和对应的若干问答对文本数据，构建语音文本识别模型、语音情感识别模型、文本情感识别模型以及大语言模型，包括如下步骤：
13、根据预处理后问答对语音数据集和对应的若干问答对文本数据，构建语音文本识别模型；
14、根据预处理后问答对语音数据集，构建语音情感识别模型，并得到预处理后问答对语音数据集对应的若干情感标签；
15、将若干情感标签添加至对应的若干问答对文本数据，得到情感标签添加后问答对文本数据集；
16、根据情感标签添加后问答对文本数据集，构建文本情感识别模型、大语言模型以及问答知识图谱。
17、进一步地，语音文本识别模型包括依次连接的人声音频提取子模型、梅尔标度滤波器组、共享编码器以及注意力解码器。
18、进一步地，语音情感识别模型包括依次连接的mfcc特征提取子模型、gammatone滤波器以及语音情感预测子模型。
19、进一步地，文本情感识别模型包括依次连接的预训练语言子模型、语义特征提取子模型、方面级情感特征提取子模型、特征融合子模型以及分类器。
20、进一步地，基于文本问答模式，采集用户上传的文本问题数据，并根据文本问题数据，使用文本情感识别模型，进行文本情感识别，得到预测文本情感标签，包括如下步骤：
21、基于文本问答模式，采集用户上传的文本问题数据，并将文本问题数据输入文本情感识别模型；
22、使用预训练语言子模型，将文本问题数据转化为对应的文本问题字向量序列；
23、根据文本问题字向量序列，使用语义特征提取子模型，提取对应的文本问题语义特征，使用方面级情感特征提取子模型，提取对应的文本问题方面级情感特征序列；
24、使用特征融合子模型，将文本问题语义特征和文本问题方面级情感特征序列进行特征融合，得到文本问题融合特征序列；
25、根据文本问题融合特征序列，使用分类器，进行分类预测，得到预测文本情感标签。
26、进一步地，根据文本问题数据和对应的预测文本情感标签，使用大语言模型和问答知识图谱，进行智能答应生成，得到第一文本答案数据，包括如下步骤：
27、将文本问题数据进行分词、词性标注的预处理，并转换为文本问题字符序列；
28、将文本问题字符序列输入大语言模型，进行智能答应生成，得到第一文本答案字符序列；
29、使用问答知识图谱中，情感标签与预测文本情感标签相同的若干命名实体，对第一文本答案字符序列中对应的若干字符进行修正，得到修正后第一文本答案字符序列；
30、将修正后第一文本答案字符序列转换为第一文本答案数据；
31、根据语音文本数据和对应的预测语音情感标签，使用大语言模型和问答知识图谱，进行智能答应生成，得到第二文本答案数据，包括如下步骤：
32、将语音问题数据进行分词、词性标注的预处理，并转换为语音问题字符序列；
33、将语音问题字符序列输入大语言模型，进行智能答应生成，得到第二文本答案字符序列；
34、使用问答知识图谱中，情感标签与预测语音情感标签相同的若干命名实体，对第二文本答案字符序列中对应的若干字符进行修正，得到修正后第二文本答案字符序列；
35、将修正后第二文本答案字符序列转换为第二文本答案数据。
36、进一步地，基于语音问答模式，采集用户上传的语音问题数据，并根据语音问题数据，使用语音文本识别模型，进行语音文本识别，得到语音文本数据，使用语音情感识别模型，进行语音情感识别，得到预测语音情感标签，包括如下步骤：
37、基于语音问答模式，采集用户上传的语音问题数据，并使用预设的过完备原子库，对语音问题数据进行去噪处理，得到去噪后语音问题数据；
38、使用stft算法，获取去噪后语音问题数据的语音问题幅度谱；
39、使用人声音频提取子模型，进行人声音频提取，得到语音问本文档来自技高网...
【技术保护点】
1.一种基于情感识别和大语言模型的多模式问答方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于情感识别和大语言模型的多模式问答方法，其特征在于：对若干问答对语音数据进行所述的预处理的具体方法为：根据预设的过完备原子库，对若干问答对语音数据进行去噪处理，得到由若干去噪后问答对语音数据构成的预处理后问答对语音数据集。
3.根据权利要求1所述的一种基于情感识别和大语言模型的多模式问答方法，其特征在于：根据预处理后问答对语音数据集和对应的若干问答对文本数据，构建语音文本识别模型、语音情感识别模型、文本情感识别模型以及大语言模型，包括如下步骤：
4.根据权利要求3所述的一种基于情感识别和大语言模型的多模式问答方法，其特征在于：所述的语音文本识别模型包括依次连接的人声音频提取子模型、梅尔标度滤波器组、共享编码器以及注意力解码器。
5.根据权利要求3所述的一种基于情感识别和大语言模型的多模式问答方法，其特征在于：所述的语音情感识别模型包括依次连接的MFCC特征提取子模型、GammaTone滤波器以及语音情感预测子模型。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。