System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于大模型的智能问答方法及系统技术方案_技高网

一种基于大模型的智能问答方法及系统技术方案

技术编号:40992480 阅读:2 留言:0更新日期:2024-04-18 21:34
本发明专利技术涉及智能问答技术领域,揭露了一种基于大模型的智能问答方法及系统,所述方法包括:查找问题文本的文本分词对应的分词语境,计算每个分词语境的嵌入向量;根据嵌入向量计算每个分词语境的词语境向量;根据词语境向量每个分词语境的嵌入向量,对文本向量进行各向异性消歧及文本重构,得到问题文本的目标重构文本;获取预构建的答案语料,构建答案语料与目标重构文本对应的字嵌入矩阵,对字嵌入矩阵进行注意力交互,得到交互矩阵;根据交互矩阵计算目标重构文本与答案语料之间的相似度,根据相似度确定问题文本对应的目标答案语料。本发明专利技术可以提高智能问答的准确性。

【技术实现步骤摘要】

本专利技术涉及智能问答,尤其涉及一种基于大模型的智能问答方法及系统


技术介绍

1、近年来,随着信息技术的迅猛发展,人工智能(ai)、大数据技术(bdt)和“互联网+”实践的不断发展与推进,各种模态的数据量呈指数增长,尤其在各种联网应用的普及下,文本、图片、视频等不同类型的数据可以被用户从不同渠道获取到。人们对于快速准确地获取信息的需求越来越迫切,而问答系统可以通过非结构化数据或者结构化数据获取信息进行回答,成为人工智能领域和信息检索领域的一个重要分支和新兴的研究热点。

2、现有的智能问答方法包括基于知识图嵌入的问答系统,其核心思想是将每个谓词、实体表示为一个低维向量,在kg嵌入空间中联合恢复问题的核心实体、谓词嵌入表示,通过联合距离度量,计算所得向量在kg中最接近的事实并将其作为答案返回,然而其计算量较为庞大,准确性也较低。还包括基于convnet的卷积网络变体,通过整合不同尺度下多个卷积之间的差异来推断句子相似度,然而标记数据的局限限制了模型的性能。因此,传统的知识图谱问答存在实体关系无法正确抽取或实体关系在知识图谱中无法匹配这两类问题,导致问答系统无法有效反馈问题答案,问答的准确度较低。


技术实现思路

1、本专利技术提供一种基于大模型的智能问答方法及系统,其主要目的在于解决智能问答的准确性较低的问题。

2、为实现上述目的,本专利技术提供的一种基于大模型的智能问答方法,包括:

3、获取问题文本,对所述问题文本进行分词,得到文本分词,在预构建的语料库中查找每个所述文本分词对应的分词语境集,计算所述分词语境集中每个分词语境的嵌入向量;

4、根据所述嵌入向量对所述分词语境集进行词语嵌入聚类,得到语境聚类簇,计算所述分词语境集中每个分词语境在所述语境聚类簇中的概率分布,根据所述概率分布生成每个所述分词语境的词语境向量;

5、利用如下公式计算每个分词语境在所述语境聚类簇中的概率分布:

6、

7、其中,pi,k表示第i个分词语境在第k个语境聚类簇中的概率分布,c表示所述语境聚类簇的总数,ck、cj分别表示第k个、第j个语境聚类簇的聚类中心,xi表示第i个分词语境对应的聚类向量,m表示预设的聚类参数;

8、根据所述词语境向量构建所述问题文本的文本向量,对所述文本向量进行各向异性消歧,得到所述问题文本的目标向量,根据所述目标向量对所述问题文本进行文本重构,得到所述问题文本的目标重构文本;

9、获取预构建的答案语料,分别构建所述答案语料与所述目标重构文本对应的字嵌入矩阵,对所述字嵌入矩阵进行注意力交互,得到所述答案语料与所述目标重构文本的交互矩阵;

10、根据所述交互矩阵计算所述目标重构文本与所述答案语料之间的相似度,根据所述相似度确定所述问题文本对应的目标答案语料。

11、可选地,所述计算所述分词语境集中每个分词语境的嵌入向量,包括:

12、将所述分词语境集中的每个分词语境转化为语境向量;

13、利用预训练完成的编码语言模型对所述语境向量进行嵌入编码,得到所述分词语境集中每个分词语境的嵌入向量。

14、可选地,所述根据所述词语境向量构建所述问题文本的文本向量,包括:

15、计算每个所述词语境向量对应的分词语境在分词语境集中的逆文档频率;

16、将所述逆文档频率与所述词语境向量相乘,得到频率向量;

17、将所述频率向量进行向量串联,得到所述问题文本的文本向量。

18、可选地,所述对所述文本向量进行各向异性消歧,得到所述问题文本的目标向量,包括:

19、将所述文本向量分解为分词向量集,计算所述分词向量集对应的协方差矩阵;

20、将所述协方差矩阵转化为单位矩阵,得到单位协方差矩阵;

21、对所述单位协方差矩阵进行奇异值分解,得到分解矩阵;

22、根据所述分解矩阵对所述分词向量集进行线性变换,得到变换向量;

23、利用如下公式对所述分词向量集进行线性变换,得到变换向量:

24、

25、其中,表示分词向量集中第l个分词向量对应的变换向量,yl表示分词向量集中第l个分词向量,μ表示所述分词向量集之间的期望,λ表示所述分解矩阵中的正对角矩阵,u表示所述分解矩阵中的正交矩阵;

26、根据所述变换向量构建所述问题文本的目标向量。

27、可选地,所述根据所述目标向量对所述问题文本进行文本重构,得到所述问题文本的目标重构文本,包括:

28、利用预构建的语义编码器对所述问题文本进行语义编码,得到不同编码层的编码向量;

29、对所述编码向量进行非线性映射,得到映射编码向量;

30、将所述映射编码向量进行向量叠加,得到所述问题文本的融合语义向量;

31、对所述融合语义向量进行全连接激活计算,饿到平所述问题文本的目标重构文本。

32、可选地,所述分别构建所述答案语料与所述目标重构文本对应的字嵌入矩阵,包括:

33、对所述答案语料以及所述目标重构文本进行文本预处理,得到清洁文本;

34、对所述清洁文本进行字符切分及字符填充,得到文本字符;

35、将所述文本字符映射为字符向量,根据所述字符向量生成所述答案语料以及所述目标重构文本对应的字嵌入矩阵。

36、可选地,所述对所述字嵌入矩阵进行注意力交互,得到所述答案语料与所述目标重构文本的交互矩阵,包括:

37、根据所述字嵌入矩阵计算所述答案语料与所述目标重构文本之间的相似度矩阵;

38、分别对所述相似度矩阵进行行激活运算及列激活运算,得到激活矩阵;

39、将所述激活矩阵与所述字嵌入矩阵进行矩阵相乘,得到所述答案语料与所述目标重构文本的交互矩阵。

40、可选地,所述根据所述交互矩阵计算所述目标重构文本与所述答案语料之间的相似度,包括:

41、利用预构建的前馈神经网络对所述交互矩阵进行残差连接,得到残差特征;

42、根据所述残差特征计算所述交互矩阵的融合特征;

43、利用如下公式计算所述交互矩阵的融合特征:

44、n=[ua;ub;ua-ub;ua*ub]

45、其中,n表示融合特征,ua表示所述残差特征中答案语料对应的残差特征,ub表示所述残差特征中目标重构文本对应的残差特征,*表示向量叉乘符号;

46、对所述融合特征进行全连接,得到所述目标重构文本与所述答案语料之间的相似度。

47、可选地,所述对所述融合特征进行全连接,得到所述目标重构文本与所述答案语料之间的相似度,包括:

48、对所述融合特征进行第一全连接,得到第一全连接向量;

49、对所述第一全连接向量进行激活计算,得到激活向量;

50、对所述激活向量进行第二全连接,得到第二全本文档来自技高网...

【技术保护点】

1.一种基于大模型的智能问答方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于大模型的智能问答方法,其特征在于,所述计算所述分词语境集中每个分词语境的嵌入向量,包括:

3.如权利要求1所述的基于大模型的智能问答方法,其特征在于,所述根据所述词语境向量构建所述问题文本的文本向量,包括:

4.如权利要求1所述的基于大模型的智能问答方法,其特征在于,所述对所述文本向量进行各向异性消歧,得到所述问题文本的目标向量,包括:

5.如权利要求1所述的基于大模型的智能问答方法,其特征在于,所述根据所述目标向量对所述问题文本进行文本重构,得到所述问题文本的目标重构文本,包括:

6.如权利要求1所述的基于大模型的智能问答方法,其特征在于,所述分别构建所述答案语料与所述目标重构文本对应的字嵌入矩阵,包括:

7.如权利要求1所述的基于大模型的智能问答方法,其特征在于,所述对所述字嵌入矩阵进行注意力交互,得到所述答案语料与所述目标重构文本的交互矩阵,包括:

8.如权利要求1所述的基于大模型的智能问答方法,其特征在于,所述根据所述交互矩阵计算所述目标重构文本与所述答案语料之间的相似度,包括:

9.如权利要求8所述的基于大模型的智能问答方法,其特征在于,所述对所述融合特征进行全连接,得到所述目标重构文本与所述答案语料之间的相似度,包括:

10.一种基于大模型的智能问答系统,其特征在于,所述系统包括:

...

【技术特征摘要】

1.一种基于大模型的智能问答方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于大模型的智能问答方法,其特征在于,所述计算所述分词语境集中每个分词语境的嵌入向量,包括:

3.如权利要求1所述的基于大模型的智能问答方法,其特征在于,所述根据所述词语境向量构建所述问题文本的文本向量,包括:

4.如权利要求1所述的基于大模型的智能问答方法,其特征在于,所述对所述文本向量进行各向异性消歧,得到所述问题文本的目标向量,包括:

5.如权利要求1所述的基于大模型的智能问答方法,其特征在于,所述根据所述目标向量对所述问题文本进行文本重构,得到所述问题文本的目标重构文本,包括:

6.如权利要求1所...

【专利技术属性】
技术研发人员:邢练军李克
申请(专利权)人:深圳爱护者科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1