【技术实现步骤摘要】
本专利技术涉及大模型技术，尤其涉及基于知识检索的垂类政务大模型服务方法及系统。
技术介绍
1、传统的政务服务模式存在信息获取渠道单一、服务方式呆板、用户体验不佳等问题，难以满足日益增长的个性化、多样化需求。为提升政务服务水平，亟需引入先进的人工智能技术，建立高效、准确、智能的政务问答系统，为公众提供便捷、优质的政务信息查询服务。
2、目前，常见的问答系统主要采用基于关键词匹配或者浅层语义解析的方法，通过检索问题中的关键词，在预定义的知识库中查找相关答案。这类方法虽然实现简单，但存在诸多局限性：一方面，关键词匹配缺乏对问题语义的深入理解，难以处理复杂的长尾问题；另一方面，预定义知识库的构建和维护成本高，覆盖范围有限，无法应对开放域的多样化查询。此外，传统方法生成的答案通常是简单的事实性陈述，缺乏上下文关联和逻辑推理能力，难以满足用户对答案完整性、可解释性的需求。
技术实现思路
1、本专利技术实施例提供基于知识检索的垂类政务大模型服务方法及系统，能够解决现有技术中的问题。
2、本专利技术实施例的第一方面，
3、提供基于知识检索的垂类政务大模型服务方法，包括：
4、获取待处理的政务领域的自然语言查询，通过注意力机制和双向长短期记忆网络相结合的自然语言处理模型对所述自然语言查询进行分词和语义理解，提取查询意图，根据所述查询意图确定所述自然语言查询所属的垂直领域；
5、从预先构建的所述垂直领域对应的垂直知识图谱中检索与所述查询意图相
6、将多个最相关的知识节点通过图注意力网络进行融合表示，输入预先训练好的所述垂直领域对应的政务大模型，从每个最相关的知识节点出发，结合所述垂直知识图谱构建可信度传播网络，通过设定最相关的知识节点的初始可信度，迭代计算在可信度传播网络的传播过程中各个最相关的知识节点的可信度，可信度传播网络收敛后得到每个最相关的知识节点的可信度分数，将可信度分数超过预设置信度阈值的最相关的知识节点汇总作为目标回复内容。
7、在一种可选的实施方式中，
8、获取待处理的政务领域的自然语言查询，通过注意力机制和双向长短期记忆网络相结合的自然语言处理模型对所述自然语言查询进行分词和语义理解，提取查询意图，根据所述查询意图确定所述自然语言查询所属的垂直领域包括：
9、对所述自然语言查询通过自然语言处理模型进行分词，通过双向长短期记忆网络对自然语言查询进行编码得到上、下文信息，并利用多头注意力机制动态聚合上、下文信息生成查询语义向量；
10、引入字词联合嵌入机制，将所述查询语义向量表示为字符级嵌入向量和词级嵌入向量拼接的字词联合向量，字符级嵌入向量通过前馈神经网络对查询语义向量的各字符嵌入进行融合得到，词级嵌入向量直接通过词嵌入矩阵获取；
11、构建多任务语义理解模型，以字词联合向量为输入，通过共享的双向长短期记忆网络的编码层对字词联合向量进行上、下文表示学习，并行设置三个任务：意图识别任务，通过注意力机制和全连接网络对字词联合向量对应的意图类别进行分类；槽位填充任务，采用序列标注模型对字词联合向量中的关键信息槽位进行提取；命名实体识别任务，采用序列标注模型识别字词联合向量中的实体名称及其类型；
12、根据意图识别任务的意图识别结果，确定字词联合向量对应的置信度，根据置信度与政务垂直领域的对应关系，将字词联合向量对应的置信度映射到所属的垂直领域；
13、对于字词联合向量对应的置信度低于预设置信度阈值，或者存在一对多映射关系的置信度，结合槽位填充和命名实体识别的结果，确定字词联合向量对应的置信度对应的垂直领域。
14、在一种可选的实施方式中，
15、从预先构建的所述垂直领域对应的垂直知识图谱中检索与所述查询意图相关的知识节点，采用注意力机制将所述查询意图对应的查询语义表示与所述知识节点进行深度匹配，通过跳跃式知识图谱推理方式，获得top-k个与所述查询语义表示最相关的知识节点包括：
16、利用注意力机制实现查询意图与垂直知识图谱的深度匹配，将查询意图和垂直知识图谱中的知识节点进行拼接作为注意力机制的输入，通过多层感知机计算查询意图与每个知识节点的注意力分数；
17、进行跳跃式知识图谱推理，从查询意图对应的知识节点出发，通过随机游走和注意力机制相结合的方式在垂直知识图谱上探索，根据每个知识节点的注意力分数自适应地选择游走路径，生成多条与查询意图对应的推理路径；
18、计算每条推理路径与查询意图的相关性分数，对推理路径进行排序，选取相关性分数得分最高的top-k条推理路径的末端节点作为与查询意图最相关的知识节点。
19、在一种可选的实施方式中，
20、所述方法还包括：
21、将所述查询意图和所述垂直知识图谱中的知识节点进行向量化表示，通过三元组损失函数最大化所述查询意图与相关知识节点的相似度，最小化所述查询意图与无关知识节点的相似度，通过梯度下降算法更新所述查询意图和所述垂直知识图谱中的知识节点的向量化表示；
22、其中，所述三元组损失函数如下公式所示：
23、；
24、其中， l表示三元组损失， d表示训练数据集，表示查询意图 q与正例节点 n p和负例节点 n n组成的三元组， u q表示查询意图对应的向量表示， e p表示所述垂直知识图谱中的知识节点对应的向量表示，△表示预设的间隔阈值。
25、在一种可选的实施方式中，
26、将多个最相关的知识节点通过图注意力网络进行融合表示，输入预先训练好的所述垂直领域对应的政务大模型，从每个最相关的知识节点出发，结合所述垂直知识图谱构建可信度传播网络，通过设定最相关的知识节点的初始可信度，迭代计算在可信度传播网络的传播过程，收敛后得到每个最相关的知识节点的可信度分数包括：
27、通过跳跃式知识图谱推理获得与查询意图最相关的top-k个知识节点，利用图注意力网络对最相关的top-k个知识节点进行信息融合，得到综合的top-k知识节点融合表示；
28、根据综合的top-k知识节点融合表示在垂直知识图谱中的链接关系，构建可信度传播网络，设定最相关的知识节点的初始可信度，通过迭代更新每个知识节点的可信度分数，综合考虑邻居知识节点的可信度传播和知识节点的初始可信度，直至可信度传播网络达到本文档来自技高网...
【技术保护点】
1.基于知识检索的垂类政务大模型服务方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取待处理的政务领域的自然语言查询，通过注意力机制和双向长短期记忆网络相结合的自然语言处理模型对所述自然语言查询进行分词和语义理解，提取查询意图，根据所述查询意图确定所述自然语言查询所属的垂直领域包括：
3.根据权利要求1所述的方法，其特征在于，从预先构建的所述垂直领域对应的垂直知识图谱中检索与所述查询意图相关的知识节点，采用注意力机制将所述查询意图对应的查询语义表示与所述知识节点进行深度匹配，通过跳跃式知识图谱推理方式，获得top-K个与所述查询语义表示最相关的知识节点包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，将多个最相关的知识节点通过图注意力网络进行融合表示，输入预先训练好的所述垂直领域对应的政务大模型，从每个最相关的知识节点出发，结合所述垂直知识图谱构建可信度传播网络，通过设定最相关的知识节点的初始可信度，迭代计算在可信度传播网络的传播过程，收敛后得到每个最
6.根据权利要求5所述的方法，其特征在于，通过迭代的方式在可信度传播网络上更新每个节点的可信度分数：
7.基于知识检索的垂类政务大模型服务系统，用于实现前述权利要求1-6中任一项所述的方法，其特征在于，包括：
8.一种电子设备，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
...【技术特征摘要】
1.基于知识检索的垂类政务大模型服务方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取待处理的政务领域的自然语言查询，通过注意力机制和双向长短期记忆网络相结合的自然语言处理模型对所述自然语言查询进行分词和语义理解，提取查询意图，根据所述查询意图确定所述自然语言查询所属的垂直领域包括：
3.根据权利要求1所述的方法，其特征在于，从预先构建的所述垂直领域对应的垂直知识图谱中检索与所述查询意图相关的知识节点，采用注意力机制将所述查询意图对应的查询语义表示与所述知识节点进行深度匹配，通过跳跃式知识图谱推理方式，获得top-k个与所述查询语义表示最相关的知识节点包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的方法，其特征...
【专利技术属性】
技术研发人员：袁海杰，
申请(专利权)人：小哆智能科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。