电网大语言模型知识问答可信度评价方法技术

本发明专利技术涉及一种基于知识图谱的电网大语言模型知识问答可信度评价方法

【技术实现步骤摘要】
电网大语言模型知识问答可信度评价方法、存储介质、设备


[0001]本专利技术涉及人工智能
，尤其是涉及一种电网大语言模型知识问答可信度评价方法
、
存储介质
、
设备
。

技术介绍

[0002]在电力领域，专业术语非常繁琐和复杂，对于非专业人士来说很难理解
。
然而，随着人工智能技术的发展，大语言模型的出现为解决这一问题提供了新的技术方案
。
大语言模型是一种基于深度学习技术的语言模型，它可以通过对大量电力领域专业文献和数据的学习，快速理解和解释电力领域的专业术语，从而应用于问答系统等领域
。
[0003]但现有的大语言模型仍然存在结果不可靠的问题，亟需一种能够对大语言模型的输出结果进行评价并有助力提高大语言模型应用质量的方法
。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种可靠性高的基于知识图谱的电网大语言模型知识问答可信度评价方法
、
存储介质
、
设备
。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]一种基于知识图谱的电网大语言模型知识问答可信度评价方法，包括以下步骤：
[0007]基于某个电力领域问题获取电网大语言模型的答案，同时基于所述电力领域问题生成相应的知识图谱；
[0008]抽取所述答案中的实体关系，将该实体关系与知识图谱中的实体关系进行比对，计算所述答案与知识图谱的相似度；
[0009]基于所述相似度生成可信度评分
。
[0010]进一步地，所述相似度为余弦相似度
。
[0011]进一步地，所述相似度采用皮尔逊相关系数计算获得
。
[0012]进一步地，所述电网大语言模型以
ChatGLM
‑
6b
为基础构建
。
[0013]进一步地，所述生成相应的知识图谱具体为：
[0014]提取所述电力领域问题中的关键词，将所述关键词与本地知识库进行匹配，获取需要进行关系抽取的文档；
[0015]对所述文档进行分句处理，并进行表征主谓宾短语的三元组抽取；
[0016]将抽取到的三元组结果存储于一列表中；
[0017]基于
Neo4j
数据库，将所述列表绘制获得具有节点和关系的知识图谱
。
[0018]进一步地，进行所述分句处理时，标记切分标识，所述切分标识包括冒号
、
分号和
/
或感叹号
。
[0019]进一步地，所述三元组抽取利用语义角色标注信息进行或利用依存句法分析结果进行
。
[0020]进一步地，该方法还包括：
[0021]进一步地，基于所述可信度评分对多个答案进行排序和过滤
。
[0022]本专利技术提供一种基于知识图谱的电网大语言模型知识问答可信度评价设备，包括存储器
、
处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上所述的基于知识图谱的电网大语言模型知识问答可信度评价方法
。
[0023]本专利技术提供一种存储介质，其上存储有程序，所述程序被执行时实现如上所述的基于知识图谱的电网大语言模型知识问答可信度评价方法
。
[0024]与现有技术相比，本专利技术具有以下有益效果：
[0025]1、
本专利技术通过将知识图谱与大型语言模型相结合，将大型语言模型获得的实体关系与知识图谱中的实体关系进行比对，能够有效地评价知识问答的准确性和可信度，不仅可以帮助用户更快速地获取所需信息，还可以减少用户在获取信息过程中的误解和错误
。
[0026]2、
本专利技术可基于获取的可信度评分对多个答案进行排序和过滤，进而提升大语言模型回答的质量
。
附图说明
[0027]图1为本专利技术的流程示意图；
[0028]图2为本专利技术知识图谱的生成过程示意图；
[0029]图3为实施例中电网大语言模型对电力领域知识问答结果图；
[0030]图4为实施例中抽取回答中的实体关系图；
[0031]图5为实施例中构建的知识图谱结果图；
[0032]图6为实施例中抽取的知识图谱的实体关系图
。
具体实施方式
[0033]下面结合附图和具体实施例对本专利技术进行详细说明
。
本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例
。
[0034]知识图谱是一种基于语义网络的知识表示模型，它可以将各种不同的知识点以及它们之间的关系进行统一的表示和管理
。
知识图谱的出现是为了解决传统搜索引擎的局限性，即无法理解查询意图和上下文，无法进行精准的语义匹配
。
目前的知识图谱作用非常广泛，在搜索引擎
、
问答系统
、
智能推荐
、
智能决策
、
数据分析
、
医疗健康等方面都有广泛的应用
。
本专利技术即基于知识图谱实现
。
[0035]实施例1[0036]如图1所示，本实施例提供一种基于知识图谱的电网大语言模型知识问答可信度评价方法，包括以下步骤：基于某个电力领域问题获取电网大语言模型的答案，同时基于电力领域问题生成相应的知识图谱；抽取答案中的实体关系，将该实体关系与知识图谱中的实体关系进行比对，计算答案与知识图谱的相似度；基于相似度生成可信度评分
。
上述方法通过将电网大语言模型与知识图谱相结合，实现对电力领域的知识问答的可信度评价，从而提高电力领域知识问答的准确性和可靠性
。
[0037]在本实施方式中，相似度为余弦相似度，使用的计算公式为：
[0038][0039]在优选的实施方式中，电网大语言模型以
ChatGLM
‑
6b
为基础构建，并基于历史电网领域知识数据训练实现微调后进行后续知识问答的应用
。
[0040]如图2所示，生成相应的知识图谱具体为：
[0041]a)
提取电力领域问题中的关键词，将关键词与本地知识库进行匹配，获取需要进行关系抽取的文档
。
[0042]b)
对文档进行分句处理，并进行表征主谓宾短语的三元组抽取
。
[0043]具体地，分句处理主要是切分长句，并对冒号
、
分号
、
感叹号等做切分标识
。
[0044]三元组抽取利用语义角色标注信息进行或利用依存句法分析结果进行
。
首先利用语义角色标注信息进行主谓宾短语抽取，如果抽取到了三元组，则将其添本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于知识图谱的电网大语言模型知识问答可信度评价方法，其特征在于，包括以下步骤：基于某个电力领域问题获取电网大语言模型的答案，同时基于所述电力领域问题生成相应的知识图谱；抽取所述答案中的实体关系，将该实体关系与知识图谱中的实体关系进行比对，计算所述答案与知识图谱的相似度；基于所述相似度生成可信度评分
。2.
根据权利要求1所述的基于知识图谱的电网大语言模型知识问答可信度评价方法，其特征在于，所述相似度为余弦相似度
。3.
根据权利要求1所述的基于知识图谱的电网大语言模型知识问答可信度评价方法，其特征在于，所述相似度采用皮尔逊相关系数计算获得
。4.
根据权利要求1所述的基于知识图谱的电网大语言模型知识问答可信度评价方法，其特征在于，所述电网大语言模型以
ChatGLM
‑
6b
为基础构建
。5.
根据权利要求1所述的基于知识图谱的电网大语言模型知识问答可信度评价方法，其特征在于，所述生成相应的知识图谱具体为：提取所述电力领域问题中的关键词，将所述关键词与本地知识库进行匹配，获取需要进行关系抽取的文档；对所述文档进行分句处理，并进行表征主谓宾短语的三元组抽取；将抽取到的三元组结果存储于一列表中；基于<...

【专利技术属性】
技术研发人员：王琛，齐晓曼，罗裬，李文清，刘恋，赵琪，唐雪嵩，张钰笛，宋佳乐，
申请(专利权)人：华东电力试验研究院有限公司东华大学，
类型：发明
国别省市：