【技术实现步骤摘要】
本专利技术涉及双碳，尤其涉及一种基于知识图谱增强大语言模型双碳领域服务方法。
技术介绍
1、温室气体增加造成的温室效应、臭氧层空洞等一系列问题，导致气候变化在全球范围内造成了规模空前的影响。当前，全球已达成共识，积极应对气候变化，推动以co2为主的温室气体减排。目前，全球近2/3的国家明确了碳中和目标，80％的经济体承诺积极实现碳中和。
2、近年来，国内外学者在碳达峰碳中和领域知识图谱的应用方面进行了很多研究，例如基于bilstm-crf模型对碳交易三元组进行知识抽取，并提出一种面向碳交易领域的知识图谱构建方法，基于bert-crf构建碳市场的知识图谱，并使用neo4j数据库进行存储与分析，提出来一种碳市场领域的图谱构建方法。但是目前碳达峰碳中和领域的知识图谱研究还处于起步阶段，无论是碳达峰碳中和领域的知识整理，还是基于双碳业务的知识服务问答构建等应用仍需要继续发展。
3、近年来，随着大规模的语言模型不断发展，人机交互与智能化的前景正随之快速变化。openai的gpt大模型和meta的llama大模型等开创性的语言模型不断更新、超越，openai的chatgpt一经推出便受到广泛关注。2023年，gpt-4的出现再次点燃了人工智能发展的热潮。大语言模型已经成为智能问答和生成应用不可或缺的基石。基于大模型，智能问答系统能够更好地理解人类语言并生成连贯、有逻辑的回答。
4、知识图谱(knowledge graph)最早由google在2012年提出，随着人工智能和语义网的不断发展，知识图谱作为一种
5、中国专利“cn116662577a基于知识图谱的大型语言模型训练方法及装置”中所述的方法为：首先以金融历史实体和历史事件为节点、金融历史关系为边构建金融知识图谱，然后整理用于训练的金融事件，基于知识图谱导出关联事件，将事件集合转化为事件向量，构建向量矩阵，计算事件的相似度，确定推理目标事件，对数据进行处理，得到训练样本，利用所述训练样本对预训练的大语言模型进行微调，得到金融预测模型。该方法只对大型语言模型进行微调训练，但是微调后的大模型还是会出现幻觉问题，没有引入知识图谱作为知识库来增强大语言模型的领域可靠性。
6、中国专利“cn116303970a基于知识图谱的问答方法及装置”中所述的方法为：从用户的问句中提取实体，根据实体确定知识图谱的主题，根据实体确定实体提及相似度，根据主题实体、知识图谱和用户问句确定候选相似度。根据实体提及相速度和候选相似度向用户推送答案。该方法缺少了对于用户答案的完整补充与人性化设计，仅根据用户的问题匹配答案。
7、虽然大语言模型在信息检索等领域表现出色，但是直接使用大模型应用在特定的领域，还是会出现编造回答、回答错误等情况。
技术实现思路
1、本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种基于知识图谱增强大语言模型双碳领域服务方法，对大语言模型进行微调，让大模型学习领域知识，并让大语言模型根据上下文回答问题，有效利用大语言模型强大的性能，构建特定领域的知识服务模型，实现在碳达峰碳中和领域的智能化回复。
2、为解决上述技术问题，本专利技术所采取的技术方案是：
3、一种基于知识图谱增强大语言模型双碳领域服务方法，该方法基于双碳领域问答数据集，采用lora方法对大语言模型进行微调，提高模型对碳达峰碳中和领域关键词的提取能力；构建双碳知识图谱作为本地知识库为模型提供双碳领域知识，将知识作为问题的上下文，让大语言模型学习，并设计提示工程辅助模型生成回复。
4、进一步地，采用lora方法对大语言模型进行微调的具体步骤如下：
5、步骤1：对双碳领域的文献进行整理归纳，构建双碳领域的问答对；
6、步骤2：将问答对处理成符合lora微调的格式，形成双碳领域问答数据集；
7、步骤3：将双碳领域问答数据集放到大语言模型lora微调接口位置，进行大语言模型的lora微调。
8、进一步地，所述lora微调采用的方法是：在原本的预训练大模型旁增加一个新的通路，中间维度为r，通过降维矩阵a和升维矩阵b相乘来模拟本征秩；a矩阵用随机高斯分布初始化，b矩阵用0矩阵初始化，训练时只训练矩阵a、b，输出时将ba与预训练大模型原本参数进行叠加输出。
9、进一步地，对大语言模型进行微调时所构建的训练数据集包括3类，分别为实体关系抽取任务问答、命名实体识别任务问答和双碳业务知识问答，数据集参照lora微调大模型的数据格式进行构建。
10、进一步地，对大语言模型进行微调后，对碳达峰碳中和领域的知识进行整理，构建双碳知识图谱，用户输入问题后，首先由大语言模型提取关键词，然后基于关键词在双碳知识图谱进行搜索匹配，然后将搜索结果与大模型提示模板结合，作为用户问题的上文与用户问题拼接，传送给大模型，最后获取大模型的回复。
11、进一步地，所述双碳知识图谱的具体实现步骤如下：
12、步骤4：对双碳关键指南、政策、双碳领域相关论文、企业碳排放量数据材料进行梳理，构建双碳知识图谱数据集，并将该数据集传输到neo4j数据库中构建双碳知识图谱；
13、步骤5：获取用户问题，使用大语言模型对用户问题进行关键词提取；
14、步骤6：基于提取到的用户问题关键词，在双碳知识图谱中进行查询匹配，获取查询结果三元组；
15、步骤7：构建提示工程，将查询结果与大模型提示模板结合，作为用户问题的上文与用户问题拼接；
16、步骤8：将提示工程输入到lora微调后的大语言模型中，获取大语言模型的结果；
17、步骤9：对大语言模型的结果进行处理，提取其中的用户问题回复。
18、进一步地，所述步骤4中，双碳知识图谱数据集以实体1-实体2-实体关系-实体1属性-实体2属性的格式构建。
19、采用上述技术方案所产生的有益效果在于：本专利技术提供的基于知识图谱增强大语言模型双碳领域服务方法，先对大模型进行微调，提高了大模型对于领域知识的了解，同时增强了大语言模型提取关键字的能力，然后以将双碳知识图谱作为本地数据库的方式，提供关键事实知识，辅助大模型提供准确的领域回答。对大语言模型进行了两轮使用，充分利用了大模型在nlp领域的优秀能力。本专利技术构建了双碳知识图谱与双碳问答数据集，将知识图谱与大语言模型相结合，提供了碳达峰碳中和领域的知识服务，能够实现对本文档来自技高网...
【技术保护点】
1.一种基于知识图谱增强大语言模型双碳领域服务方法，其特征在于：所述方法基于双碳领域问答数据集，采用LoRA方法对大语言模型进行微调，提高模型对碳达峰碳中和领域关键词的提取能力；构建双碳知识图谱作为本地知识库为模型提供双碳领域知识，将知识作为问题的上下文，让大语言模型学习，并设计提示工程辅助模型生成回复。
2.根据权利要求1所述的基于知识图谱增强大语言模型双碳领域服务方法，其特征在于：所述采用LoRA方法对大语言模型进行微调的具体步骤如下：
3.根据权利要求2所述的基于知识图谱增强大语言模型双碳领域服务方法，其特征在于：所述LoRA微调采用的方法是：在原本的预训练大模型旁增加一个新的通路，中间维度为r，通过降维矩阵A和升维矩阵B相乘来模拟本征秩；A矩阵用随机高斯分布初始化，B矩阵用0矩阵初始化，训练时只训练矩阵A、B，输出时将BA与预训练大模型原本参数进行叠加输出。
4.根据权利要求3所述的基于知识图谱增强大语言模型双碳领域服务方法，其特征在于：所述对大语言模型进行微调时所构建的训练数据集包括3类，分别为实体关系抽取任务问答、命名实体识别任务问
5.根据权利要求1所述的基于知识图谱增强大语言模型双碳领域服务方法，其特征在于：所述对大语言模型进行微调后，对碳达峰碳中和领域的知识进行整理，构建双碳知识图谱，用户输入问题后，首先由大语言模型提取关键词，然后基于关键词在双碳知识图谱进行搜索匹配，然后将搜索结果与大模型提示模板结合，作为用户问题的上文与用户问题拼接，传送给大模型，最后获取大模型的回复。
6.根据权利要求5所述的基于知识图谱增强大语言模型双碳领域服务方法，其特征在于：所述双碳知识图谱的具体实现步骤如下：
7.根据权利要求6所述的基于知识图谱增强大语言模型双碳领域服务方法，其特征在于：所述步骤4中，双碳知识图谱数据集以实体1-实体2-实体关系-实体1属性-实体2属性的格式构建。
...【技术特征摘要】
1.一种基于知识图谱增强大语言模型双碳领域服务方法，其特征在于：所述方法基于双碳领域问答数据集，采用lora方法对大语言模型进行微调，提高模型对碳达峰碳中和领域关键词的提取能力；构建双碳知识图谱作为本地知识库为模型提供双碳领域知识，将知识作为问题的上下文，让大语言模型学习，并设计提示工程辅助模型生成回复。
2.根据权利要求1所述的基于知识图谱增强大语言模型双碳领域服务方法，其特征在于：所述采用lora方法对大语言模型进行微调的具体步骤如下：
3.根据权利要求2所述的基于知识图谱增强大语言模型双碳领域服务方法，其特征在于：所述lora微调采用的方法是：在原本的预训练大模型旁增加一个新的通路，中间维度为r，通过降维矩阵a和升维矩阵b相乘来模拟本征秩；a矩阵用随机高斯分布初始化，b矩阵用0矩阵初始化，训练时只训练矩阵a、b，输出时将ba与预训练大模型原本参数进行叠加输出。
4.根据权利要求3所述的基于知识图谱增强大语言模型双碳领域服...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。