基于预训练大语言模型的知识图谱构建方法、装置制造方法及图纸

技术编号:40940496 阅读:14 留言:0更新日期:2024-04-18 14:58
本申请公开了一种基于预训练大语言模型的知识图谱构建方法、装置,其中所述方法包括获取待处理数据;通过预训练大语言模型将所述待处理数据中的非结构化数据经过处理得到模型输出结果;根据所述模型输出结果,构建知识图谱。通过本申请实现了借助预训练大语言模型,可以在金融类文本数据中进行多项任务的处理,实现知识图谱的构建。本申请可用于金融领域的非结构化数据的处理,并可建立知识图谱。

【技术实现步骤摘要】

本申请涉及预训练大预言模型,尤其涉及一种基于预训练大语言模型的知识图谱构建方法、装置


技术介绍

1、金融行业涉及各式业务,需要处理的数据种类也较为繁杂,如何处理并利用多种格式的海量数据,一直是金融行业的一个传统难题。

2、知识图谱系统通过实体关系搭建以及图计算,为海量数据的处理和应用提供了实用有效的解决方案。

3、对结合自然语言处理的知识图谱系统进行调查发现,现有的结合自然语言处理技术的知识图谱系统,在处理非结构化数据时,往往任务较为单一,集中于命名体识别,没有结合其他类型任务拓展自然语言处理能力,此外也没有设计辅助用户构建图谱的智能化能力。


技术实现思路

1、本申请实施例提供了一种基于预训练大语言模型的知识图谱构建方法、装置,以通过预训练大语言模型实现对金融领域相关数据的优化处理,并建立出知识图谱。

2、本申请实施例采用下述技术方案:

3、第一方面,本申请实施例提供一种基于预训练大语言模型的知识图谱构建方法,其中,所述方法包括:

<p>4、获取待处理数本文档来自技高网...

【技术保护点】

1.一种基于预训练大语言模型的知识图谱构建方法,其中,所述方法包括:

2.如权利要求1所述方法,其中,所述预训练大语言模型是基于涵盖全量业务逻辑的相关领域数据预训练得到的,所述预训练大语言模型用以执行多种自然语言处理任务,所述自然语言处理任务至少包括如下之一:命名实体识别、文本分类、实体关系识别,所述根据所述模型输出结果,构建知识图谱,包括:

3.如权利要求2所述方法,其中,所述预训练大语言模型是经过微调后得到的。

4.如权利要求3所述方法,其中,所述预训练大语言模型采用LLaMA,所述微调包括LoRA微调方法。

5.如权利要求1所述方法,...

【技术特征摘要】

1.一种基于预训练大语言模型的知识图谱构建方法,其中,所述方法包括:

2.如权利要求1所述方法,其中,所述预训练大语言模型是基于涵盖全量业务逻辑的相关领域数据预训练得到的,所述预训练大语言模型用以执行多种自然语言处理任务,所述自然语言处理任务至少包括如下之一:命名实体识别、文本分类、实体关系识别,所述根据所述模型输出结果,构建知识图谱,包括:

3.如权利要求2所述方法,其中,所述预训练大语言模型是经过微调后得到的。

4.如权利要求3所述方法,其中,所述预训练大语言模型采用llama,所述微调包括lora微调方法。

5.如权利要求1所述方法,其中...

【专利技术属性】
技术研发人员:汪航陆俊于明涵侯君达马帅殷建杰陈鹏刘蕤张瑾瑜
申请(专利权)人:中国邮政储蓄银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1