一种结合知识图谱的大模型微调训练方法技术

技术编号:41304834 阅读:24 留言:0更新日期:2024-05-13 14:50
本发明专利技术提供的一种结合知识图谱的大模型微调训练方法包括:构建银行业务报告指标数据知识图谱;将撰写流程模板转化为对应的初始化多步提示调;将初始化多步提示调与知识图谱查询出的报告所需相关指标及数据构建终版多步提示词;基于用户报告撰写的报告属性,构建超长文本报告有监督训练集;基于构建的有监督训练集进行本地私有化微调训练;本地私有化部署并提供大模型API接口服务;生成超长文本业务报告。在本地服务器上部署并将私有化大语言模型API服务提供给银行业务人员,实现在用户报告撰写的新请求与对应的终版多步提示词结合输入下,进行端到端的超长文本业务报告精准生成。

【技术实现步骤摘要】

本专利技术涉及银行业的数字化转型领域,尤其涉及一种结合知识图谱的大模型微调训练方法


技术介绍

1、随着人工智能技术的发展,银行业的数字化转型中很多业务开始积极拥抱人工智能技术,相关业务的报告如财报、年度报告摘要、行业研报等撰写一直都是专业人工撰写、机器书写后人工拼接等落后方式,非常迫切需要引入人工智能技术替代,进而解放人力脑力,如今生成式大语言模型技术逐步兴起,大型预训练语言模型在各种任务中表现出了强大的性能,非常适合银行业务报告的生成。但目前效果比较好的大语言模型如chatgpt、claude等皆为闭源模型,不适合银行业安全合规私有化部署的要求,而llama、palm、bloom等开源模型都为英文大模型,chatglm、baichuan系列虽为中文大语言模型,但都为通用性大模型缺乏银行业领域知识理解与分析能力,文本生成长度仅为几千token、且生成容易存在幻觉问题而信息不准确,无法满足银行业务中动辄几万字超长文本报告的生成及数据准确性要求。因此,提出微调训练一种应用于银行业务中生成准确的超长文本报告的开源大语言模型方法显得尤为重要。

2、现本文档来自技高网...

【技术保护点】

1.一种结合知识图谱的大模型微调训练方法,其特征在于,所述训练方法包括:

2.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法,其特征在于,所述步骤S1:构建银行业务报告指标数据知识图谱具体包括:基于银行各业务线数据构建银行业务报告指标数据知识图谱。

3.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法,其特征在于,所述步骤S2:将撰写流程模板转化为对应的初始化多步提示调具体包括:银行业务专家梳理的各业务超长文本报告撰写流程模板转化为对应的初始化多步提示调。

4.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法,其特征在于,所述...

【技术特征摘要】

1.一种结合知识图谱的大模型微调训练方法,其特征在于,所述训练方法包括:

2.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法,其特征在于,所述步骤s1:构建银行业务报告指标数据知识图谱具体包括:基于银行各业务线数据构建银行业务报告指标数据知识图谱。

3.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法,其特征在于,所述步骤s2:将撰写流程模板转化为对应的初始化多步提示调具体包括:银行业务专家梳理的各业务超长文本报告撰写流程模板转化为对应的初始化多步提示调。

4.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法,其特征在于,所述报告属性具体包括:具体请求、终版多步提示词、对应的现有业务超长文本报告。

5.根据权利要求1所述的一种结合知识图谱的大模型微调...

【专利技术属性】
技术研发人员:徐英杰刘小成
申请(专利权)人:北银金融科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1