【技术实现步骤摘要】
本专利技术涉及银行业的数字化转型领域，尤其涉及一种结合知识图谱的大模型微调训练方法。
技术介绍
1、随着人工智能技术的发展，银行业的数字化转型中很多业务开始积极拥抱人工智能技术，相关业务的报告如财报、年度报告摘要、行业研报等撰写一直都是专业人工撰写、机器书写后人工拼接等落后方式，非常迫切需要引入人工智能技术替代，进而解放人力脑力，如今生成式大语言模型技术逐步兴起，大型预训练语言模型在各种任务中表现出了强大的性能，非常适合银行业务报告的生成。但目前效果比较好的大语言模型如chatgpt、claude等皆为闭源模型，不适合银行业安全合规私有化部署的要求，而llama、palm、bloom等开源模型都为英文大模型，chatglm、baichuan系列虽为中文大语言模型，但都为通用性大模型缺乏银行业领域知识理解与分析能力，文本生成长度仅为几千token、且生成容易存在幻觉问题而信息不准确，无法满足银行业务中动辄几万字超长文本报告的生成及数据准确性要求。因此，提出微调训练一种应用于银行业务中生成准确的超长文本报告的开源大语言模型方法显得尤为重要。
2、现在有技术方案有：
3、1.专业人工撰写：依赖银行业务专家对各个维度数据分析、指标计算、行业经验判断，综合书写财报、年度报告摘要、行业研报等；
4、2.研报类爬虫：依赖对各个银行业等公开网站，分析师写出爬虫获取发表的研报；
5、3.机器辅助撰写：
6、(1)基于预设问题和相关银行业知识库，判断问题与知识库文章各个段落的匹配度，从知识
7、(2)基于闭源的大语言模型服务如chatgpt、claude等，按提示要求直接生成段落并人工拼接而成。
8、专业人工撰写的缺点是存在较大程度依靠人力，对银行业务分析师搜集信息能力和对行业理解有较高要求，对于全行业和各个维度信息判断经验要求较高；
9、爬虫技术的缺点是无法真正判断分析报告价值，仅作为知识的搬运工，对于部分付费财报、年度报告摘要、行业研报等报告，盲目爬取会有相关法律风险。
10、机器辅助撰写：
11、基于预设问题和相关银行业知识库的缺点：由于需要构建银行业的知识库和问答对，往往需要耗费大量人力物力去建设相关知识库和问答对，另外知识库的形式泛化能力较差，滞后性较大，且匹配的形式对问答对和知识库的匹配精准性技术要求较高，且生成话术生硬，偏程式化表达。
12、基于闭源的大语言模型服务按提示要求直接生成段落并人工拼接而成的方式缺点：属于通用大模型缺乏银行业务知识训练，对银行业务理解与分析生成能力较差，且大模型最大的短板在于无法提供精准的数据，容易出现幻觉问题，针对银行业务中的财报、研报等超长文本报告，生成长度有限，且上传数据到第三方大模型服务不符合银行的数据保密与合规安全要求。
技术实现思路
1、鉴于上述问题，提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种结合知识图谱的大模型微调训练方法。
2、根据本专利技术的一个方面，提供了一种结合知识图谱的大模型微调训练方法，所述训练方法包括：
3、步骤s1：构建银行业务报告指标数据知识图谱；
4、步骤s2：将撰写流程模板转化为对应的初始化多步提示调；
5、步骤s3：将初始化多步提示调与知识图谱查询出的报告所需相关指标及数据构建终版多步提示词；
6、步骤s4：基于用户报告撰写的报告属性，构建超长文本报告有监督训练集；
7、步骤s5：基于构建的有监督训练集进行本地私有化微调训练；
8、步骤s6：本地私有化部署并提供大模型api接口服务；
9、步骤s7：生成超长文本业务报告。
10、可选的，所述步骤s1：构建银行业务报告指标数据知识图谱具体包括：基于银行各业务线数据构建银行业务报告指标数据知识图谱。
11、可选的，所述步骤s2：将撰写流程模板转化为对应的初始化多步提示调具体包括：银行业务专家梳理的各业务超长文本报告撰写流程模板转化为对应的初始化多步提示调。
12、可选的，所述报告属性具体包括：具体请求、终版多步提示词、对应的现有业务超长文本报告。
13、可选的，所述步骤s5：基于构建的有监督训练集进行本地私有化微调训练具体包括：基于构建的有监督训练集与baichuan2-7b-base大语言模型，利用长文本微调方法longlora进行本地私有化微调训练。
14、可选的，所述步骤s6：本地私有化部署并提供大模型api接口服务具体包括：合并训练收敛后的longlora模型权重到原始baichuan2-7b-base模型，本地私有化部署并提供大模型api接口服务。
15、可选的，所述步骤s7：生成超长文本业务报告具体包括：拼接用户报告撰写新请求与对应构建的终版多步提示词通过大模型api接口服务端到端生成超长文本业务报告。
16、本专利技术提供的一种结合知识图谱的大模型微调训练方法，所述训练方法包括：步骤s1：构建银行业务报告指标数据知识图谱；步骤s2：将撰写流程模板转化为对应的初始化多步提示调；步骤s3：将初始化多步提示调与知识图谱查询出的报告所需相关指标及数据构建终版多步提示词；步骤s4：基于用户报告撰写的报告属性，构建超长文本报告有监督训练集；步骤s5：基于构建的有监督训练集进行本地私有化微调训练；步骤s6：本地私有化部署并提供大模型api接口服务；步骤s7：生成超长文本业务报告。在本地服务器上部署并将私有化大语言模型api服务提供给银行业务人员，实现在用户报告撰写的新请求与对应的终版多步提示词结合输入下，进行端到端的超长文本业务报告精准生成。
17、上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
本文档来自技高网...【技术保护点】
1.一种结合知识图谱的大模型微调训练方法，其特征在于，所述训练方法包括：
2.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法，其特征在于，所述步骤S1：构建银行业务报告指标数据知识图谱具体包括：基于银行各业务线数据构建银行业务报告指标数据知识图谱。
3.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法，其特征在于，所述步骤S2：将撰写流程模板转化为对应的初始化多步提示调具体包括：银行业务专家梳理的各业务超长文本报告撰写流程模板转化为对应的初始化多步提示调。
4.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法，其特征在于，所述报告属性具体包括：具体请求、终版多步提示词、对应的现有业务超长文本报告。
5.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法，其特征在于，所述步骤S5：基于构建的有监督训练集进行本地私有化微调训练具体包括：基于构建的有监督训练集与Baichuan2-7B-Base大语言模型，利用长文本微调方法LongLoRA进行本地私有化微调训练。
6.根据权利要求1所述的一种结
7.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法，其特征在于，所述步骤S7：生成超长文本业务报告具体包括：拼接用户报告撰写新请求与对应构建的终版多步提示词通过大模型API接口服务端到端生成超长文本业务报告。
...【技术特征摘要】
1.一种结合知识图谱的大模型微调训练方法，其特征在于，所述训练方法包括：
2.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法，其特征在于，所述步骤s1：构建银行业务报告指标数据知识图谱具体包括：基于银行各业务线数据构建银行业务报告指标数据知识图谱。
3.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法，其特征在于，所述步骤s2：将撰写流程模板转化为对应的初始化多步提示调具体包括：银行业务专家梳理的各业务超长文本报告撰写流程模板转化为对应的初始化多步提示调。
4.根据权利要求1所述的一种结合知识图谱的大模型微调训练方法，其特征在于，所述报告属性具体包括：具体请求、终版多步提示词、对应的现有业务超长文本报告。
5.根据权利要求1所述的一种结合知识图谱的大模型微调...
【专利技术属性】
技术研发人员：徐英杰，刘小成，
申请(专利权)人：北银金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。