基于制造技术

本申请公开了一种基于

【技术实现步骤摘要】
基于LLaMA的财税问答模型构建方法、装置、设备及介质


[0001]本专利技术涉及模型训练领域，特别涉及一种基于
LLaMA
的财税问答模型构建方法
、
装置
、
设备及介质
。

技术介绍

[0002]近年来，自然语言处理技术的不断进步为问答机器人提供了更多的可能
。
其中，最近出现的
ChatGPT(Chat Generative Pre
‑
trained Transformer)
模型基于深度学习技术构建一个语言大模型，能够实现自然语言的生成和理解，具备高度的语义理解能力
。
通过调用
ChatGPT
模型的接口，我们可以将其集成到问答机器人中，让其代替人工回答用户的问题
。
相较于传统的基于规则或模板匹配的问答机器人，
ChatGPT
能够更加灵活
、
智能地处理用户的问题，提高了问答机器人的自然度和准确度
。
[0003]现有技术中，基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
LLaMA
的财税问答模型构建方法，其特征在于，包括：通过低阶自适应技术利用预设中文训练集对预设
LLaMA
‑
7B
模型进行微调，以得到通用中文语言大模型；获取预设财税数据，并基于预设过滤规则对所述财税数据进行数据过滤，以得到过滤后财税数据；对过滤后财税数据进行分词处理，以将所述过滤后财税数据切分为若干分词结果序列，并基于所述分词结果序列创建中文财税训练集；基于所述中文财税训练集对所述通用中文语言大模型进行训练，以得到基于
LLaMA
的目标财税问答模型
。2.
根据权利要求1所述的基于
LLaMA
的财税问答模型构建方法，其特征在于，所述通过低阶自适应技术利用预设中文训练集对预设
LLaMA
‑
7B
模型进行微调，以得到通用中文语言大模型之前，还包括：提取预设开源数据集中的中文数据，并将所述中文数据输入至生成型预训练变换模型进行训练，并基于训练后中文数据生成预设中文训练集
。3.
根据权利要求1所述的基于
LLaMA
的财税问答模型构建方法，其特征在于，所述通过低阶自适应技术利用预设中文训练集对预设
LLaMA
‑
7B
模型进行微调，以得到通用中文语言大模型，包括：基于低阶自适应技术冻结所述预设
LLaMA
‑
7B
模型中的模型参数，以得到冻结后
LLaMA
‑
7B
模型；为所述预设
LLaMA
‑
7B
模型添加目标网络层，并将所述预设中文训练集作为所述目标网络层的目标网络层参数，以利用所述目标网络层参数对所述冻结后
LLaMA
‑
7B
模型进行训练，以得到通用中文语言大模型
。4.
根据权利要求1所述的基于
LLaMA
的财税问答模型构建方法，其特征在于，所述获取预设财税数据，并基于预设过滤规则对所述财税数据进行数据过滤，以得到过滤后财税数据，包括：基于网络爬虫和
/
或预设财税数据库获取预设财税数据；剔除所述预设财税数据中的超文本标记语言标签
、
图片数据以及重复数据，以得到剔除后财税数据；对所述剔除后财税数据进行数据脱敏操作，以得到过滤后财税数据
。5.
根据权利要求4所述的基于
LLaMA
的财税问答模型构建方法，其特征在于，所述对所述剔除后财税数据进行数据脱敏操作，以得到过滤后财税数据，包括：确定所述剔除后财税数据中的身份信息数据，并利...

【专利技术属性】
技术研发人员：施建生，王唯炜，徐煌，刘子星，沈懿忱，
申请(专利权)人：税友软件集团股份有限公司，
类型：发明
国别省市：