基于大模型的垂直领域数据整合方法技术

本发明专利技术提供一种基于大模型的垂直领域数据整合方法

【技术实现步骤摘要】
基于大模型的垂直领域数据整合方法、装置、设备及介质


[0001]本专利技术涉及数据处理
，具体涉及一种基于大模型的垂直领域数据整合方法
、
装置
、
设备及介质
。

技术介绍

[0002]垂直领域大模型是指在特定的领域或行业中经过训练和优化的大型语言模型，该模型可以用于解决该领域内的各种问题，具有较高的准确性和效率
。
与通用语言模型相比，垂直领域大模型更专注于某个特定领域的知识和技能，具备更高的领域专业性和实用性
。
[0003]目前，将垂直领域与大模型结合起来的方法有以下几种：（1）预训练
‑
微调：这是目前应用最广泛的方法之一
。
在这种方法中，模型首先在大规模的通用语料库上进行预训练，以学习语言的一般特征和结构
。
然后，通过在特定领域的数据上进行微调，使模型适应该领域的特定任务
。
（2）数据增强：数据增强是通过对原始数据进行一系列随机变换和处理来生成新的训练样本的技术
。
在垂直领域的大型模型中，可以使用各种数据增强技术来扩充训练数据集，以提高模型的泛化能力和鲁棒性
。
[0004]而预训练
‑
微调方法在大多数情况下是无监督或弱监督的，模型主要从大规模通用数据中学习
。
因此，模型可能缺乏特定领域的专业知识和细节，这限制了模型在垂直领域中的准确性和实用性
。
另外，不同领域之间的知识迁移可能受到数据分布的差异
、
领域特定的语言和规则等因素的影响，使模型在特定领域的表现仍然有限
。
[0005]另一方面，数据增强方法可能导致模型对于某些特定的数据变化过于敏感，从而增加了过拟合的风险
。
如果增强的数据过于接近训练集中的某些样本，模型可能会在处理相似的数据时表现良好，但在面对新的
、
真实场景中的数据时表现较差
。

技术实现思路

[0006]有鉴于此，本申请实施例提供一种基于大模型的垂直领域数据整合方法
、
装置
、
设备及介质，以实现垂直领域知识
、
数据和逻辑的高效整合
。
[0007]本申请实施例提供以下技术方案：一种基于大模型的垂直领域数据整合方法，包括：通过每个垂直领域对应的垂直领域代理接收用户输入的查询语句，其中，不同垂直领域分别设置有对应的垂直领域代理；调用预先已训练的
intent
大模型，通过所述
intent
大模型识别所述查询语句的查询意图；在所述垂直领域代理中，根据所述查询意图，调用预设的外部程序接口提取所述查询意图对应的实时数据，和
/
或，调用预先已训练的
extraction
大模型抽取所述查询意图对应的垂直领域知识；调用预先已训练的
digest
大模型，将获得的所述实时数据和
/
或所述垂直领域知识整合为所述查询语句的应答数据
。
[0008]根据本申请一种实施例，在所述垂直领域代理中，根据所述查询意图，调用预设的外部程序接口提取所述查询意图对应的实时数据，和
/
或，调用预先已训练的
extraction
大模型抽取所述查询意图对应的垂直领域知识，包括：根据所述垂直领域包括的不同知识体系，在所述垂直领域代理中，为每个所述知识体系设置对应的知识体系
DomainAgent
；通过所述
intent
大模型确定所述查询意图对应的知识体系
DomainAgent
；在确定的知识体系
DomainAgent
中，调用所述外部程序接口提取所述查询意图对应的实时数据，和
/
或，调用所述
extraction
大模型抽取所述查询意图对应的垂直领域知识
。
[0009]根据本申请一种实施例，在确定的知识体系
DomainAgent
中，调用所述外部程序接口提取所述查询意图对应的实时数据，和
/
或，调用所述
extraction
大模型抽取所述查询意图对应的垂直领域知识，包括：根据不同知识体系包括的不同知识属性，在每个所述知识体系
DomainAgent
中，为每个知识属性设置对应的子知识体系
DomainAgent
；通过所述
intent
大模型确定所述查询意图对应的知识体系
DomainAgent
以及在该知识体系
DomainAgent
中对应的子知识体系
DomainAgent
；在确定的子知识体系
DomainAgent
中，调用所述外部程序接口提取所述查询意图对应的实时数据，和
/
或，调用所述
extraction
大模型抽取所述查询意图对应的垂直领域知识
。
[0010]根据本申请一种实施例，还包括：在每个所述知识体系
DomainAgent
和每个所述子知识体系
DomainAgent
中均分别设置有数据分析端口
、
知识抽取端口以及逻辑整合端口，以通过所述数据分析端口调用预设的外部程序接口，提取所述查询意图对应的实时数据，通过所述知识抽取端口调用预先已训练的
extraction
大模型，抽取所述查询意图对应的垂直领域知识获取所述垂直领域知识，通过所述逻辑整合端口调用预先已训练的
digest
大模型，将获得的所述实时数据和
/
或所述垂直领域知识整合为所述查询语句的应答数据
。
[0011]根据本申请一种实施例，通过所述
intent
大模型识别所述查询语句的查询意图，包括：通过所述
intent
大模型识别所述查询语句的查询意图的类型，其中，所述查询意图的类型包括实时数据查询和垂直领域知识查询
。
[0012]根据本申请一种实施例，还包括：根据接收到的模型训练指令，调用训练数据，对待训练
intent
大模型
、
待训练
extraction
大模型
、
待训练
digest
大模型分别进行训练，分别得到用于识别查询意图的所述
intent
大模型
、
用于抽取垂直领域知识的所述
extraction
大模型以及用于数据整合的所述
digest
大模型
。
[0013]根据本申请一种实施例，所述待训练
intent
大模型
、
...

【技术保护点】

【技术特征摘要】
1.
一种基于大模型的垂直领域数据整合方法，其特征在于，包括：通过每个垂直领域对应的垂直领域代理接收用户输入的查询语句，其中，不同垂直领域分别设置有对应的垂直领域代理；调用预先已训练的
intent
大模型，通过所述
intent
大模型识别所述查询语句的查询意图；在所述垂直领域代理中，根据所述查询意图，调用预设的外部程序接口提取所述查询意图对应的实时数据，和
/
或，调用预先已训练的
extraction
大模型抽取所述查询意图对应的垂直领域知识；调用预先已训练的
digest
大模型，将获得的所述实时数据和
/
或所述垂直领域知识整合为所述查询语句的应答数据
。2.
根据权利要求1所述的基于大模型的垂直领域数据整合方法，其特征在于，在所述垂直领域代理中，根据所述查询意图，调用预设的外部程序接口提取所述查询意图对应的实时数据，和
/
或，调用预先已训练的
extraction
大模型抽取所述查询意图对应的垂直领域知识，包括：根据所述垂直领域包括的不同知识体系，在所述垂直领域代理中，为每个所述知识体系设置对应的知识体系
DomainAgent
；通过所述
intent
大模型确定所述查询意图对应的知识体系
DomainAgent
；在确定的知识体系
DomainAgent
中，调用所述外部程序接口提取所述查询意图对应的实时数据，和
/
或，调用所述
extraction
大模型抽取所述查询意图对应的垂直领域知识
。3.
根据权利要求2所述的基于大模型的垂直领域数据整合方法，其特征在于，在确定的知识体系
DomainAgent
中，调用所述外部程序接口提取所述查询意图对应的实时数据，和
/
或，调用所述
extraction
大模型抽取所述查询意图对应的垂直领域知识，包括：根据不同知识体系包括的不同知识属性，在每个所述知识体系
DomainAgent
中，为每个知识属性设置对应的子知识体系
DomainAgent
；通过所述
intent
大模型确定所述查询意图对应的知识体系
DomainAgent
以及在该知识体系
DomainAgent
中对应的子知识体系
DomainAgent
；在确定的子知识体系
DomainAgent
中，调用所述外部程序接口提取所述查询意图对应的实时数据，和
/
或，调用所述
extraction
大模型抽取所述查询意图对应的垂直领域知识
。4.
根据权利要求3所述的基于大模型的垂直领域数据整合方法，其特征在于，还包括：在每个所述知识体系
DomainAgent
和每个所述子知识体系
DomainAgent
中均分别设置有数据分析端口
、
知识抽取端口以及逻辑整合端口，以通过所述数据分析端口调用预设的...

【专利技术属性】
技术研发人员：王伟，贾惠迪，邹克旭，郭东宸，常鹏慧，孙悦丽，朱珊娴，田启明，
申请(专利权)人：北京英视睿达科技股份有限公司，
类型：发明
国别省市：