大模型数据保护方法、系统、设备、存储介质及程序产品技术方案

本发明专利技术公开了一种大模型数据保护方法、系统、设备、存储介质及程序产品，其中方法包括：将对大模型进行特征提取得到的第一适配器和第二适配器发送至第二节点，大模型包括第一适配器、主模型和第二适配器；将接收第二节点发送的第一表征数据，输入至大模型进行模型训练，输出得到第二表征数据，将第二表征数据发送至第二节点，第一表征数据为第二节点依据第二适配器和样本业务数据特征进行处理获得；接收第二节点发送的目标梯度值，依据目标梯度值对大模型进行调整，直至大模型调整完成，目标梯度值为第二节点依据第一适配器、第二表征数据和业务标签确定。本发明专利技术实现了在不损害大模型拥有方的模型知识产权的同时又能保障模型需求方的数据隐私。

【技术实现步骤摘要】

本专利技术涉及模型数据处理，尤其涉及一种大模型数据保护方法、系统、设备、存储介质及程序产品。

技术介绍

1、大型基础模型(以下简称大模型，如gpt-2-xl和opt-1.3b等语言模型)的诞生，带来了技术的变革，也给各行各业带来了机遇。然而，训练大模型成本高昂，绝大多数企业都无法承担训练一个完整的大模型的成本。

2、目前是大模型拥有方提供通用大模型给到对大模型有需求的企业，这些企业利用各自领域的隐私数据对大模型进行微调，从而降低企业使用大模型的成本。但是由于大模型通常需要巨大的算力和数据，训练成本高，因此训练后的大模型一般是专有和不开源的。若大模型拥有方将大模型提供给对大模型有需求的企业进行微调，容易损害大模型拥有方的模型知识产权。若给对大模型有需求的企业将领域的隐私数据发送给大模型拥有方进行微调，又容易造成隐私数据泄露。因此如何在不损害大模型拥有方的模型知识产权的同时又能保障模型需求方(如对大模型有需求的企业)的数据隐私成为目前急需解决的技术问题。

技术实现思路

1、本专利技术的主要目的在于提供本文档来自技高网...

【技术保护点】

1.一种大模型数据保护方法，其特征在于，所述大模型数据保护方法，应用于与第二节点连接的第一节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，包括以下步骤：

2.如权利要求1所述的大模型数据保护方法，其特征在于，所述依据所述目标梯度值对所述大模型进行调整，直至所述大模型调整完成的步骤之后，包括：

3.如权利要求1所述的大模型数据保护方法，其特征在于，所述将所述第一表征数据输入至所述大模型进行模型训练，输出得到第二表征数据的步骤，包括：

4.一种大模型数据保护方法，其特征在于，所述大模型数据保护方法应用于与第一节点连接的第二节点，...

【技术特征摘要】

1.一种大模型数据保护方法，其特征在于，所述大模型数据保护方法，应用于与第二节点连接的第一节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，包括以下步骤：

2.如权利要求1所述的大模型数据保护方法，其特征在于，所述依据所述目标梯度值对所述大模型进行调整，直至所述大模型调整完成的步骤之后，包括：

3.如权利要求1所述的大模型数据保护方法，其特征在于，所述将所述第一表征数据输入至所述大模型进行模型训练，输出得到第二表征数据的步骤，包括：

4.一种大模型数据保护方法，其特征在于，所述大模型数据保护方法应用于与第一节点连接的第二节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，包括以下步骤：

5.如权利要求4所述的大模型数据保护方法，其特征在于，所述发送所述目标梯度值至所述第一节点之后，还包括：

6.如权利要求4所述的大模型数据保护方法，其特征在于，所述依据所述第二适配器对所述样本业务数据特征进行格式变换处理的步骤，包括：

7.如权利要求4所述的大模型数据保护方法，其特征在于，所述依据所述第二适配器对所述样本业务数据特征进行格式变换处理，得到第一表征数据的步骤，包括：

【专利技术属性】
技术研发人员：康焱，范力欣，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人