【技术实现步骤摘要】
本专利技术涉及模型数据处理，尤其涉及一种大模型数据保护方法、系统、设备、存储介质及程序产品。
技术介绍
1、大型基础模型(以下简称大模型，如gpt-2-xl和opt-1.3b等语言模型)的诞生，带来了技术的变革，也给各行各业带来了机遇。然而，训练大模型成本高昂，绝大多数企业都无法承担训练一个完整的大模型的成本。
2、目前是大模型拥有方提供通用大模型给到对大模型有需求的企业，这些企业利用各自领域的隐私数据对大模型进行微调，从而降低企业使用大模型的成本。但是由于大模型通常需要巨大的算力和数据，训练成本高，因此训练后的大模型一般是专有和不开源的。若大模型拥有方将大模型提供给对大模型有需求的企业进行微调，容易损害大模型拥有方的模型知识产权。若给对大模型有需求的企业将领域的隐私数据发送给大模型拥有方进行微调，又容易造成隐私数据泄露。因此如何在不损害大模型拥有方的模型知识产权的同时又能保障模型需求方(如对大模型有需求的企业)的数据隐私成为目前急需解决的技术问题。
技术实现思路
1、本专利技术的主要目的在于提供一种大模型数据保护方法、系统、设备、存储介质及程序产品，旨在解决在不损害大模型拥有方的模型知识产权的同时又能保障模型需求方的数据隐私的技术问题。
2、为实现上述目的，本专利技术提供一种大模型数据保护方法，大模型数据保护方法应用于与第二节点连接的第一节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，包括以下步骤：
3、将对大模型进
4、接收所述第二节点发送的第一表征数据，将所述第一表征数据输入至所述大模型进行模型训练，输出得到第二表征数据，将所述第二表征数据发送至所述第二节点，其中，所述第一表征数据为所述第二节点依据所述第二适配器和所述样本业务数据特征进行处理获得的数据；
5、接收所述第二节点发送的目标梯度值，依据所述目标梯度值对所述大模型进行调整，直至所述大模型调整完成，其中，所述目标梯度值由所述第二节点依据所述第一适配器、所述第二表征数据和所述业务标签确定的梯度值。
6、可选地，依据所述目标梯度值对所述大模型进行调整，直至所述大模型调整完成的步骤之后，包括：
7、若接收到所述第二节点发送的待预测表征数据，将所述待预测表征数据输入至调整后的所述大模型中进行模型训练，输出得到预测表征数据，将所述预测表征数据输入至所述第二节点，其中，所述第二节点依据所述第一适配器对所述预测表征数据进行格式转换处理，得到实际预测数据。
8、可选地，将所述第一表征数据输入至所述大模型进行模型训练，输出得到第二表征数据的步骤，包括：
9、对所述大模型进行压缩处理，得到压缩模型，将所述第一表征数据输入至所述压缩模型进行模型训练，输出得到第二表征数据。
10、此外，为实现上述目的，本专利技术还提供一种大模型数据保护方法，所述大模型数据保护方法应用于与第一节点连接的第二节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，包括以下步骤：
11、接收所述第一节点发送的第一适配器和第二适配器，依据所述第二适配器对所述样本业务数据特征进行格式变换处理，得到第一表征数据，将所述第一表征数据发送至所述第一节点；
12、接收所述第一节点发送的第二表征数据，依据所述第一适配器对所述第二表征数据进行格式变换处理，得到第一预测结果，其中，所述第二表征数据为所述第一节点中大模型对所述第一表征数据进行预测的预测结果；
13、依据所述第一预测结果和所述业务标签确定目标梯度值，发送所述目标梯度值至所述第一节点，其中，所述第一节点依据所述目标梯度值调整所述大模型。
14、可选地，发送所述目标梯度值至所述第一节点之后，还包括：
15、在确定所述第一节点中的大模型调整完成后，若存在待预测的样本业务数据特征，依据所述第二适配器对待预测的样本业务数据特征进行格式变换处理，得到待预测表征数据，将所述待预测表征数据发送至所述第一节点；
16、接收所述第一节点发送的预测表征数据，依据所述第一适配器对所述预测表征数据进行格式变换处理，得到实际预测数据。
17、可选地，依据所述第二适配器对所述样本业务数据特征进行格式变换处理的步骤，包括：
18、在多个具有业务标签的样本业务数据特征中选择预设数量的样本业务数据特征构建数据集；
19、针对所述数据集中的至少一个样本业务数据，执行依据所述第二适配器对所述样本业务数据特征进行格式变换处理。
20、可选地，依据所述第二适配器对所述样本业务数据特征进行格式变换处理，得到第一表征数据的步骤，包括：
21、确定所述样本业务数据特征对应的原始格式，以及所述大模型对应的模型格式；
22、依据所述第二适配器将所述样本业务数据特征对应的格式由原始格式转换为模型格式，得到隐私表征数据；
23、将所述隐私表征数据输入至预设的第一保护模型进行加密处理，输出得到第一表征数据。
24、可选地，依据所述第一适配器对所述第二表征数据进行格式变换处理，得到第一预测结果的步骤，包括：
25、将所述第二表征数据输入至预设的第二保护模型进行解密处理，输出得到第三表征数据；
26、依据所述第一适配器将所述第三表征数据对应的格式由所述模型格式转换为所述原始格式，得到第一预测结果。
27、可选地，依据所述第一预测结果和所述业务标签确定目标梯度值，发送所述目标梯度值至所述第一节点的步骤，包括：
28、依据所述第一预测结果和所述业务标签进行梯度值计算，得到第一梯度值；
29、依据所述第一梯度值对所述第一适配器进行参数调整，得到目标梯度值，将所述目标梯度值发送至所述第一节点，其中，所述第一节点依据所述目标梯度值调整所述大模型，得到第二梯度值，将所述第二梯度值发送至所述第二节点；
30、所述发送所述目标梯度值至所述第一节点的步骤之后，包括：
31、接收所述第一节点发送的第二梯度值，依据所述第二梯度值对所述第二适配器进行参数调整，并获取新的样本业务数据特征，依据新的样本业务数据特征重新执行所述依据所述第二适配器对所述述样本业务数据特征进行格式变换处理的步骤，直至检测到所述第一节点中的大模型收敛或达到预设训练次数。
32、此外，为实现上述目的，本专利技术还提供一种大模型数据保护系统，所述大模型数据保护系统，包括相互连接的第一节点和第二节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，
33、所述第一节点，用于将对大模型进行特征提取得到的第一适配器和第二适配器发送至第二节点，其中，所述大模型包括第一适配器、主模型和第二适配器；
34、所述第二节点，用本文档来自技高网...
【技术保护点】
1.一种大模型数据保护方法，其特征在于，所述大模型数据保护方法，应用于与第二节点连接的第一节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，包括以下步骤：
2.如权利要求1所述的大模型数据保护方法，其特征在于，所述依据所述目标梯度值对所述大模型进行调整，直至所述大模型调整完成的步骤之后，包括：
3.如权利要求1所述的大模型数据保护方法，其特征在于，所述将所述第一表征数据输入至所述大模型进行模型训练，输出得到第二表征数据的步骤，包括：
4.一种大模型数据保护方法，其特征在于，所述大模型数据保护方法应用于与第一节点连接的第二节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，包括以下步骤：
5.如权利要求4所述的大模型数据保护方法，其特征在于，所述发送所述目标梯度值至所述第一节点之后，还包括：
6.如权利要求4所述的大模型数据保护方法，其特征在于，所述依据所述第二适配器对所述样本业务数据特征进行格式变换处理的步骤，包括：
7.如权利要求4所述的大模型数据保护方法，
8.如权利要求7所述的大模型数据保护方法，其特征在于，所述依据所述第一适配器对所述第二表征数据进行格式变换处理，得到第一预测结果的步骤，包括：
9.如权利要求4所述的大模型数据保护方法，其特征在于，所述依据所述第一预测结果和所述业务标签确定目标梯度值，发送所述目标梯度值至所述第一节点的步骤，包括：
10.一种大模型数据保护系统，其特征在于，所述大模型数据保护系统，包括相互连接的第一节点和第二节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，
11.一种大模型数据保护设备，其特征在于，所述大模型数据保护设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大模型数据保护程序，所述大模型数据保护程序被所述处理器执行时实现如权利要求1-9任一项所述的大模型数据保护方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有大模型数据保护程序，所述大模型数据保护程序被处理器执行时实现如权利要求1-9任一项所述的大模型数据保护方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的大模型数据保护方法的步骤。
...【技术特征摘要】
1.一种大模型数据保护方法，其特征在于，所述大模型数据保护方法，应用于与第二节点连接的第一节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，包括以下步骤：
2.如权利要求1所述的大模型数据保护方法，其特征在于，所述依据所述目标梯度值对所述大模型进行调整，直至所述大模型调整完成的步骤之后，包括：
3.如权利要求1所述的大模型数据保护方法，其特征在于，所述将所述第一表征数据输入至所述大模型进行模型训练，输出得到第二表征数据的步骤，包括：
4.一种大模型数据保护方法，其特征在于，所述大模型数据保护方法应用于与第一节点连接的第二节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，包括以下步骤：
5.如权利要求4所述的大模型数据保护方法，其特征在于，所述发送所述目标梯度值至所述第一节点之后，还包括：
6.如权利要求4所述的大模型数据保护方法，其特征在于，所述依据所述第二适配器对所述样本业务数据特征进行格式变换处理的步骤，包括：
7.如权利要求4所述的大模型数据保护方法，其特征在于，所述依据所述第二适配器对所述样本业务数据特征进行格式变换处理，得到第一表征数据的步骤，包括：
【专利技术属性】
技术研发人员：康焱，范力欣，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。