具有隐私保护的大语言模型训练、推理方法及系统技术方案

本发明专利技术公开了一种具有隐私保护的大语言模型训练、推理方法及系统，涉及大语言模型训练技术领域，该方法包括：接收模型持有方发送的公钥，公钥与模型持有方的私钥相对应；对原始字符进行转化，得到第一矩阵和第二矩阵，并基于第一矩阵和第二矩阵得到第一数据；接收多头注意力层中的参数矩阵加密形成的密文矩阵；利用第一数据和密文矩阵计算得到第二数据；构建一个随机矩阵，并基于第一数据、第二数据和随机矩阵得到第三数据；将第三数据发送给模型持有方，以使模型持有方通过私钥对第三数据进行解密后，对模型进行训练，得到训练后的目标大语言模型。本发明专利技术兼顾数据隐私保护和模型隐私保护的同时，还可以保证模型训练的准确性。

【技术实现步骤摘要】

本专利技术实施例涉及大语言模型训练，具体涉及一种具有隐私保护的大语言模型训练、推理方法及系统。

技术介绍

1、对通用大语言模型进行有针对性调参，以适用于特定场景是大语言模型常见使用方式。在有针对性的调参时，会面临一些安全性问题。例如，通用大语言模型作为人工智能金融客服，为客户提供金融咨询，为使通用大语言模型适用于金融场景，需要在一些以金融为背景的文本数据上进行训练，而这些信息具有高度隐私性，是不能直接公开给模型训练方的，否则会违反法律法规。

2、针对上述技术问题，现有技术对其解决的方式大概有两种方式，其中一种方式是采用对数据脱敏技术来保护数据的隐私。训练方在脱敏后的文本数据上训练模型。这种技术虽然保护了文本信息，但是使得文本失去了关键信息以及文本中文字的统计关系，在脱敏后的文本数据上训练得到的模型准确率低，效果差，缺乏实用性。

3、还有一种方式是选择将通用模型直接给数据方，让数据方在自己的文本数据上进行训练，以达到对通用模型进行针对性调参的目的。这一技术虽然保护了数据方的数据不被泄露，但模型方的通用模型直接泄露给了数据方。而通用模型本文档来自技高网...

【技术保护点】

1.一种具有隐私保护的大语言模型训练方法，其特征在于，其包括：

2.根据权利要求1所述的一种具有隐私保护的大语言模型训练方法，其特征在于，利用第一数据Z1和密文矩阵计算得到n×d维的第二数据Z2，包括：

3.根据权利要求2所述的一种具有隐私保护的大语言模型训练方法，其特征在于，所述tansformer模型包括编码模块、解码模块、线性层以及softmax层；

4.一种具有隐私保护的大语言模型训练方法，其特征在于，其包括以下步骤：

5.根据权利要求4所述的一种具有隐私保护的大语言模型训练方法，其特征在于，所述数据持有方利用第一数据Z1和密文矩阵...

【技术特征摘要】

1.一种具有隐私保护的大语言模型训练方法，其特征在于，其包括：

2.根据权利要求1所述的一种具有隐私保护的大语言模型训练方法，其特征在于，利用第一数据z1和密文矩阵计算得到n×d维的第二数据z2，包括：

3.根据权利要求2所述的一种具有隐私保护的大语言模型训练方法，其特征在于，所述tansformer模型包括编码模块、解码模块、线性层以及softmax层；

4.一种具有隐私保护的大语言模型训练方法，其特征在于，其包括以下步骤：

5.根据权利要求4所述的一种具有隐私保护的大语言模型训练方法，其特征在于，所述数据持有方利用第一数据z1和密文矩阵计算得到n×d维的第二数据z2，包括：

6.根据权利要求5所述的一种具有隐私保护的大语言模型训练方法，其...

【专利技术属性】
技术研发人员：陈昕，杨凯文，毛仁歆，马煜翔，
申请(专利权)人：蓝象智联杭州科技有限公司，
类型：发明
国别省市：