模型训练方法、信息处理方法及系统、服务器和存储介质技术方案

技术编号:42393083 阅读:18 留言:0更新日期:2024-08-16 16:17
本公开提供一种模型训练方法、信息处理方法及系统、服务器和存储介质。模型训练方法包括:获取第一样本数据的第一样本特征;将第一样本特征分解为第一子特征和第二子特征,并将第二子特征发送给客户端;根据第一子特征、客户端发送的第三子特征和具有自注意力机制的机器学习模型中的线性变换模块的第一线性层参数,与客户端在预设的加密空间进行安全计算,以得到安全信息,其中,机器学习模型为大语言模型的一部分;将安全信息输入机器学习模型中的自注意力模块,并将机器学习模型输出的目标特征转换为目标文本;根据目标文本和第一样本数据的标注信息,训练线性变换模块。

【技术实现步骤摘要】

本公开涉及大语言模型领域,特别涉及一种模型训练方法、信息处理方法及系统、服务器和存储介质


技术介绍

1、大语言模型(large language model,简称:llm)是指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务,如文本分类、问答、对话等。

2、目前,大语言模型的部署主要包括以下两种方案:1)将大语言模型部署在模型提供方,应用方(即客户)上传问题及与问题相关的数据给提供方。2)将大语言模型部署在应用方。


技术实现思路

1、专利技术人注意到,在相关技术中,若将大语言模型部署在模型提供方,这种方案能有效保障模型提供方的模型知识产权(intellectual property,简称:ip),但会出现应用方的数据被泄漏给模型提供方的问题。若将大语言模型部署在应用方,这种方案能有效保护应用方的数据不被泄漏,但模型提供方的模型知识产权不能得到保障。

2、据此,本公开提供一种模型训练方法,通过利用模型提供方的服务器和客户端本文档来自技高网...

【技术保护点】

1.一种模型训练方法,由服务器执行,包括:

2.根据权利要求1所述的方法,其中,所述与所述客户端在加密空间进行安全计算包括:

3.根据权利要求2所述的方法,其中,所述与所述客户端进行安全两方计算包括:

4.根据权利要求2所述的方法,其中,所述根据所述安全信息的第一分量和所述客户端发送的安全信息的第二分量,得到所述安全信息包括:

5.根据权利要求1-4中任一项所述的方法,其中,所述根据所述目标文本和所述第一样本数据的标注信息训练所述线性变换模块包括:

6.根据权利要求1-4中任一项所述的方法,其中,所述大语言模型中还包含有与所述机...

【技术特征摘要】

1.一种模型训练方法,由服务器执行,包括:

2.根据权利要求1所述的方法,其中,所述与所述客户端在加密空间进行安全计算包括:

3.根据权利要求2所述的方法,其中,所述与所述客户端进行安全两方计算包括:

4.根据权利要求2所述的方法,其中,所述根据所述安全信息的第一分量和所述客户端发送的安全信息的第二分量,得到所述安全信息包括:

5.根据权利要求1-4中任一项所述的方法,其中,所述根据所述目标文本和所述第一样本数据的标注信息训练所述线性变换模块包括:

6.根据权利要求1-4中任一项所述的方法,其中,所述大语言模型中还包含有与所述机器学习模型级联的多个具有自注意力机制的其它机器学习模型,所述将所述机器学习模型输出的目标特征转换为目标文本包括:

7.一种服务器,包括:

8.一种模型训练系统,包括:

9.根据权利要求8所述的系统,其中,

10.根据权利要求9所述的系统,其中,

11.一种信息处理方法,由服务器执行,包括:

12.根据权利要求11所述的方法,其中,所述与所述客户端在第一加密空间进行安全计算包括:

13.根据权利要求12所述的方法,其中,所述与所述客户端进行第一安全两方计算包括:

14.根据权利要求11所述的方法,其中,所述与所述客户端在第二加密空间进行安全计算包括:

<...

【专利技术属性】
技术研发人员:关诚刘涛谷清水王蜀洪朱小坤李乐
申请(专利权)人:北京沃东天骏信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1