【技术实现步骤摘要】
本专利技术涉及机器学习领域，尤其涉及到一种基于数据安全的大模型联合训练方法、装置及设备。
技术介绍
1、大模型(large scale model)是指由数百万、甚至数十亿个参数组成的大规模深度学习模型，例如大规模的语言模型、多模态模型等，因其具有较多的参数量，使其可以处理大规模的数据集，并且具有非常强的学习能力和泛化能力。
2、大模型的训练，需要大数量、高质量、种类丰富的训练数据集，这些数据由于数据安全和数据主权的问题，往往掌握在多个参与方手中，因此需要多个参与方联合训练，以提高大模型训练的效果。
3、但是由于多个参与方所持有的数据量不一致，各方数据训练能力也不同，使得每个参与方训练时间不一致，因此导致基于数据安全的大模型联合训练效率低。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于数据安全的大模型联合训练方法、装置及设备，可解决大模型联合训练效率低的技术问题。
2、根据本专利技术的第一个方面，提供了一种基于数据安全的大模型联合训练方法，所述方法包括：
3、接收每个参与方发送的训练用时信息，根据所述训练用时信息计算每个所述参与方对应的训练计划，其中，所述训练计划使得所有所述参与方的训练用时偏差在预设范围内；
4、将所述训练计划发送至对应的所述参与方，以使所述参与方根据所述训练计划以及初始模型参数训练大模型，得到每个所述参与方学习的模型参数；
5、接收所有所述参与方对所述模型参数加密后的加密模型参数，对
6、优选地，所述根据所述训练用时信息计算每个所述参与方对应的训练计划，包括：
7、根据所述训练用时信息计算训练用时最长参与方的最长训练用时；
8、根据所述最长训练用时确定每个所述参与方的批大小与全部样本训练轮数，将所述批大小与所述全部样本训练轮数作为所述参与方对应的训练计划，其中，所述批大小为更新一次模型参数所用的样本量。
9、优选地，所述接收所有所述参与方对所述模型参数加密后的加密模型参数，包括：
10、接收每个所述参与方利用监督方公钥对所述模型参数加密后的加密模型参数；
11、在所述得到加密联合模型参数之后，所述方法还包括：
12、将所述加密联合模型参数发送至所述监督方，以使所述监督方根据监督方私钥对所述加密联合模型参数进行解密，再利用每个参与方公钥加密后，发送至对应的所述参与方，以使所述参与方根据参与方私钥解密，得到明文的所述联合模型参数，其中，所述监督方公钥与所述监督方私钥基于同态加密算法生成。
13、优选地，所述方法还包括：
14、接收每个所述参与方发送的参与方公钥；
15、确定初始模型参数，利用所述参与方公钥将所述初始模型参数加密后发送至所有所述参与方，以使所述参与方根据参与方私钥解密，得到明文的所述初始模型参数。
16、根据本专利技术的第二个方面，提供了另一种基于数据安全的大模型联合训练方法，所述方法包括：
17、向协作方发送训练用时信息；
18、接收所述协作方根据所述训练用时信息计算的训练计划，其中，所述训练计划使得所有参与方的训练用时偏差在预设范围内；
19、根据所述训练计划以及初始模型参数训练大模型，得到学习的模型参数，将所述模型参数加密，得到加密模型参数并发送至所述协作方，以使所述协作方根据所有所述参与方发送的所述加密模型参数进行加权聚合，得到加密联合模型参数；
20、根据所述训练计划以及解密后的联合模型参数继续训练所述大模型，直到达到预设训练停止条件，得到训练完成的大模型。
21、优选地，所述将所述模型参数加密，得到加密模型参数，包括：
22、接收监督方发送的监督方公钥，利用所述监督方公钥加密所述模型参数，得到加密模型参数；
23、在所述根据所述训练计划以及解密后的联合模型参数继续训练所述大模型之前，所述方法还包括：
24、接收所述监督方发送的经过参与方公钥加密后的联合模型参数，利用参与方私钥解密，得到解密后的联合模型参数，其中，所述监督方公钥基于同态加密算法生成。
25、根据本专利技术的第三个方面，提供了一种基于数据安全的大模型联合训练装置，所述装置包括：
26、计算模块，用于接收每个参与方发送的训练用时信息，根据所述训练用时信息计算每个所述参与方对应的训练计划，其中，所述训练计划使得所有所述参与方的训练用时偏差在预设范围内；
27、第一发送模块，用于将所述训练计划发送至对应的所述参与方，以使所述参与方根据所述训练计划以及初始模型参数训练大模型，得到每个所述参与方学习的模型参数；
28、聚合模块，用于接收所有所述参与方对所述模型参数加密后的加密模型参数，对所述加密模型参数进行加权聚合，得到加密联合模型参数，以使所述参与方根据所述训练计划以及解密后的联合模型参数继续训练所述大模型，直到达到预设训练停止条件，得到训练完成的大模型。
29、根据本专利技术的第四个方面，提供了另一种基于数据安全的大模型联合训练装置，所述装置包括：
30、第二发送模块，用于向协作方发送训练用时信息；
31、接收模块，用于接收所述协作方根据所述训练用时信息计算的训练计划，其中，所述训练计划使得所有参与方的训练用时偏差在预设范围内；
32、训练模块，用于根据所述训练计划以及初始模型参数训练大模型，得到学习的模型参数，将所述模型参数加密，得到加密模型参数并发送至所述协作方，以使所述协作方根据所有所述参与方发送的所述加密模型参数进行加权聚合，得到加密联合模型参数；
33、继续训练模块，用于根据所述训练计划以及解密后的联合模型参数继续训练所述大模型，直到达到预设训练停止条件，得到训练完成的大模型。
34、依据本申请第五个方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于数据安全的大模型联合训练方法。
35、依据本申请第六个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于数据安全的大模型联合训练方法。
36、借由上述技术方案，本专利技术提供的一种基于数据安全的大模型联合训练方法、装置及设备，本专利技术可首先接收每个参与方发送的训练用时信息，根据训练用时信息计算每个参与方对应的训练计划，其中，训练计划使所有参与方的训练用时偏差在预设范围内；然后将训练计划发送至对应的参与方，以使参与方根据训练计划以及初始模型参数训练大模型，得到每个参与方学习的模型参数；最后接收所有参与方对模型参数加密后的加密模型参数，对加密模型参数进行加本文档来自技高网...
【技术保护点】
1.一种基于数据安全的大模型联合训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述训练用时信息计算每个所述参与方对应的训练计划，包括：
3.根据权利要求1所述的方法，其特征在于，所述接收所有所述参与方对所述模型参数加密后的加密模型参数，包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.一种基于数据安全的大模型联合训练方法，其特征在于，所述方法包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述模型参数加密，得到加密模型参数，包括：
7.一种基于数据安全的大模型联合训练装置，其特征在于，所述装置包括：
8.一种基于数据安全的大模型联合训练装置，其特征在于，所述装置包括：
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述基于数据安全的大模型联合训练方法。
10.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，
...【技术特征摘要】
1.一种基于数据安全的大模型联合训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述训练用时信息计算每个所述参与方对应的训练计划，包括：
3.根据权利要求1所述的方法，其特征在于，所述接收所有所述参与方对所述模型参数加密后的加密模型参数，包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.一种基于数据安全的大模型联合训练方法，其特征在于，所述方法包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述模型参数加密，得到加密...
【专利技术属性】
技术研发人员：吴晨，张嘉峰，谢法奎，石晶，
申请(专利权)人：同方知网数字出版技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。