【技术实现步骤摘要】
本公开的实施例涉及一种模型训练方法、模型训练装置、模型训练系统和非瞬时性计算机可读存储介质。
技术介绍
1、联邦学习(federated learning)是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，在不需要在多个数据源之间交换本地数据的前提下，仅通过交换模型参数或中间结果的方式，构建基于虚拟融合数据下的全局模型，实现跨机构的数据共享，从而实现数据隐私保护和数据共享计算的平衡，即“数据可用不可见”、“数据不动模型动”的应用模式。
技术实现思路
1、提供该内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
2、本公开至少一个实施例提供一种模型训练方法，应用于服务器且用于对机器学习模型进行训练，其中，所述机器学习模型包括云子模型和m个端子模型，所述云子模型在所述服务器上运行，所述m个端子模型在至少一个终端上运行，m为正整数，所述模型训练方法包括：获取云端训练特征；利用所述云端训练特征对所述云子模型进行训练，以得到所述云子模型的云端输出结果；发送所述云端输出结果和所述m个端子模型的当前参数至所述至少一个终端；接收所述至少一个终端输出的所述m个端子模型中的n个端子模型分别输出的端梯度，其中，n为正整数，且小于等于m，所述n个端子模型中的每个端子模型输出的端梯度包括所述端子模型的参数梯度和云输出梯
3、本公开至少一个实施例提供一种模型训练方法，应用于第一终端且用于对机器学习模型进行训练，其中，所述机器学习模型包括云子模型和第一端子模型，所述云子模型在服务器上运行，所述第一端子模型在所述第一终端上运行，其中，所述模型训练方法包括：获取至少一个终端训练样本，其中，每个终端训练样本包括终端训练特征和样本标签；基于所述至少一个终端训练样本，发送训练请求至所述服务器；从所述服务器接收与所述至少一个终端训练样本对应的云输出和所述第一端子模型的当前参数；利用所述云输出、所述第一端子模型的当前参数和所述至少一个终端训练样本对所述第一端子模型进行训练，以得到所述第一端子模型输出的端梯度，其中，所述端梯度包括所述第一端子模型的参数梯度和云输出梯度；输出所述端梯度至所述服务器，以使得所述服务器基于所述端梯度和所述云输出计算得到所述云子模型的参数梯度，并利用所述第一端子模型的参数梯度和所述云子模型的参数梯度，对所述第一端子模型的当前参数和所述云子模型的当前参数进行调整。
4、本公开至少一个实施例还提供一种模型训练装置，包括：一个或多个存储器，非瞬时性地存储有计算机可执行指令；一个或多个处理器，配置为运行所述计算机可执行指令，其中，所述计算机可执行指令被所述一个或多个处理器运行时实现根据本公开任一实施例所述的模型训练方法。
5、本公开至少一个实施例还提供一种模型训练系统，用于对机器学习模型进行训练且包括：至少一个终端和服务器，其中，所述机器学习模型包括云子模型和m个端子模型，所述云子模型在所述服务器上运行，所述m个端子模型在所述至少一个终端上运行，m为正整数，所述服务器被配置为：获取云端训练特征；利用所述云端训练特征对所述云子模型进行训练，以得到所述云子模型的云端输出结果；发送所述云端输出结果和所述m个端子模型的当前参数至所述至少一个终端；接收所述至少一个终端输出的所述m个端子模型中的n个端子模型分别输出的端梯度，其中，n为正整数，且小于等于m，所述n个端子模型中的每个端子模型输出的端梯度包括所述端子模型的参数梯度和云输出梯度；基于所述n个端子模型分别输出的端梯度和所述云端输出结果计算得到所述云子模型的参数梯度；利用所述n个端子模型的参数梯度和所述云子模型的参数梯度，对所述n个端子模型的当前参数和所述云子模型的当前参数进行调整；所述至少一个终端中的每个终端被配置为：获取至少一个终端训练样本，其中，每个终端训练样本包括终端训练特征和样本标签，所述云端训练特征包括与所述至少一个终端训练样本一一对应的至少一个子云端训练特征；从所述服务器接收与所述至少一个终端训练样本对应的云输出和所述终端上运行的端子模型的当前参数，其中，所述云端输出结果包括所述云输出；利用所述云输出、所述终端上运行的端子模型的当前参数和所述至少一个终端训练样本对所述终端上运行的端子模型进行训练，以得到所述终端上运行的端子模型输出的端梯度；输出所述终端上运行的端子模型输出的端梯度至所述服务器。
6、本公开至少一个实施例还提供一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现根据本公开任一实施例所述的模型训练方法。
本文档来自技高网...【技术保护点】
1.一种模型训练方法，应用于服务器且用于对机器学习模型进行训练，
2.根据权利要求1所述的模型训练方法，其中，所述M个端子模型分别一一对应M个存储训练进度信息，
3.根据权利要求2所述的模型训练方法，还包括：
4.根据权利要求3所述的模型训练方法，其中，每个终端存储有用于训练在所述终端上运行的所有端子模型的训练样本集，所述训练样本集包括多个终端训练样本，每个终端训练样本包括终端训练特征和样本标签，
5.根据权利要求1所述的模型训练方法，其中，所述至少一个终端包括第一终端，
6.根据权利要求5所述的模型训练方法，其中，所述至少一个终端还包括第二终端，
7.根据权利要求6所述的模型训练方法，其中，所述第一终端发出的训练请求的时刻和所述第二终端发出的训练请求的时刻之间的时间差的绝对值处于时间差范围内。
8.根据权利要求1～7任一项所述的模型训练方法，其中，M大于1，所述M个端子模型包括第一端子模型和第二端子模型，所述至少一个终端包括第一终端和第二终端，所述第一端子模型在所述第一终端上运行，所述第二端子模
9.根据权利要求1～7任一项所述的模型训练方法，其中，所述M个端子模型包括第一端子模型和第三端子模型，所述至少一个终端包括第一终端，所述第一端子模型和所述第三端子模型均在所述第一终端上运行，
10.根据权利要求1～7任一项所述的模型训练方法，其中，利用所述云端训练特征对所述云子模型进行训练，以得到所述云子模型的云端输出结果，包括：
11.根据权利要求1～7任一项所述的模型训练方法，其中，M大于1，N大于1，
12.根据权利要求1～7任一项所述的模型训练方法，其中，所述M个端子模型的输入与所述云子模型的输出匹配。
13.根据权利要求1～7任一项所述的模型训练方法，还包括：
14.一种模型训练方法，应用于第一终端且用于对机器学习模型进行训练，其中，所述机器学习模型包括云子模型和第一端子模型，所述云子模型在服务器上运行，所述第一端子模型在所述第一终端上运行，
15.根据权利要求14所述的模型训练方法，其中，获取至少一个终端训练样本，包括：
16.根据权利要求14所述的模型训练方法，还包括：
17.根据权利要求14～16任一项所述的模型训练方法，其中，所述云输出包括与所述至少一个终端训练样本一一对应的至少一个子云输出，
18.一种模型训练装置，包括：
19.一种模型训练系统，用于对机器学习模型进行训练且包括：至少一个终端和服务器，
20.一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现根据权利要求1～17任一项所述的模型训练方法。
...【技术特征摘要】
1.一种模型训练方法，应用于服务器且用于对机器学习模型进行训练，
2.根据权利要求1所述的模型训练方法，其中，所述m个端子模型分别一一对应m个存储训练进度信息，
3.根据权利要求2所述的模型训练方法，还包括：
4.根据权利要求3所述的模型训练方法，其中，每个终端存储有用于训练在所述终端上运行的所有端子模型的训练样本集，所述训练样本集包括多个终端训练样本，每个终端训练样本包括终端训练特征和样本标签，
5.根据权利要求1所述的模型训练方法，其中，所述至少一个终端包括第一终端，
6.根据权利要求5所述的模型训练方法，其中，所述至少一个终端还包括第二终端，
7.根据权利要求6所述的模型训练方法，其中，所述第一终端发出的训练请求的时刻和所述第二终端发出的训练请求的时刻之间的时间差的绝对值处于时间差范围内。
8.根据权利要求1～7任一项所述的模型训练方法，其中，m大于1，所述m个端子模型包括第一端子模型和第二端子模型，所述至少一个终端包括第一终端和第二终端，所述第一端子模型在所述第一终端上运行，所述第二端子模型在所述第二终端上运行，
9.根据权利要求1～7任一项所述的模型训练方法，其中，所述m个端子模型包括第一端子模型和第三端子模型，所述至少一个终端包括第一终端，所述第一端子模型和所述第三端子模型均在所述第一终端上运行，
10.根...
【专利技术属性】
技术研发人员：王奕蓝，解浚源，刘琦，张梓晖，吴迪，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。