【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种模型训练方法及相关系统、存储介质。
技术介绍
1、随着人工智能的发展，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。
2、横向联邦学习，也称为特征对齐的联邦学习(feature-alignedfederatedlearning)，是在各个客户端的数据特征重叠较多(即数据特征是对齐的)，而用户重叠较少的情况下，取出客户端数据特征相同而用户不完全相同的那部分数据进行联合机器学习。横向联邦学习的应用场景分为两类：标准场景和不相交场景。标准场景指的是参与模型训练的有标签数据存放于客户端，即在客户端上执行标准的有监督训练。不相交场景是指参与模型训练的有标签数据被存放在服务端中，而大量无标签数据却存放在客户端中。不相交场景主要是由于许多数据的标注工作是需要具备相关专业知识的人员来进行处理的。例如，对于瑜伽姿势矫正的手机应用软件，由于普通人难以确认自己的瑜伽姿势是否完全正确，因此，即使用户愿意为服务商标注所有的图片数据，服务商也只能聘请专业的瑜伽从业人员来对相关数据进行标注。
3、目前的横向联邦学习对于不相交场景，通常假设客户端有大量的有标签数据，能够保证使用横向联邦学习的训练模式进行模型训练，但是实际情况通常是客户端有少量甚至是没有有标签数据，事实上也很难要求客户端对数据进行标注，因而很难使用现有的横向联邦学习训练模式获得优质的模型。
技术实现思路
1、本申
2、第一方面，本申请实施例提供一种模型训练系统，所述模型训练系统包括服务端和客户端，所述服务端维护有有标签数据，所述客户端维护有无标签数据，其中：所述客户端用于根据所述无标签数据对第一模型进行训练，以获得所述第一模型的参数；所述客户端还用于向所述服务端发送所述第一模型中第一子网的参数，所述第一模型还包括第二子网；所述服务端用于根据所述客户端上报的所述第一子网的参数和所述有标签数据对第二模型进行训练，以更新所述第二模型的参数，所述第二模型包括所述第一子网和第三子网，所述第三子网与所述第二子网对应；所述服务端还用于向所述客户端发送更新后的所述第一子网的参数以及所述第三子网的参数；所述客户端还用于根据来自所述服务端的所述第一子网的参数和所述第三子网的参数得到目标模型，其中，所述目标模型包括所述第一子网和所述第三子网。
3、通过本方案，客户端基于无标签数据进行训练，然后服务端基于客户端上报的第一子网的参数和有标签数据进行训练，并向客户端发送更新后的所述第一子网的参数以及第三子网的参数，进而客户端根据所述第一子网的参数以及第三子网的参数得到目标模型。采用该手段，一方面保障了客户端的隐私数据的安全性，同时提高了模型在无标签数据上的特征提取能力，节省人力成本。本方案可以实现只在服务端有有标签数据，在客户端完全没有有标签数据时，也能够进行横向联邦学习，从而适应缺乏标签数据的现实场景。
4、上述客户端根据所述无标签数据对第一模型进行训练，以获得所述第一模型的参数，可以理解为，客户端根据所述无标签数据对第一模型进行训练，以更新所述第一模型的参数。
5、作为一种可选的实现方式，上述第一子网可以用于对输入该子网的数据进行特征提取。
6、相较于现有技术中客户端向服务端发送训练得到的所有参数，采用本方案，由于传输的数据较少，在一定程度上可以降低训练过程中的通信开销。
7、作为一种可选的实现方式，在向所述服务端发送所述第一模型的参数的方面，所述客户端用于仅向所述服务端发送所述第一模型中所述第一子网的参数。
8、作为另一种可选的实现方式，所述客户端还用于向所述服务端发送所述第一模型中除所述第一子网的参数之外的参数。
9、作为一种可选的实现方式，所述客户端的数量为k个，k为大于1的整数，所述服务端还用于对来自所述k个客户端的k个第一子网的参数进行聚合处理，以得到处理后的第一子网的参数；在根据所述客户端上报的所述第一子网的参数和所述有标签数据对所述服务端的第二模型进行训练，以更新所述第二模型的参数的方面所述服务端用于根据所述处理后的第一子网的参数和所述有标签数据对所述服务端的第二模型进行训练，以更新所述第二模型的参数。
10、采用该手段，服务端基于多个客户端的第一子网的参数来进行训练，可以有效提高模型在无标签数据上的特征提取能力。
11、作为一种可选的实现方式，所述第二模型的第三子网用于输出所述第二模型的计算结果；所述第一模型的第二子网用于输出所述第一模型的计算结果，其中，所述第二模型的第三子网与所述第一模型的第二子网的结构不同。
12、作为一种可选的实现方式，第三子网为classifier子网，第二子网为mlm子网等。
13、作为一种可选的实现方式，所述第一模型的第二子网的参数在训练前和训练后保持不变。
14、采用该手段，可以降低训练开销。
15、作为一种可选的实现方式，所述第二模型还包括第四子网，第二模型的第四子网的参数在训练前和训练后保持不变。
16、采用该手段，可以降低训练开销。
17、第二方面，本申请实施例提供一种模型训练方法，应用于服务端，所述服务端维护有有标签数据，所述方法包括：根据客户端上报的第一子网的参数和所述有标签数据对第二模型进行训练，以更新所述第二模型的参数，所述第二模型包括所述第一子网和第三子网；向所述客户端发送更新后的所述第一子网的参数以及所述第三子网的参数。
18、通过本申请实施例，服务端基于客户端上报的第一子网的参数和有标签数据进行训练，然后向客户端发送更新后的所述第一子网的参数以及第三子网的参数。其中，客户端上报的第一子网的参数为客户端基于无标签数据进行训练得到的。采用该手段，一方面保障了客户端的隐私数据的安全性，同时提高了模型在无标签数据上的特征提取能力，节省人力成本。本方案可以实现只在服务端有有标签数据，在客户端完全没有有标签数据时，也能够进行横向联邦学习，从而适应缺乏标签数据的现实场景。
19、作为一种可选的实现方式，所述客户端的数量为k个，k为大于1的整数，所述方法还包括：对来自所述k个客户端的k个第一子网的参数进行聚合处理，以得到处理后的第一子网的参数；所述根据客户端上报的第一子网的参数和所述有标签数据对第二模型进行训练，以更新所述第二模型的参数，包括：根据所述处理后的第一子网的参数和所述有标签数据对第二模型进行训练，以更新所述第二模型的参数。
20、采用该手段，服务端基于多个客户端的第一子网的参数来进行训练，可以有效提高模型在无标签数据上的特征提取能力。
21、作为一种可选的实现方式，所述服务端还维护有无标签数据，所述根据客户端上报的第一子网的参数和所述有标签数据对第二模型进行训练，以更新所述第二模本文档来自技高网...
【技术保护点】
1.一种模型训练系统，所述模型训练系统包括服务端和客户端，所述服务端维护有有标签图片数据，所述客户端维护有无标签图片数据，其特征在于：
2.根据权利要求1所述的系统，其特征在于，所述第一模型包括第一子网和第二子网，所述客户端还用于向所述服务端发送所述第一模型中的参数，包括：
3.根据权利要求2所述的系统，其特征在于，所述第二模型包括所述第一子网和第三子网，所述服务端还用于向所述客户端发送更新后的所述第二模型中的参数，包括：
4.根据权利要求3所述的系统，其特征在于，所述目标模型包括所述第一子网和所述第三子网。
5.根据权利要求2至4任一项所述的系统，其特征在于，在向所述服务端发送所述第一模型的参数的方面，所述客户端用于仅向所述服务端发送所述第一模型中所述第一子网的参数。
6.根据权利要求2至4任一项所述的系统，其特征在于，所述客户端还用于向所述服务端发送所述第一模型中除所述第一子网的参数之外的参数。
7.根据权利要求1至6任一项所述的系统，其特征在于，所述客户端的数量为K个，K为大于1的整数，所述服务端还用于
8.根据权利要求1至7任一项所述的系统，其特征在于，所述第二模型的第三子网用于输出所述第二模型的计算结果；所述第一模型的第二子网用于输出所述第一模型的计算结果，其中，所述第二模型的第三子网与所述第一模型的第二子网的结构不同。
9.根据权利要求1至8任一项所述的系统，其特征在于，所述客户端还用于对本地图片数据进行处理，得到与所述本地图片数据对应的分类结果。
10.根据权利要求1至9任一项所述的系统，其特征在于，所述客户端还维护有有标签图片数据，所述客户端还用于根据所述第一模型的参数和所述有标签图片数据对第四模型进行训练，以获得所述第四模型的参数；
11.根据权利要求10所述的系统，其特征在于，对所述第一模型进行训练所使用的损失值是根据所述客户端的无标签数据和第一数据得到的，所述第一数据是将第二数据输入至所述第一模型进行处理得到的，所述第二数据是对所述无标签数据进行掩码处理得到的。
12.根据权利要求1至9任一项所述的系统，其特征在于，所述服务端还维护有无标签图片数据，所述根据所述客户端上报的所述第一模型中的参数和所述有标签图片数据对第二模型进行训练，以更新所述第二模型的参数，包括：
13.一种模型训练方法，应用于客户端，所述客户端维护有无标签图片数据，其特征在于，所述方法包括：
14.根据权利要求13所述的方法，其特征在于，所述基于所述无标签图片数据和来自服务端的参数对模型进行更新，得到更新的模型，包括：
15.一种模型训练方法，应用于客户端和服务端，所述客户端维护有无标签图片数据，所述服务端维护有有标签图片数据和无标签图片数据，其特征在于：
16.一种模型训练方法，应用于客户端和服务端，所述客户端维护有无标签图片数据和有标签图片数据，所述服务端维护有有标签图片数据，其特征在于：
17.一种模型训练方法，应用于客户端和服务端，所述客户端维护有无标签图片数据和有标签图片数据，所述服务端维护有有标签图片数据和无标签图片数据，其特征在于：
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求13或14所述的方法，和/或如权利要求15所述的方法，和/或如权利要求16所述的方法，和/或如权利要求17所述的方法。
19.一种计算机程序产品，其特征在于，当计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求13或14所述的方法，和/或如权利要求15所述的方法，和/或如权利要求16所述的方法，和/或如权利要求17所述的方法。
...【技术特征摘要】
1.一种模型训练系统，所述模型训练系统包括服务端和客户端，所述服务端维护有有标签图片数据，所述客户端维护有无标签图片数据，其特征在于：
2.根据权利要求1所述的系统，其特征在于，所述第一模型包括第一子网和第二子网，所述客户端还用于向所述服务端发送所述第一模型中的参数，包括：
3.根据权利要求2所述的系统，其特征在于，所述第二模型包括所述第一子网和第三子网，所述服务端还用于向所述客户端发送更新后的所述第二模型中的参数，包括：
4.根据权利要求3所述的系统，其特征在于，所述目标模型包括所述第一子网和所述第三子网。
5.根据权利要求2至4任一项所述的系统，其特征在于，在向所述服务端发送所述第一模型的参数的方面，所述客户端用于仅向所述服务端发送所述第一模型中所述第一子网的参数。
6.根据权利要求2至4任一项所述的系统，其特征在于，所述客户端还用于向所述服务端发送所述第一模型中除所述第一子网的参数之外的参数。
7.根据权利要求1至6任一项所述的系统，其特征在于，所述客户端的数量为k个，k为大于1的整数，所述服务端还用于对来自所述k个客户端的k个第一子网的参数进行聚合处理，以得到处理后的第一子网的参数；
8.根据权利要求1至7任一项所述的系统，其特征在于，所述第二模型的第三子网用于输出所述第二模型的计算结果；所述第一模型的第二子网用于输出所述第一模型的计算结果，其中，所述第二模型的第三子网与所述第一模型的第二子网的结构不同。
9.根据权利要求1至8任一项所述的系统，其特征在于，所述客户端还用于对本地图片数据进行处理，得到与所述本地图片数据对应的分类结果。
10.根据权利要求1至9任一项所述的系统，其特征在于，所述客户端还维护有有标签图片数据，所述客户端还用于根据所述第一模型的参数和所述有标签图片数据对第四模型进行训练，以获得所述第四模型的参数；
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。