模型生成方法、装置以及电子设备制造方法及图纸

本申请实施例公开了一种模型生成方法、装置以及电子设备，方法包括：从多个第一分组中获取目标分组，目标分组为目标数据所对应的第一分组，目标数据为请求遗忘的数据；基于模型集合中除参考模型以外的模型，进行模型聚合以得到目标模型，其中，模型集合中的每个模型为基于多个第一分组中所对应的第一分组的数据预先训练得到，且参考模型为基于目标分组对应的数据训练得到。从而使得可以避免在需要对目标数据进行遗忘时需要完全重新进行训练以得到目标模型，以降低遗忘学习过程的耗时，并降低了遗忘学习的成本。低了遗忘学习的成本。低了遗忘学习的成本。

【技术实现步骤摘要】
模型生成方法、装置以及电子设备


[0001]本申请涉及计算机
，更具体地，涉及一种模型生成方法、装置以及电子设备。

技术介绍

[0002]遗忘学习是一种用在机器学习过程中消除数据对模型影响的技术。机器遗忘学习能够保证数据拥有者“被遗忘的权力”，保障用户数据安全与隐私。但是，相关的遗忘学习过程还存在耗时长的缺陷。

技术实现思路

[0003]鉴于上述问题，本申请提出了一种模型生成方法、装置以及电子设备，以改善上述问题。
[0004]第一方面，本申请提供了一种模型生成方法，所述方法包括：从多个第一分组中获取目标分组，所述目标分组为目标数据所对应的第一分组，所述目标数据为请求遗忘的数据；基于模型集合中除参考模型以外的模型，进行模型聚合以得到目标模型，其中，所述模型集合中的每个模型为基于所述多个第一分组中所对应的第一分组的数据预先训练得到，且所述参考模型为基于所述目标分组对应的数据训练得到。
[0005]第二方面，本申请提供了一种模型生成装置，所述装置包括：分组定位单元，用于从多个第一分组中获取目标分组，所述目标分组为目标数据所对应的第一分组，所述目标数据为请求遗忘的数据；模型生成单元，用于基于模型集合中除参考模型以外的模型，进行模型聚合以得到目标模型，其中，所述模型集合中的每个模型为基于所述多个第一分组中所对应的第一分组的数据预先训练得到，且所述参考模型为基于所述目标分组对应的数据训练得到。
[0006]第三方面，本申请提供了一种电子设备，所述电子设备至少包括处理器、以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述方法。
[0007]第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行上述方法。
[0008]本申请提供的一种模型生成方法、装置以及电子设备，在获取到请求遗忘的目标数据后，可以基于目标数据从多个第一分组中获取目标分组，然后将模型集合中与目标分组对应的模型作为参考模型，以基于模型集合中除参考模型以外的模型，进行模型聚合以得到目标模型。从而通过上述方式使得可以将用于进行模型训练的数据进行分组，以得到多个第一分组，进而实现通过分组训练产生可用的模型集合，在这种情况下，在接收到请求对目标数据遗忘时，可以直接定位目标数据对应的目标分组，以排除受影响的模型(参考模型)，并直接通过排除收影响的模型以外的模型进行模型聚合，以得到所需要的目标模型，从而避免在需要对目标数据进行遗忘时需要完全重新进行训练以得到目标模型，以降低遗
忘学习过程的耗时。
附图说明
[0009]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0010]图1示出了本申请实施例中模型生成方法的一种应用场景的示意图；
[0011]图2示出了本申请实施例中模型生成方法的另一种应用场景的示意图；
[0012]图3示出了本申请一实施例提出的一种模型生成方法的流程图；
[0013]图4示出了本申请实施例中一种划分多个一分组的示意图；
[0014]图5示出了本申请实施例中一种得到模型集合的示意图；
[0015]图6示出了本申请另一实施例提出的一种模型生成方法的流程图；
[0016]图7示出了本申请实施例中另一种划分多个一分组的示意图；
[0017]图8示出了本申请一实施例中一种训练过程的流程图；
[0018]图9示出了本申请实施例中得到第一分组对应的局部聚合模型的示意图；
[0019]图10示出了本申请实施例中对多个第一分组各自对应的局部聚合模型进行交换的示意图；
[0020]图11示出了本申请实施例中重新分配多个第一分组所对应的用户的示意图；
[0021]图12示出了本申请实施例中同一个第二分组中包括多个第一分组的示意图；
[0022]图13示出了本申请再一实施例提出的一种模型生成方法的流程图；
[0023]图14示出了本申请实施例中模型对应的训练状态的示意图；
[0024]图15示出了本申请一实施例中训练过程所包括的多个阶段的示意图；
[0025]图16示出了本申请一实施例中模型重组所包括的多个阶段的示意图；
[0026]图17示出了本申请实施例提出的一种模型生成装置的结构框图；
[0027]图18示出了本申请实施例提出的另一种模型生成装置的结构框图；
[0028]图19示出了本申请的用于执行根据本申请实施例的模型生成方法的另一种电子设备的结构框图；
[0029]图20是本申请实施例的用于保存或者携带实现根据本申请实施例的模型生成方法的程序代码的存储单元。
具体实施方式
[0030]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0031]为了使得神经网络模型具有特定的功能，可以通过训练数据对待训练的神经网络模型进行训练，以得到可以具有特定功能的模型。其中，一些用于对神经网络模型进行训练的数据可能会涉及用户隐私，在一些情况下，可能会请求消除一些原本用于训练模型的数
据对模型的影响。例如，通过遗忘学习来实现消除特定的数据对模型影响。
[0032]但是，专利技术人在研究中发现，相关的遗忘学习过程还存在耗时长、且成本高的缺陷。例如，专利技术人发现，在相关的遗忘学习过程中，通常是先从训练数据中删除期望取消对模型造成影响的数据(例如，一些用户的个人隐私数据)，以得到新的训练数据，然后再通过该新的训练数据重新对待训练的模型(还未训练过的模型)进行训练，以得到所需的模型。因为是重新对完全未训练过的模型进行训练，就会造成需要重复模型的训练过程，造成耗时较长，也使得成本较高。
[0033]因此，专利技术人在研究中发现上述问题后，提出了本申请中可以改善上述问题的模型生成方法、装置以及电子设备。在本申请实施例提供的模型生成方法中，在获取到请求遗忘的目标数据后，可以基于目标数据从多个第一分组中获取目标分组，然后将模型集合中与目标分组对应的模型作为参考模型，以基于模型集合中除参考模型以外的模型，进行模型聚合以得到目标模型。
[0034]从而通过上述方式使得可以将用于进行模型训练的数据进行分组，以得到多个第一分组，进而实现通过分组训练产生可用的模型集合，在这种情况下，在接收到请求对目标数据遗忘时，可以直接定位目标数据对应的目标分组，以排除受影响的模型(参考模型)，并直接通过排除收影响的模型以外的模型进行模型聚合，以得到所需要的目标模型，从而避免本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型生成方法，其特征在于，所述方法包括：从多个第一分组中获取目标分组，所述目标分组为目标数据所对应的第一分组，所述目标数据为请求遗忘的数据；基于模型集合中除参考模型以外的模型，进行模型聚合以得到目标模型，其中，所述模型集合中的每个模型为基于所述多个第一分组中所对应的第一分组的数据预先训练得到，且所述参考模型为基于所述目标分组对应的数据训练得到。2.根据权利要求1所述的方法，其特征在于，所述模型集合包括第一模型集合以及第二模型集合，所述第一模型集合包括之前用于进行模型聚合的模型，所述第二模型集合包括之前未用于进行模型聚合的模型，所述基于模型集合中除参考模型以外的模型，进行模型聚合以得到目标模型，包括：基于所述第一模型集合中除第一参考模型以外的模型，获取第一待聚合模型，所述第一参考模型为第一模型集合中与所述目标分组对应的模型；基于所述第二模型集合中除第二参考模型以外的模型，获取第二待聚合模型，所述第二参考模型为第二模型集合中与所述目标分组对应的模型；基于所述第一待聚合模型和所述第二待聚合模型，进行模型聚合以得到目标模型。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一待聚合模型和所述第二待聚合模型，进行模型聚合以得到目标模型，包括：若所述第二模型集合中除第二参考模型以外的模型的数量，大于或者等于所述第一参考模型的数量，基于所述第一待聚合模型和所述第二待聚合模型，进行模型聚合以得到目标模型。4.根据权利要求2所述的方法，其特征在于，所述基于所述第一待聚合模型和所述第二待聚合模型，进行模型聚合以得到目标模型，包括：若所述第二模型集合中除第二参考模型以外的模型的数量，小于所述第一参考模型的数量，获取待处理模型在训练过程中的目标中间状态，所述待处理模型包括第一参考模型和/或所述第二参考模型，所述目标中间状态为根据首次基于所述目标数据对所述待处理模型进行训练之前，所述待处理模型对应的训练状态确定；对所述目标中间状态对应的模型进行继续训练，以得到第三待聚合模型；基于从所述第二待聚合模型以及第三待聚合模型中选择的模型，以及所述第一待聚合模型进行模型聚合，以得到目标模型。5.根据权利要求4所述的方法，其特征在于，所述模型集合中的每个模型为基于所述多个第一分组中所对应的第一分组的数据，进行多轮训练得到，且同一个第一分组在多轮训练过程中用于进行模型训练的数据不尽相同，所述获取待处理模型在训练过程中的目标中间状态，包括：若获取到待处理模型在训练过程中的中间状态有多个，所述中间状态为首次基于使用所述目标数据进行训练之前所述待处理模型对应的训练状态；将多个中间状态中，训练轮次最大的中间状态作为目标中间状态。6.根据权利要求1所述的方法，其特征在于，所述从多个第一分组中获取目标分组，所述目标分组为目标数据所对应的第一分组，所述目标数据为请求遗忘的数据之前还包括：将第一用户集合中的用户进行分组，以得到多个第一分组；
基于多个第一分组中的数据分别对初始模型进行训练，以得到多个第一分组分别对应的模型，以基于所述多个第一分组分别对应的模型得到模型集合，其中，第一分组中的数据包括第一分组中多个用户所对应的数据。7.根据权利要求6所述的方法，其特征在于，所述基于多个第一分组中的数据分别对初始模型进行训练，以得...

【专利技术属性】
技术研发人员：瞿祥谋，王俊，孟丹，齐越，易兰军，徐杰，
申请(专利权)人：深圳市与飞科技有限公司，
类型：发明
国别省市：