联邦学习配置方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例公开了一种联邦学习配置方法、装置、电子设备和存储介质。获取当前节点和关联节点的待处理数据；确定待处理数据的各特征字段是否为待处理特征，以及，确定待处理数据的标签是否为待处理标签；若各特征字段为待处理特征，则确定各待处理特征的处理方式，以及，若各待处理数据的标签为待处理标签，则确定各待处理标签的处理方式；合并各待处理特征和各述待处理标签的处理方式，得到目标处理方式；根据目标处理方式对待处理数据进行处理，得到待学习数据；根据待学习数据训练预设机器学习模型。本申请实施例提高了配置的成功率，降低了人工成本。降低了人工成本。降低了人工成本。

【技术实现步骤摘要】
联邦学习配置方法、装置、电子设备和存储介质


[0001]本申请实施例涉及人工智能技术，尤其涉及一种联邦学习配置方法、装置、电子设备和存储介质。

技术介绍

[0002]联邦学习(Federated Learning)是一种分布式机器学习技术，可以实现数据隐私保护和数据共享计算的平衡。
[0003]联邦学习在机器学习的基础上，增加了联邦思想、密码学、分布式计算、网络通信等更多的算法。不同的算法方案设计和内部逻辑，对专业知识和经验的要求更高。
[0004]人工配置联邦学习的流程，在配置时容易配置错误的流程导致联邦学习失败，且需要配置人员学习大量的专业知识，人工成本高。

技术实现思路

[0005]本申请提供一种联邦学习配置方法、装置、电子设备和存储介质，以提高配置的成功率，降低人工成本。
[0006]第一方面，本申请实施例提供了一种联邦学习配置方法，该联邦学习配置方法包括：
[0007]获取当前节点和关联节点的待处理数据；
[0008]确定待处理数据的各特征字段是否为待处理特征，以及，确定待处理数据的标签是否为待处理标签；
[0009]若各特征字段为待处理特征，则确定各待处理特征的处理方式，以及，若各待处理数据的标签为待处理标签，则确定各待处理标签的处理方式；
[0010]合并各待处理特征和各述待处理标签的处理方式，得到目标处理方式；
[0011]根据目标处理方式对待处理数据进行处理，得到待学习数据；
[0012]根据待学习数据训练预设机器学习模型。
[0013]第二方面，本申请实施例还提供了一种联邦学习配置装置，该联邦学习配置装置包括：
[0014]待处理数据获取模块，用于获取当前节点和关联节点的待处理数据；
[0015]待处理确定模块，用于确定待处理数据的各特征字段是否为待处理特征，以及，确定待处理数据的标签是否为待处理标签；
[0016]处理方式确定模块，用于若各特征字段为待处理特征，则确定各待处理特征的处理方式，以及，若各待处理数据的标签为待处理标签，则确定各待处理标签的处理方式；
[0017]处理方式合并模块，用于合并各待处理特征和各述待处理标签的处理方式，得到目标处理方式；
[0018]待学习数据获取模块，用于根据目标处理方式对待处理数据进行处理，得到待学习数据；
[0019]待学习数据应用模块，用于根据待学习数据训练预设机器学习模型。
[0020]第三方面，本申请实施例还提供了电子设备，该电子设备包括：
[0021]一个或多个处理器；
[0022]存储装置，用于存储一个或多个程序；
[0023]当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本申请实施例提供的任意一种联邦学习配置方法。
[0024]第四方面，本申请实施例还提供了一种包括计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行如本申请实施例提供的任意一种联邦学习配置方法。
[0025]本申请通过获取当前节点和关联节点的待处理数据，获取进行联邦学习的数据；通过确定待处理数据的各特征字段是否为待处理特征，以及，确定待处理数据的标签是否为待处理标签，针对待处理数据的各特征字段和待处理数据的标签确定是否需要进行处理，提高数据的规范性和可用性，若各特征字段为待处理特征，则确定各待处理特征的处理方式，以及，若各待处理数据的标签为待处理标签，则确定各待处理标签的处理方式，减少人工配置工作量，提高后续模型训练的效率和准确性；通过合并各待处理特征和各述待处理标签的处理方式，得到目标处理方式，通过合并各特征字段的处理方式，可以使得所有待处理数据统一依据处理方式进行处理，避免出现特征字段数据格式不统一的现象，提高数据的可用性，保证后续得到的待学习数据能够用于对预设机器学习模型进行训练，通过根据目标处理方式对待处理数据进行处理，使得得到的待学习数据符合模型要求，提高后续模型训练的成功率；通过根据待学习数据训练预设机器学习模型，可以得到进行联邦学习的机器学习模型。因此通过本申请的技术方案，解决了人工配置联邦学习的流程，在配置时容易配置错误的流程导致联邦学习失败，且需要配置人员学习大量的专业知识，人工成本高的问题，达到了提高配置的成功率和降低人工成本的效果。
附图说明
[0026]图1是本申请实施例一中的一种联邦学习配置方法的流程图；
[0027]图2是本申请实施例二中的一种联邦学习配置方法的流程图；
[0028]图3是本申请实施例三中的一种联邦学习配置装置的结构示意图；
[0029]图4是本申请实施例四中的一种电子设备的结构示意图。
具体实施方式
[0030]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0031]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0032]实施例一
[0033]图1为本申请实施例一提供的一种联邦学习配置方法的流程图，本实施例可适用于对联邦学习中的机器学习模型进行配置的情况，该方法可以由联邦学习配置装置执行，该装置可以采用软件和/或硬件实现，并具体配置于联邦学习平台中，例如，计算机。
[0034]参见图1所示的联邦学习配置方法，具体包括如下步骤：
[0035]S110、获取当前节点和关联节点的待处理数据。
[0036]当前节点可以为当前数据平台，用于对待处理数据进行联邦学习。关联节点为当前节点进行联邦学习时，需要获取关联数据的平台。示例性的，当前节点为数据平台A，当前节点对平台中的数据进行处理时，需要联合数据平台B、数据平台C和数据平台D的关联数据进行联邦学习，则数据平台B、数据平台C和数据平台D为数据平台A的关联节点。待处理数据可以为当前节点和关联节点中进行联邦学习需要的数据。
[0037]联邦学习的核心思想是通过在多个拥有本地数据的当前节点和关联节点之间进行分布式模型训练，在不需要交换各节点的本地个体数据或样本数据的前提下，仅通过交换模型参数或中间结果的方式，构建基于虚拟融合数据下的全局模型。从而实现数据隐私保护本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习配置方法，其特征在于，包括：获取当前节点和关联节点的待处理数据；确定所述待处理数据的各特征字段是否为待处理特征，以及，确定所述待处理数据的标签是否为待处理标签；若各所述特征字段为待处理特征，则确定各所述待处理特征的处理方式，以及，若各所述待处理数据的标签为待处理标签，则确定各所述待处理标签的处理方式；合并各所述待处理特征和各所述述待处理标签的处理方式，得到目标处理方式；根据所述目标处理方式对所述待处理数据进行处理，得到待学习数据；根据所述待学习数据训练预设机器学习模型。2.根据权利要求1所述的方法，其特征在于，所述确定所述待处理数据的各特征字段是否为待处理特征，以及，确定所述待处理数据的标签是否为待处理标签，包括：判断所述待处理数据的各特征字段是否符合预设特征处理条件，其中，所述预设特征处理条件包括以下至少一项：存在字符、存在缺失、存在离群点和相关性弱；根据判断结果，确定各所述特征字段是否为所述待处理特征；以及，判断所述待处理数据的标签是否符合预设标签处理条件，其中，所述预设标签处理条件包括以下至少一项：需要指定正例、存在非目标值和存在字符；根据判断结果，确定所述标签是否为所述待处理标签。3.根据权利要求1所述的方法，其特征在于，在所述合并各所述待处理特征和各所述述待处理标签的处理方式之前，还包括：根据所述待处理数据的各所述待处理特征和各所述待处理标签历史处理方式的处理结果，确定目标处理方式建议。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述根据所述待学习数据训练预设机器学习模型，包括：获取所述预设机器学习模型的历史配置数据；根据所述历史配置数据的配置结果，更新所述预设机器学习模型；根据所述待学习数据，训练更新后的预设机器学习模型。5.根据权利要求4所述的方法，其特征在于，所述根据所述历史配置数据的配置结果，更新所述预设机器学习模型，包括：确定所述配置结果为配置失败的历史配置数据的失败原因；若所述失败原因为配置流程缺失，则根据所缺失流程的缺失信息，更新所述预设机器学习模型；否则，确定所述配置结果为配置成功的历史配置数据所配置的预设机器学习模型的模型评价结果；选取模型评价结果最高的历史配置数据...

【专利技术属性】
技术研发人员：赵骁飞，兰春嘉，
申请(专利权)人：上海零数众合信息科技有限公司，
类型：发明
国别省市：