一种数据集匹配的模型确定方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据集匹配的模型确定方法、装置、设备及存储介质，该方法包括：针对每种模型，主节点将模型的配置参数进行分组，并分配给对应的从节点，以使每个从节点对模型进行配置；针对每种配置了不同分组的配置参数的多个模型，主节点控制至少两个从节点对多个模型进行训练，并控制从节点确定每个模型的性能数据以及反馈性能数据；主节点根据每个从节点反馈的性能数据确定每种模型的最优配置参数；主节点控制至少两个从节点将目标数据集输入到配置有最优配置参数的每种模型中，以确定每种模型的性能数据；主节点根据每种模型的性能数据，确定与目标数据集最匹配的，且配置有最优配置参数的模型，可以提高效率，节省时间。

A model determination method, device, equipment and storage medium for data set matching

【技术实现步骤摘要】
一种数据集匹配的模型确定方法、装置、设备及存储介质
本专利技术实施例涉及数据处理技术，尤其涉及一种数据集匹配的模型确定方法、装置、设备及存储介质。
技术介绍
随着大数据时代的到来，通过模型进行数据处理被广泛的应用于各种场景。而随着模型算法的发展，模型中的数学表达越来越复杂。当数据处理时，为了使模型达到最优状态，需要人工大量耗时去测试模型；而且针对不同的数据集，模型的配置参数可能完全不同，当针对不同的数据集时，需要人工针对每个数据集进行各项配置参数的测试调优。并且现在的模型数量较多，还需要人工为每一个模型配置最优的配置参数后，再进行模型之间的比较，得到与数据集最匹配的模型，上述的方法费时费力，效率较低。
技术实现思路
本专利技术实施例提供了一种数据集匹配的模型确定方法、装置、设备及存储介质，可以节省时间，提高效率。第一方面，本专利技术实施例提供了一种数据集匹配的模型确定方法，包括：针对每种模型，主节点将模型的配置参数进行分组，将每个分组的配置参数分配给对应的从节点，以使每个从节点根据分组的配置参数对模型进行配置；针对每种配置了不同分组的配置参数的多个模型，所述主节点控制至少两个从节点对所述多个模型进行训练，并控制从节点确定每个模型的性能数据以及反馈所述性能数据；所述主节点接收每个从节点反馈的模型的性能数据，并基于所述性能数据确定每种模型的最优配置参数；所述主节点控制至少两个从节点将目标数据集输入到配置有最优配置参数的每种模型中，以确定每种模型的性能数据；所述主节点根据所述至少两个从节点反馈的每种模型的性能数据，确定与目标数据集最匹配的，且配置有最优配置参数的模型。第二方面，本专利技术实施例还提供了一种数据集的模型确定方法，包括：从节点接收主节点发送的模型分组的配置参数，并根据分组的配置参数对模型进行配置；所述从节点对分配的模型进行训练，并确定模型的性能数据以及反馈所述性能数据，以使主节点基于每个从节点反馈的模型的性能数据确定每种模型的最优配置参数；所述从节点将目标数据集输入到对应的配置有最优配置参数的模型中，以确定模型的性能数据，并反馈给所述主节点，以使主节点根据每个从节点反馈的每种模型的性能数据，确定与所述目标数据集最匹配的，且配置有最优配置参数的模型。第三方面，本专利技术实施例还提供了一种数据集匹配的模型确定方法，包括：针对每种模型，主节点将模型的配置参数进行分组，将每个分组的配置参数分配给对应的从节点；所述从节点根据分组的配置参数对模型进行配置；针对每种配置了不同分组的配置参数的多个模型，所述主节点将每个模型分配给至少两个从节点，以使从节点对模型进行训练、并确定每个模型的性能数据以及反馈所述性能数据；所述主节点接收每个所述从节点反馈的模型的性能数据，并基于所述性能数据确定每种模型的最优配置参数；所述主节点将目标数据集分配给至少两个从节点；所述从节点将目标数据集输入到配置有最优配置参数的每种模型中，以确定每种模型的性能数据；所述主节点根据所述至少两个从节点反馈的每种模型的性能数据，确定与目标数据集最匹配的，且配置有最优配置参数的模型。第四方面，本专利技术实施例提供了一种数据集匹配的模型确定装置，包括：分组模块，用于针对每种模型，将模型的配置参数进行分组，将每个分组的配置参数分配给对应的从节点，以使每个从节点根据分组的配置参数对模型进行配置；第一控制模块，用于针对每种配置了不同分组的配置参数的多个模型，控制至少两个从节点对所述多个模型进行训练，并控制从节点确定每个模型的性能数据以及反馈所述性能数据；第一确定模块，用于接收每个从节点反馈的模型的性能数据，并基于所述性能数据确定每种模型的最优配置参数；第二控制模块，用于控制至少两个从节点将目标数据集输入到配置有最优配置参数的每种模型中，以确定每种模型的性能数据；第二确定模块，用于根据所述至少两个从节点反馈的每种模型的性能数据，确定与目标数据集最匹配的，且配置有最优配置参数的模型。第五方面，本专利技术实施例提供了一种设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术实施例提供的一种数据集的匹配的模型确定方法。第六方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术实施例提供的一种数据集的匹配的模型确定方法。本专利技术实施例提供的技术方案，针对每种模型，主节点通过将模型的配置参数进行分组，并将每个分组的配置参数分配给对应的从节点，以使从节点根据分组的配置参数对模型进行配置；针对每种配置了不同配置参数多个模型，主节点通过控制至少两个从节点对多个模型进行训练，并控制从节点确定每个模型的性能数据；主节点通过每个从节点反馈的性能数据，确定每种模型的最优配置参数；主节点通过控制至少两个从节点将目标数据集输入到配置有最优配置参数的每种模型中，以确定每种配置有最优配置参数的模型的性能数据，并根据该性能数据确定与目标数据集最匹配，且配置有最优配置参数的模型。即针对配置了不同配置参数的每种模型，通过对模型进行分布式测试，得到每种模型的最优配置参数；针对配置了最优配置参数的多种模型，通过对模型进行分布式测试，得到与目标数据集最匹配的，且配置了最优配置参数的模型，可以使每个数据集有最匹配的，且配置有最优配置参数的模型，可以节省时间，提高效率。附图说明图1是本专利技术实施例提供的一种数据集匹配的模型确定方法流程图；图2是本专利技术实施例提供的一种数据集匹配的模型确定方法流程图；图3a是本专利技术实施例提供的一种数据集匹配的模型确定方法流程图；图3b是本专利技术实施例提供的一种数据集匹配的模型确定方法与相关技术方案的比对图；图4是本专利技术实施例提供的一种数据集匹配的模型确定装置结构框图；图5是本专利技术实施例提供的一种数据集匹配的模型确定装置结构框图；图6是本专利技术实施例提供的一种设备结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。图1是本专利技术实施例提供的一种数据集匹配的模型确定方法流程图，所述方法由数据集匹配的模型确定装置来执行，所述装置可以由软件和/或硬件来实现，所述装置可以配置在主节点中，主节点可以是主机器设备。本专利技术实施例提供的方法可以应用于从多种模型中选择与数据集最匹配模型的场景中。如图1所示，本专利技术实施例提供的技术方案包括：S110：针对每种模型，主节点将模型的配置参数进行分组，将每个分组的配置参数分配给对应的从节点，以使每个从节点根据分组的配置参数对模型进行配置。在本专利技术实施例中，可选的，模型可以是算法模型。其中，模型的配置参数，可以是模型的层数、模型的迭代次数，或者是其他配置参数等。针对每种模型，可以有多种不同的配置参数。可以将多种配置参数进行分组，并将分组的配置参数分配给对应的从节点。其中，当对模型进行配置时，可以进行分布式配置。具体的，主节点可以将一个分组的配置参数分配给一个从节点，也可以将设定数量的配置参数分配给一个从节点。也就是说主节点在分配任务时，可以将每个分组的配置参数对应一个从节点本文档来自技高网...

【技术保护点】
1.一种数据集匹配的模型确定方法，其特征在于，包括：针对每种模型，主节点将模型的配置参数进行分组，将每个分组的配置参数分配给对应的从节点，以使每个从节点根据分组的配置参数对模型进行配置；针对每种配置了不同分组的配置参数的多个模型，所述主节点控制至少两个从节点对所述多个模型进行训练，并控制从节点确定每个模型的性能数据以及反馈所述性能数据；所述主节点接收每个从节点反馈的模型的性能数据，并基于所述性能数据确定每种模型的最优配置参数；所述主节点控制至少两个从节点将目标数据集输入到配置有最优配置参数的每种模型中，以确定每种模型的性能数据；所述主节点根据所述至少两个从节点反馈的每种模型的性能数据，确定与目标数据集最匹配的，且配置有最优配置参数的模型。

【技术特征摘要】
1.一种数据集匹配的模型确定方法，其特征在于，包括：针对每种模型，主节点将模型的配置参数进行分组，将每个分组的配置参数分配给对应的从节点，以使每个从节点根据分组的配置参数对模型进行配置；针对每种配置了不同分组的配置参数的多个模型，所述主节点控制至少两个从节点对所述多个模型进行训练，并控制从节点确定每个模型的性能数据以及反馈所述性能数据；所述主节点接收每个从节点反馈的模型的性能数据，并基于所述性能数据确定每种模型的最优配置参数；所述主节点控制至少两个从节点将目标数据集输入到配置有最优配置参数的每种模型中，以确定每种模型的性能数据；所述主节点根据所述至少两个从节点反馈的每种模型的性能数据，确定与目标数据集最匹配的，且配置有最优配置参数的模型。2.根据权利要求1所述的方法，其特征在于，所述主节点控制至少两个从节点对所述多个模型进行训练；所述主节点将第一数据集分别分配给至少两个从节点，以使每个所述从节点基于第一数据集对对应的模型进行训练；所述控制从节点确定每个模型的性能数据以及反馈所述性能数据，包括：所述主节点将第二数据集分配给至少两个从节点，以使每个所述从节点将所述第二数据集输入到对应的模型中以确定模型的性能数据，并向所述主节点反馈所述模型的性能数据。3.根据权利要求1所述的方法，其特征在于，所述主节点根据每个从节点反馈的每种模型的性能数据，确定与目标数据集最匹配的，且配置有最优配置参数的模型，包括：所述主节点根据每个从节点反馈的AUC值，将最大AUC值对应的模型作为与目标数据集最匹配的，且配置有最优配置参数的模型。4.根据权利要求2所述的方法，其特征在于，还包括：从全数据集中进行随机抽样，得到第一数据集。5.一种数据集的模型确定方法，其特征在于，包括：从节点接收主节点发送的模型分组的配置参数，并根据分组的配置参数对模型进行配置；所述从节点对分配的模型进行训练，并确定模型的性能数据以及反馈所述性能数据，以使主节点基于每个从节点反馈的模型的性能数据确定每种模型的最优配置参数；所述从节点将目标数据集输入到对应的配置有最优配置参数的模型中，以确定模型的性能数据，并反馈给所述主节点，以使主节点根据每个从节点反馈的每种模型的性能数据，确定与所述目标数据集最匹配的，且配置有最优配置参数的模型。6.根据权利要求5所述的方法，其特征在于，所述从节点将目标数据集输入到对应的配置有最优配置参数的模型...

【专利技术属性】
技术研发人员：肖淋峰，吴志坚，
申请(专利权)人：深圳乐信软件技术有限公司，
类型：发明
国别省市：广东,44