一种用于分布式模型训练的训练样本重组方法及系统技术方案

本说明书一个或多个实施例涉及一种用于分布式模型训练的训练样本重组方法及系统，所述方法由参与方中的服务器实现；所述方法包括：获取融合训练样本集；所述融合训练样本集包括来自一个或多个训练成员的训练样本；获取第一模型，并将所述第一模型发送给各训练成员；对各训练成员进行一轮或多轮训练样本重组，其中每轮重组包括：获取当前轮的传输比例系数；基于所述传输比例系数为各训练成员选择部分训练样本并下发；获取各训练成员上传的当前轮对应的模型性能参数；所述当前轮对应的模型性能参数为训练成员基于自身持有的训练样本以及服务器下发的训练样本进行训练得到的模型的模型性能参数；确定进行下一轮重组，或者停止重组。

A training sample reorganization method and system for distributed model training

【技术实现步骤摘要】
一种用于分布式模型训练的训练样本重组方法及系统
本说明书一个或多个实施例涉及多方协同模型训练，特别涉及一种用于分布式模型训练的训练样本重组方法和系统。
技术介绍
在数据分析、数据挖掘、经济预测等领域，分布式模型训练可以在保证多方数据安全的情况下，协同训练机器学习模型供多方共同使用的场景。但是，在分布式模型训练中，期望多方持有的数据集均是相同分布、数据特征之间相互独立的。对于各方数据集非独立同分布状态（Non-IID）时，由于各方持有数据分布的不均匀性，采用分布式学习进行模型训练会使得模型训练过程产生偏差，进而影响训练得到模型的整体性能。因此，有必要提出一种用于分布式模型训练的训练样本重组方法以降低各方数据分布不均匀的问题。
技术实现思路
本说明书一个方面提供一种用于分布式模型训练的训练样本重组方法，所述方法由参与方中的服务器实现，其中，所述参与方包括多个训练成员以及服务器；所述方法包括：获取融合训练样本集；所述融合训练样本集包括来自一个或多个训练成员的训练样本；获取第一模型，并将所述第一模型发送给各训练成员；对各训练成员进行一轮或多轮训练样本重组，其中每轮重组包括：获取当前轮的传输比例系数；基于所述传输比例系数为各训练成员从所述融合训练样本集中选择部分训练样本并下发；获取各训练成员上传的当前轮对应的模型性能参数；所述当前轮对应的模型性能参数为训练成员基于自身持有的训练样本以及服务器下发的训练样本进行模型训练得到的模型的模型性能参数；确定进行下一轮重组，或者停止重组。本说明书另一个方面提供一种基于分布式模型训练的训练样本重组系统，所述系统由参与方中的服务器实现，其中，所述参与方包括多个训练成员以及服务器；所述系统包括：融合训练样本集获取模块：用于获取融合训练样本集；所述融合训练样本集包括来自一个或多个训练成员的训练样本；第一初始模型获取模块：用于获取第一模型，并将所述第一模型发送给各训练成员；第一训练样本重组模块：用于对各训练成员进行一轮或多轮训练样本重组，其进一步包括以下单元以完成任一轮训练样本重组：传输比例系数获取单元：用于获取当前轮的传输比例系数；训练样本集下发单元：用于基于所述传输比例系数为各训练成员从所述融合训练样本集中选择部分训练样本并下发；模型性能参数获取单元：用于获取各训练成员上传的当前轮对应的模型性能参数；所述当前轮对应的模型性能参数为训练成员基于自身持有的训练样本以及服务器下发的训练样本进行模型训练得到的模型的模型性能参数；确定单元，用于确定进行下一轮重组，或者停止重组。本说明书另一个方面提供一种基于分布式模型训练的训练样本重组装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述处理器用于执行所述指令，以实现所述基于分布式模型训练的训练样本重组的操作。本说明书另一个方面提供一种基于分布式模型训练的训练样本重组方法，所述方法由参与方中的任一训练成员实现，其中，所述参与方包括多个训练成员以及服务器；所述方法包括：从自身持有的训练样本集中选择部分训练样本，并上传给服务器；获取第一模型；进行一轮或多轮训练样本重组，其中每轮重组包括：获取服务器下发的训练样本，所述下发的训练样本为融合训练样本集的一部分；所述融合训练样本集包括一个或多个训练成员上传至服务器的训练样本；将自身持有的训练样本与服务器下发的训练样本进行重组，获得重组训练样本集；基于重组样本集以及所述第一模型进行模型训练，获得当前轮对应的训练后的模型；确定所述训练后的模型的模型参数性能，将其作为当前轮对应的模型性能参数并上传给服务器。本说明书另一个方面提供一种基于分布式模型训练的训练样本重组系统，所述系统由参与方中的任一训练成员实现，其中，所述参与方包括多个训练成员以及服务器；所述系统包括：训练样本上传模块：用于从自身持有的训练样本集中选择部分训练样本，并上传给服务器；第二初始模型获取模块：用于获取第一模型；第二训练样本重组模块：用于进行一轮或多轮训练样本重组，其进一步包括以下单元以完成任一轮训练样本重组：训练样本获取单元：用于获取服务器下发的训练样本，所述下发的训练样本为融合训练样本集的一部分；所述融合训练样本集包括一个或多个训练成员上传给服务器的训练样本；重组训练样本集获取单元：用于将自身持有的训练样本与服务器下发的训练样本进行重组，获得重组训练样本集；更新模型获取单元：用于基于重组样本集以及所述第一模型进行模型训练，获得当前轮对应的训练后的模型；模型参数性能确定单元：用于确定所述训练后的模型的模型参数性能，将其作为当前轮对应的模型性能参数并上传给服务器。本说明书另一个方面提供一种基于分布式模型训练的训练样本重组装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述处理器用于执行所述指令，以实现所述基于分布式模型训练的训练样本重组的操作。附图说明本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1为根据本说明书的一些实施例所示的用于分布式模型训练的训练样本重组系统的示例性应用场景图；图2是根据本说明书一些实施例所示的用于分布式模型训练的训练样本重组方法的示例性流程图；图3是根据本说明书一些实施例所示的用于分布式模型训练的训练样本重组方法的示例性流程图；图4是根据本说明书的一些实施例所示的用于分布式模型训练的训练样本重组方法的交互示意图。具体实施方式为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。在经济、文化、教育、医疗、公共管理等各行各业充斥的大量信息数据，对其进行例如数据分析、数据挖掘、以及趋势预测等的数据处理分析在越来越多场景中得到广泛应用。其中，通过数据合作的方式可以使多个数据拥有方获得更好的数据本文档来自技高网...

【技术保护点】
1.一种用于分布式模型训练的训练样本重组方法，所述方法由参与方中的服务器实现，其中，所述参与方包括多个训练成员以及服务器；所述方法包括：/n获取融合训练样本集；所述融合训练样本集包括来自一个或多个训练成员的训练样本；/n获取第一模型，并将所述第一模型发送给各训练成员；/n对各训练成员进行一轮或多轮训练样本重组，其中每轮重组包括：/n获取当前轮的传输比例系数；/n基于所述传输比例系数为各训练成员从所述融合训练样本集中选择部分训练样本并下发；/n获取各训练成员上传的当前轮对应的模型性能参数；所述当前轮对应的模型性能参数为训练成员基于自身持有的训练样本以及服务器下发的训练样本进行模型训练得到的模型的模型性能参数；/n确定进行下一轮重组，或者停止重组。/n

【技术特征摘要】
1.一种用于分布式模型训练的训练样本重组方法，所述方法由参与方中的服务器实现，其中，所述参与方包括多个训练成员以及服务器；所述方法包括：
获取融合训练样本集；所述融合训练样本集包括来自一个或多个训练成员的训练样本；
获取第一模型，并将所述第一模型发送给各训练成员；
对各训练成员进行一轮或多轮训练样本重组，其中每轮重组包括：
获取当前轮的传输比例系数；
基于所述传输比例系数为各训练成员从所述融合训练样本集中选择部分训练样本并下发；
获取各训练成员上传的当前轮对应的模型性能参数；所述当前轮对应的模型性能参数为训练成员基于自身持有的训练样本以及服务器下发的训练样本进行模型训练得到的模型的模型性能参数；
确定进行下一轮重组，或者停止重组。


2.根据权利要求1所述的方法，所述获取第一模型，包括：
利用所述融合训练样本集对初始模型进行训练，得到所述第一模型。


3.根据权利要求1所述的方法，所述获取当前轮的传输比例系数，包括：
通过搜索算法获取所述传输比例系数。


4.根据权利要求1所述的方法，所述当前轮对应的模型性能参数为训练成员利用自身持有的训练样本以及当前轮服务器下发的训练样本训练所述第一模型得到的模型的模型性能参数。


5.根据权利要求1所述的方法，所述确定进行下一轮重组，或者停止重组，包括：
若重组轮数小于设定阈值，则确定进行下一轮重组；否则，停止重组。


6.根据权利要求5所述的方法，当确定停止重组后，还包括：
计算来自各训练成员的当前轮对应的模型性能参数的平均值，得到当前轮对应的平均性能；
获取此前多轮重组所计算的平均性能；
将最优平均性能对应的重组轮次中各训练成员的训练样本重组结果确定为最终的重组结果。


7.根据权利要求1所述的方法，所述确定进行下一轮重组，或者停止重组，包括：
基于各训练成员的当前轮对应的模型性能参数确定预设条件是否被满足；若被满足，则停止重组并将当前轮中各训练成员的训练样本重组结果确定为最终的重组结果；否则，确定进行下一轮重组。


8.根据权利要求6或7所述的方法，所述方法还包括：
通知各训练成员最终的重组结果对应的重组轮次。


9.根据权利要求1所述的方法，各训练成员上传给服务器的训练样本、服务器下发给训练成员的训练样本以及各训练成员上传给服务器的当前轮对应的模型性能参数均以密文形式传输。


10.一种基于分布式模型训练的训练样本重组系统，所述系统由参与方中的服务器实现，其中，所述参与方包括多个训练成员以及服务器；所述系统包括：
融合训练样本集获取模块：用于获取融合训练样本集；所述融合训练样本集包括来自一个或多个训练成员的训练样本；
第一初始模型获取模块：用于获取第一模型，并将所述第一模型发送给各训练成员；
第一训练样本重组模块：用于对各训练成员进行一轮或多轮训练样本重组，其进一步包括以下单元以完成任一轮训练样本重组：
传输比例系数获取单元：用于获取当前轮的传输比例系数；
训练样本下发单元：用于基于所述传输比例系数为各训练成员从所述融合训练样本集中选择部分训练样本并下发；
模型性能参数获取单元：用于获取各训练成员上传的当前轮对应的模型性能参数；所述当前轮对应的模型性能参数为训练成员基于自身持有的训练样本以及服务器下发的训练样本进行模型训练得到的模型的模型性能参数；
确定单元，用于确定进行下一轮重组，或者停止重组。


11.一种用于分布式模型训练的训练样本重组的装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述处理器用于执行所述指令，以实现如权利要求1至9中任一项所述用于分布式模型训练的训练样本重组的操作。


12.一种基于分布式...

【专利技术属性】
技术研发人员：郑龙飞，周俊，王力，陈超超，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33