机器学习模型的训练方法和装置制造方法及图纸

本申请公开了一种机器学习模型的训练方法和装置，该方法包括：将模型参数和划分为m份的训练数据集下发至(1+a)*m个参数服务器组进行训练，并接收所述参数服务器组的训练结果；其中，所述m为正整数，0<a<1，所述(1+a)*m进一位取整；从而，根据训练次数，对所述训练结果进行处理。本申请实施例提供的机器学习模型的训练方法，通过将模型参数和划分为m份的训练数据集下发给(1+a)*m个参数服务器组进行训练，增加了参数服务器组的数量，当有参数服务器组出现故障而无法训练数据时，会有备用的参数服务器组继续对数据进行运算处理，保证训练过程的正常进行，提高了机器学习模型的训练效率。

【技术实现步骤摘要】
机器学习模型的训练方法和装置
本专利技术一般涉及信息
，具体涉及一种机器学习模型的训练方法和装置。
技术介绍
在现代社会中，人们越来越多地使用快递来收寄物品。尤其是随着电子商务的蓬勃发展，网上购物的方式得到快速普及和应用。加之大数据时代的到来，快递业务每时每刻都在不断地产生着海量的数据。如今，借助机器学习和人工智能技术，通过采集大量的样本数据进行模型训练。从而，当有新数据产生时，就能够方便地使用训练得到的模型对新数据进行处理。在模型的训练过程中，参数训练需要耗费很长的时间，因此缩短参数的训练时间，并提高算法运行效率是亟待解决的技术问题。相关技术中在将训练数据随机划分为一定数目之后，直接下发给相同数目的训练器进行参数训练，并得到训练结果。然而，在参数训练的过程中，训练器会由于庞大的运算数据量而容易发生故障，造成训练速度变慢，进而影响机器学习模型的训练效率。
技术实现思路
鉴于现有技术中的上述缺陷或不足，期望提供一种机器学习模型的训练方法和装置，通过增加节点的配置数量，当有节点出现故障而无法训练数据时，会有备用节点继续对数据进行运算处理，保证训练过程的正常进行，进而提高机器学习模型的训练效率。第一方面，本申请提供一种机器学习模型的训练方法，包括：将模型参数和划分为m份的训练数据集下发至(1+a)*m个参数服务器组进行训练；其中，所述m为正整数，0<a<1，所述(1+a)*m进一位取整；接收所述参数服务器组的训练结果；根据训练次数，对所述训练结果进行处理。第二方面，本申请提供一种机器学习模型的训练装置，包括：下发模块，用于将模型参数和划分为m份的训练数据集下发至(1+a)*m个参数服务器组进行训练；其中，所述m为正整数，0<a<1，所述(1+a)*m进一位取整；接收模块，用于接收所述参数服务器组的训练结果；处理模块，用于根据训练次数，对所述训练结果进行处理。综上，本申请实施例提供的机器学习模型的训练方法和装置，在训练数据集划分为m份之后，将其与模型参数一起下发至(1+a)*m个参数服务器组进行训练，其中，m为正整数，0<a<1，(1+a)*m进一位取整；由于增加了参数服务器组的数量，当有参数服务器组出现故障而无法训练数据时，会有备用的参数服务器组继续对数据进行运算处理；进而，接收参数服务器组的训练结果，并根据训练次数，对训练结果进行处理；基于此，本申请实施例能够在保证训练过程正常进行的同时，提高机器学习模型的训练效率。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1为本申请实施例提供的一种机器学习模型的训练方法的基本流程示意图；图2为本申请实施例提供的一种机器学习模型的训练方法的示例；图3为本申请实施例提供的一种机器学习模型的训练装置；图4为本申请实施例提供的另一种机器学习模型的训练装置；图5为本申请实施例提供的又一种机器学习模型的训练装置；图6为本申请实施例提供的一种计算机系统。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。本申请实施例提供一种机器学习模型的训练方法，该方法应用于终端中。需要说明的是，本申请实施例中所涉及的终端可以包括但不限于个人计算机(PersonalComputer，PC)、个人数字助理(PersonalDigitalAssistant，PDA)、平板电脑(TabletComputer)、无线手持设备和手机等。为了便于理解和说明，下面通过图1至图5详细的阐述本申请实施例提供的机器学习模型的训练方法及装置。请参考图1，其为本申请实施例提供的一种机器学习模型的训练方法的基本流程示意图，该方法包括以下步骤：S101，将模型参数和划分为m份的训练数据集下发至(1+a)*m个参数服务器组进行训练。其中，m为正整数，0<a<1，(1+a)*m进一位取整。举例说明，在训练数据集随机划分为m份之后，将其与模型参数一起下发至(1+a)*m个参数服务器组进行训练，a*m的参数服务器组作为备用参数服务器组。其中，m为大于0的整数，对(1+a)*m以及a*m的计算结果进一位取整。比如当m＝1，a＝10％时，(1+a)*m的计算结果为1.1，进一位取整后为2，即2个参数服务器组；比如当m＝6，a＝20％时，(1+a)*m的计算结果为7.2，进一位取整后为8，即8个参数服务器组。由于增加了参数服务器组的数量，当有参数服务器组出现故障而无法训练数据时，备用的参数服务器组会根据出现故障的参数服务器组在宕机时日志中记录的模型参数和训练结果，继续对数据进行运算处理，有效地提高了机器学习模型的训练效率。需要说明的是，本申请实施例的参数服务器组中还包括主参数服务器和训练参数服务器。其中，主参数服务器具有分发训练参数，并统计各个训练参数服务器反馈的训练结果，以及训练数据的功能，而训练参数服务器则用于根据主参数服务器分发的训练参数进行训练。举例说明，主参数服务器将模型参数和m份的训练数据集分发至参数服务器组中的(1+b)*n个训练参数服务器进行训练，其中，n为正整数，0<b<1，(1+b)*n进一位取整。比如当n＝1，b＝10％时，(1+b)*n的计算结果为1.1，进一位取整后为2，即2个训练参数服务器；比如当n＝5，b＝30％时，(1+b)*n的计算结果为6.5，进一位取整后为7，即7个训练参数服务器。由于增加了训练参数服务器的数量，主参数服务器能够将同等总数量的训练数据集分发给多个训练参数服务器进行训练；对于每个训练参数服务器而言，分发到的训练数据量变小，提高了机器学习模型的训练效率。在每个参数服务器组中，指定一个参数服务器作为该组中的主参数服务器，即主节点(master)，那么其它参数服务器作为训练参数服务器，即从节点(slave)。当主节点由于网络连接不通畅、电源断电以及死机等原因而不能与从节点正常通信，即主节点不能接收从节点的心跳信息，并进行响应时，从(1+b)*n个训练参数服务器中指定或者随机选取一个训练参数服务器作为主参数服务器，以及使用额外配置的备用参数服务器作为主参数服务器。对于指定一个训练参数服务器作为主参数服务器而言，比如，训练参数服务器的数量为10个，编号分别为训练参数服务器1，训练参数服务器2，…，训练参数服务器10，按照依次递补的顺序，主参数服务器出现故障时，训练参数服务器1递补作为主参数服务器，训练参数服务器1的数据可由其继续训练，或者将数据传递给训练本文档来自技高网...

【技术保护点】
1.一种机器学习模型的训练方法，其特征在于，所述方法包括：/n将模型参数和划分为m份的训练数据集下发至(1+a)*m个参数服务器组进行训练；其中，所述m为正整数，0<a<1，所述(1+a)*m进一位取整；/n接收所述参数服务器组的训练结果；/n根据训练次数，对所述训练结果进行处理。/n

【技术特征摘要】
1.一种机器学习模型的训练方法，其特征在于，所述方法包括：
将模型参数和划分为m份的训练数据集下发至(1+a)*m个参数服务器组进行训练；其中，所述m为正整数，0<a<1，所述(1+a)*m进一位取整；
接收所述参数服务器组的训练结果；
根据训练次数，对所述训练结果进行处理。


2.根据权利要求1所述的一种机器学习模型的训练方法，其特征在于，所述将模型参数和划分为m份的训练数据集下发至(1+a)*m个参数服务器组进行训练，还包括：
将所述模型参数和下发给所述参数服务器组的训练数据集分发至所述参数服务器组中的(1+b)*n个训练参数服务器进行训练；其中，所述n为正整数，0<b<1，所述(1+b)*n进一位取整。


3.根据权利要求2所述的一种机器学习模型的训练方法，其特征在于，所述方法还包括：
根据所述训练参数服务器反馈的训练结果以及欧氏距离，丢弃所述训练结果中的异常值；
计算剩余训练结果的平均值；其中，所述训练结果为所述异常值和所述剩余训练结果的集合。


4.根据权利要求3所述的一种机器学习模型的训练方法，其特征在于，所述根据所述训练参数服务器反馈的训练结果以及欧氏距离，丢弃所述训练结果中的异常值，包括：
计算所述训练结果的平均值，所述平均值作为聚类中心；
分别计算每个训练结果与所述聚类中心的欧氏距离；
如果所述欧氏距离大于预设阈值，则将所述欧氏距离对应的训练结果作为异常值进行丢弃。


5.根据权利要求1-4任一项所述的一种机器学习模型的训练方法，其特征在于，所述根据训练次数，对所述训练结果进行处理，包括：
当所述训练次数等于预设次数...

【专利技术属性】
技术研发人员：张强，谈政荣，王栎汉，姚小龙，蔡适择，陈敏，任亚坤，陈军，龚杰文，韩兆鸣，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东;44