机器学习模型的训练方法和装置制造方法及图纸

本申请公开了一种机器学习模型的训练方法和装置，该方法包括：将模型参数和划分为m份的训练数据集下发至(1+a)*m个参数服务器组进行训练，并接收所述参数服务器组的训练结果；其中，所述m为正整数，0<a<1，所述(1+a)*m进一位取整；从而，根据训练次数，对所述训练结果进行处理。本申请实施例提供的机器学习模型的训练方法，通过将模型参数和划分为m份的训练数据集下发给(1+a)*m个参数服务器组进行训练，增加了参数服务器组的数量，当有参数服务器组出现故障而无法训练数据时，会有备用的参数服务器组继续对数据进行运算处理，保证训练过程的正常进行，提高了机器学习模型的训练效率。

【技术实现步骤摘要】
机器学习模型的训练方法和装置
本专利技术一般涉及信息
，具体涉及一种机器学习模型的训练方法和装置。
技术介绍
在现代社会中，人们越来越多地使用快递来收寄物品。尤其是随着电子商务的蓬勃发展，网上购物的方式得到快速普及和应用。加之大数据时代的到来，快递业务每时每刻都在不断地产生着海量的数据。如今，借助机器学习和人工智能技术，通过采集大量的样本数据进行模型训练。从而，当有新数据产生时，就能够方便地使用训练得到的模型对新数据进行处理。在模型的训练过程中，参数训练需要耗费很长的时间，因此缩短参数的训练时间，并提高算法运行效率是亟待解决的技术问题。相关技术中在将训练数据随机划分为一定数目之后，直接下发给相同数目的训练器进行参数训练，并得到训练结果。然而，在参数训练的过程中，训练器会由于庞大的运算数据量而容易发生故障，造成训练速度变慢，进而影响机器学习模型的训练效率。
技术实现思路
鉴于现有技术中的上述缺陷或不足，期望提供一种机器学习模型的训练方法和装置，通过增加节点的配置数量，当有节点出现故障而无法训练数据本文档来自技高网...

【技术保护点】
1.一种机器学习模型的训练方法，其特征在于，所述方法包括：/n将模型参数和划分为m份的训练数据集下发至(1+a)*m个参数服务器组进行训练；其中，所述m为正整数，0<a<1，所述(1+a)*m进一位取整；/n接收所述参数服务器组的训练结果；/n根据训练次数，对所述训练结果进行处理。/n

【技术特征摘要】
1.一种机器学习模型的训练方法，其特征在于，所述方法包括：
将模型参数和划分为m份的训练数据集下发至(1+a)*m个参数服务器组进行训练；其中，所述m为正整数，0<a<1，所述(1+a)*m进一位取整；
接收所述参数服务器组的训练结果；
根据训练次数，对所述训练结果进行处理。


2.根据权利要求1所述的一种机器学习模型的训练方法，其特征在于，所述将模型参数和划分为m份的训练数据集下发至(1+a)*m个参数服务器组进行训练，还包括：
将所述模型参数和下发给所述参数服务器组的训练数据集分发至所述参数服务器组中的(1+b)*n个训练参数服务器进行训练；其中，所述n为正整数，0<b<1，所述(1+b)*n进一位取整。


3.根据权利要求2所述的一种机器学习模型的训练方法，其特征在于，所述方法还包括：
根据所述训练参数服务器反馈的训练结果以及欧氏距离，丢弃所述训练结果中的异常值；
计算剩余训练结果的平均值；其中，所述训练结果为所述异常值和所述剩余训练结果的集合。


4.根据权利要求3所述的一种机器学习模型的训练方法，其特征在于，所述根据所述训练参数服务器反馈的训练结果以及欧氏距离，丢弃所述训练结果中的异常值，包括：
计算所述训练结果的平均值，所述平均值作为聚类中心；
分别计算每个训练结果与所述聚类中心的欧氏距离；
如果所述欧氏距离大于预设阈值，则将所述欧氏距离对应的训练结果作为异常值进行丢弃。


5.根据权利要求1-4任一项所述的一种机器学习模型的训练方法，其特征在于，所述根据训练次数，对所述训练结果进行处理，包括：
当所述训练次数等于预设次数...

【专利技术属性】
技术研发人员：张强，谈政荣，王栎汉，姚小龙，蔡适择，陈敏，任亚坤，陈军，龚杰文，韩兆鸣，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东;44