用于模型自动训练的方法、装置及处理器制造方法及图纸

本申请涉及人工智能领域，公开了一种用于模型自动训练的方法、装置及处理器。方法包括：调用训练服务模块从业务层获取待训练的目标算法模型以及待训练的目标算法模型的训练数据集；通过算法配置模块获取待训练的目标算法模型的初始化超参数；将初始化超参数发送至实验服务模块，以使实验服务模块获取到与初始化超参数对应的初始化超参数组合，其中，初始化超参数组合中包括通过参数调谐模块根据参数确定的多个初始化超参数；将初始化超参数组合与训练数据集中包含的训练数据生成对应的训练单元；调用计算服务模块通过训练单元对待训练的目标算法模型进行训练，以得到训练完毕的目标算法模型。通过上述技术方案减少对训练算法的入侵提高了稳定性。法的入侵提高了稳定性。法的入侵提高了稳定性。

【技术实现步骤摘要】
用于模型自动训练的方法、装置及处理器


[0001]本申请涉及人工智能领域，具体涉及一种用于模型自动训练的方法、装置及处理器。

技术介绍

[0002]随着人工智能的快速发展，各行各业都加快了产业与人工智能联合的步伐。近年来深度学习的逐渐成熟与GPU性能的提高，将计算机视觉推到了一个新的高度，这也极大促进了无人驾驶行业的快速发展。无人驾驶技术中，对图像信息进行分类识别是其核心技术之一。
[0003]在现有的开源自动训练系统方案中，对于目标模型的训练的每一次训练，都需要对算法代码进行修改或是调整，以及对训练的超参数进行选择或者排列组合。这样在对目标算法模型的训练过程中，受到外界的干扰因素会增加，算法代码的不断修改也容易造成误差变大，造成系统的稳定性不高。并且接受模型训练的超参数组合也不够完善，导致系统的可拓展性不足。

技术实现思路

[0004]有鉴于此，本申请的目的是为了克服现有技术存在的系统不稳定，可拓展性不足的问题，本申请实施例的目的是提供一种用于模型自动训练的方法、装置以及处理器。
[0005]为了实现上述目的，本申请一方面提供一种用于模型自动训练的方法，方法包括：
[0006]调用训练服务模块从业务层获取待训练的目标算法模型以及待训练的目标算法模型的训练数据集；
[0007]通过算法配置模块获取待训练的目标算法模型的初始化超参数；
[0008]将初始化超参数发送至实验服务模块，以使实验服务模块获取到与初始化超参数对应的初始化超参数组合，其中，初始化超参数组合中包括通过参数调谐模块根据参数确定的多个初始化超参数；
[0009]将初始化超参数组合与训练数据集中包含的训练数据生成对应的训练单元；
[0010]调用计算服务模块通过训练单元对待训练的目标算法模型进行训练，以得到训练完毕的目标算法模型。
[0011]在本申请实施例中，将初始化超参数发送至实验服务模块，以使实验服务模块获取到与初始化超参数对应的初始化超参数组合包括：调用实验服务模块向参数调谐器模块发送超参数搜索请求；参数调谐器在接收到超参数搜索请求后，利用预设规则根据参数确定出对应的多个初始化超参数。
[0012]在本申请实施例中，将初始化超参数组合与训练数据集中包含的训练数据组成对应的训练单元还包括：将初始化超参数组合与训练数据集中包含的训练数据以及训练状态参数组成对应的训练单元，训练状态参数包括目标算法模型的输入数据和输出数据的存放位置以及训练单元的训练任务运行状态中的至少一者。
[0013]在本申请实施例中，调用计算服务模块通过训练单元对待训练的目标算法模型进行训练，以得到训练完毕的目标算法模型包括：确定目标算法模型的准确率与召回率；在确定准确率与召回率均未达到预设条件的情况下，返回至通过算法配置模块获取待训练的目标算法模型的初始化超参数的步骤，直到目标算法模型的准确率与召回率均达到预设条件，确定目标算法模型训练完毕。
[0014]在本申请实施例中，方法还包括：将训练完毕的目标算法模型发送至训练服务模块；调用训练服务模块将训练完毕的目标算法模型传输至业务层，以使业务层调用训练完毕的目标模型进行使用。
[0015]在本申请实施例中，目标算法模型的数量有多个，将训练完毕的目标模型发送至训练服务模块包括：确定每个训练完毕的目标模型的准确率与召回率；在准确率最高的和/或召回率最高的训练完毕的目标模型作为待使用模型；将待使用模型发送至训练服务模块。
[0016]在本申请实施例中，调用训练服务模块从业务层获取待训练的目标算法模型以及待训练的目标算法模型的训练数据集包括：获取目标业务需求；在目标业务需求为对自动驾驶数据的预测模型进行训练的情况下，调用训练服务模块从业务层获取自动驾驶数据算法模型作为目标算法模型。
[0017]在本申请实施例中，训练数据集中包括车辆在自动驾驶状态下采集到的路况图像。
[0018]本申请第二方面提供了一种处理器，程序被处理器运行时用于执行根据上述任意一项的用于模型自动训练的方法。
[0019]本申请第三方面提供了一种用于模型自动训练装置，训练服务模块，被配置成从业务层获取待训练的目标算法模型以及待训练的目标算法模型的训练数据集；算法配置模块，被配置成获取待训练的目标算法模型的初始化超参数；实验服务模块，被配置成接收初始化参数，并将获取到的初始化超参数组合中的初始化超参数组合与训练数据集中包含的训练数据组成对应的训练单元；参数调谐模块，被配置成根据初始化超参数确定与初始化超参数对应的初始化超参数组合，初始化超参数组合中包括通过参数调谐模块根据参数确定的多个初始化超参数；计算服务模块，被配置成通过训练单元对待训练的目标算法模型进行训练，以得到训练完毕的目标算法模型；以及上述提供的处理器。
[0020]上述技术方案，通过调用训练服务模块从业务层获取待训练的目标算法模型以及待训练的目标算法模型的训练数据集，通过算法配置模块获取与待训练的目标算法模型的初始化超参数，将初始化超参数发送至实验服务模块，以使实验服务模块获取到与初始化超参数对应的初始化超参数组合，其中，初始化超参数组合中包括通过参数调谐模块根据参数确定的多个初始化超参数，将初始化超参数组合与训练数据集中包含的训练数据生成对应的训练单元，调用计算服务模块通过训练单元对目标算法模型进行训练，以得到训练完毕的目标算法模型。在本申请的技术方案中，从本地获得目标算法模型后，不需要对目标算法模型做任何修改，就可以按照设置的初始化超参数获得若干初始化超参数组合，从而通过得到的初始化超参数组合对目标算法进行训练。本申请的技术方案中，通过初始化超参数获得的初始化超参数组合从而生成与目标算法模块对应的训练单元，实现对目标算法的大规模训练，则不需要通过对算法代码的反复调整或是修改，减少了在修改中带来的数
据误差，提高了训练算法的封闭性，减少了对训练算法的入侵，使得运行系统的稳定性得到了提高。并且，在本申请的技术方案中，不需要对接受模型训练的初始化超参数组合进行选择与排列，通过实验服务模块以及参数调谐模块可以得到完整的与超参数相关的所有初始化超参数组合，再由完善的初始化超参数组合生成训练单元对模型算法进行训练，可以提高系统的可拓展性，并且对于算法模型的训练更加完善。
附图说明
[0021]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施方式及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0022]图1示意性示出了根据本申请一实施例的用于模型自动训练的方法的流程示意图；
[0023]图2示意性示出了根据本申请一实施例的用于模型自动训练装置的结构框图；
[0024]图3示意性示出了根据本申请实施例的计算机设备的内部结构图。
具体实施方式
[0025]以下结合附图对本申请实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于模型自动训练的方法，其特征在于，所述方法包括：调用训练服务模块从业务层获取待训练的目标算法模型以及所述待训练的目标算法模型的训练数据集；通过算法配置模块获取所述待训练的目标算法模型的初始化超参数；将所述初始化超参数发送至实验服务模块，以使所述实验服务模块获取到与所述初始化超参数对应的初始化超参数组合，其中，所述初始化超参数组合中包括通过参数调谐模块根据参数确定的多个初始化超参数；将所述初始化超参数组合与所述训练数据集中包含的训练数据生成对应的训练单元；调用计算服务模块通过所述训练单元对所述待训练的目标算法模型进行训练，以得到训练完毕的目标算法模型。2.根据权利要求1所述的用于模型自动训练的方法，其特征在于，所述将所述初始化超参数发送至实验服务模块，以使所述实验服务模块获取到与所述初始化超参数对应的初始化超参数组合包括：调用所述实验服务模块向所述参数调谐器模块发送超参数搜索请求；所述参数调谐器在接收到所述超参数搜索请求后，利用预设规则根据所述参数确定出对应的多个初始化超参数。3.根据权利要求1所述的用于模型自动训练的方法，其特征在于，所述将初始化超参数组合与所述训练数据集中包含的训练数据组成对应的训练单元还包括：将所述初始化超参数组合与所述训练数据集中包含的训练数据以及训练状态参数组成对应的所述训练单元，所述训练状态参数包括所述目标算法模型的输入数据和输出数据的存放位置以及所述训练单元的训练任务运行状态中的至少一者。4.根据权利要求1所述的用于模型自动训练的方法，其特征在于，所述调用计算服务模块通过所述训练单元对所述待训练的目标算法模型进行训练，以得到训练完毕的目标算法模型包括：确定目标算法模型的准确率与召回率；在确定所述准确率与所述召回率均未达到预设条件的情况下，返回至所述通过算法配置模块获取所述待训练的目标算法模型的初始化超参数的步骤，直到所述目标算法模型的准确率与召回率均达到所述预设条件，确定目标算法模型训练完毕。5.根据权利要求4所述的用于模型自动训练的方法，其特征在于，所述方法还包括：将所述训练完毕的目标...

【专利技术属性】
技术研发人员：杨正，
申请(专利权)人：毫末智行科技有限公司，
类型：发明
国别省市：