一种检测机器学习引擎的效率的方法、装置和存储介质制造方法及图纸

本申请公开了一种检测机器学习引擎的效率的方法、装置和存储介质，该方法包括：获取训练样本集，训练样本集包括多个训练样本，训练样本包括机器学习引擎的特征参数以及与特征参数对应的第一效率结果；利用训练样本对效率预测模型进行训练；基于待测试机器学习引擎的特征参数与训练后的效率预测模型，生成待测试机器学习引擎的第二效率结果。通过上述方式，本申请能够快速计算出待测试机器学习引擎的工作效率，节省测试时间。节省测试时间。节省测试时间。

【技术实现步骤摘要】
一种检测机器学习引擎的效率的方法、装置和存储介质


[0001]本申请涉及机器学习
，具体涉及一种检测机器学习引擎的效率的方法、装置和存储介质。

技术介绍

[0002]对于各种基于机器学习的引擎来说，效率是体现引擎性能的重要指标，在引擎的开发迭代过程中，引擎中模块的增减、功能的修改都对引擎效率有着潜在的影响，如何确定引擎效率合理的取值对体现引擎性能有着重要的价值。但相关技术中效率结果均是基于测试人员根据少量线上数据、人工建设的测试数据测试得到的效率结果，测试效率较低。

技术实现思路

[0003]本申请提供一种检测机器学习引擎的效率的方法、装置和存储介质，能够快速计算出待测试机器学习引擎的机器学习引擎的工作效率，节省测试时间。
[0004]为解决上述技术问题，本申请采用的技术方案是：提供一种检测机器学习引擎的效率的方法，该方法包括：获取训练样本集，训练样本集包括多个训练样本，训练样本包括机器学习引擎的特征参数以及与特征参数对应的第一效率结果；利用训练样本对效率预测模型进行训练；基于待测试机器学习引擎的特征参数与训练后的效率预测模型，生成待测试机器学习引擎的第二效率结果。
[0005]为解决上述技术问题，本申请采用的另一技术方案是：提供一种检测装置，该检测装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的检测机器学习引擎的效率的方法。
[0006]为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的检测机器学习引擎的效率的方法。
[0007]通过上述方案，本申请的有益效果是：首先获取训练样本集，该训练样本包括机器学习引擎的特征参数以及与特征参数对应的第一效率结果；然后采用机器学习的方法，基于训练样本集去拟合一个关于效率结果与特征参数之间的关系的模型，生成一个训练好的效率预测模型；然后基于训练好的效率预测模型与待测试机器学习引擎的特征参数，便可得到第二效率结果，实现对待测试机器学习引擎的机器学习引擎的效率预测；由于利用训练好的模型来对待测试机器学习引擎的效率进行测试，无需进行多次测试，能够快速计算出待测试机器学习引擎的工作效率，降低测试效率所花费的时间，而且服务器还能够执行除测试效率之外的其他测试任务，无需占用服务器的所有资源。
附图说明
[0008]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0009]图1是本申请提供的检测机器学习引擎的效率的方法一实施例的流程示意图；
[0010]图2是本申请提供的检测机器学习引擎的效率的方法另一实施例的流程示意图；
[0011]图3是图2所示的实施例中步骤21的流程示意图；
[0012]图4是本申请提供的检测装置一实施例的结构示意图；
[0013]图5是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
[0014]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0015]相关技术中引擎效率的测试方法主要有两个方面的缺点：
[0016]1)测试耗时较长，且占用服务器资源
[0017]虽然测试人员测试引擎效率已经通过脚本实现自动化测试，但由于效率测试需多次重复以求取平均值，所以需要经历较长时间才可以得到最终的结果。并且在测试效率的过程中，服务器通常不允许进行其他的测试工作，服务器将会被长时间占用，给测试人员的工作带来极大的不便。
[0018]2)效率结果不稳定
[0019]在效率测试的过程中，每个版本的引擎针对同一效率测试数据集可能有不同的结果，通常都是对多次测试的结果取平均值，但是平均值容易受到异常值的影响，因此结果精度并不高。此外，在版本迭代的过程中，对引擎内部的修改有可能造成效率的提升或下降，但是通常都是通过测试人员主观去判断效率结果的升降，并没有一个可以量化的指标，导致版本修改实际给引擎效率带来的影响可能未被发现，使得效率结果不准确。
[0020]为了解决上述问题，本申请采用一种统计学原理结合机器学习算法模型的方法，来推断预测机器学习引擎的效率的合理值，下面对本申请所采用的引擎效率预测方案进行详细阐述。
[0021]请参阅图1，图1是本申请提供的检测机器学习引擎的效率的方法一实施例的流程示意图，该方法包括：
[0022]步骤11：获取训练样本集。
[0023]训练样本集包括多个训练样本，该训练样本包括机器学习引擎的特征参数以及与特征参数对应的第一效率结果；具体地，机器学习引擎为基于机器学习实现各种图像处理任务、文字处理任务或语音处理任务的引擎，比如：自然语言处理(Natural Language Processing，NLP)或光学字符识别(Optical Character Recognition，OCR)，第一效率结果为机器学习引擎对输入的效率测试数据集进行处理所花费的时间。
[0024]进一步地，一个引擎的效率受多方面因素的影响，例如：引擎代码模块数、使用的模型种类、使用的模型参数或规则数量等，可以通过统计学方法基于历史版本的大量测试结果(即历史效率测试结果)，推断出每一个历史版本的效率的合理取值(即第一效率结
果)，并统计每个版本的引擎的具体模块数、引擎实现语言、代码行数、组件数、规则行数、模型数或模型种类等与引擎相关的特征参数，基于特征参数以及与特征参数对应的第一效率结果，构建训练样本，即待测试机器学习引擎与机器学习引擎为同一引擎的不同版本，训练样本中的特征参数为待测试机器学习引擎的当前版本之前的历史版本的特征参数。
[0025]可以理解地，在其他实施例中，还可将当前版本的特征参数也加入训练样本，即训练样本包括历史版本的特征参数与历史版本的特征参数，能够增加训练样本的数量，且由于引入当前版本的信息，可提升效率预测模型对当前版本的效率结果的预测准确率。或者，待测试机器学习引擎与机器学习引擎还可为不同引擎，但需要具有相似的特征参数或两个引擎的功能/作用相似，以便利用机器学习引擎的信息去训练效率预测模型，进而预测待测试机器学习引擎的工作效率。
[0026]步骤12：利用训练样本对效率预测模型进行训练。
[0027]效率预测模型可以为基于机器学习的算法模型，比如：XGBOOST模型、线性回归模型、深度学习模型或树模型等；在获取到训练样本后，可将每个训练样本输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种检测机器学习引擎的效率的方法，其特征在于，包括：获取训练样本集，所述训练样本集包括多个训练样本，所述训练样本包括机器学习引擎的特征参数以及与所述特征参数对应的第一效率结果；利用所述训练样本对效率预测模型进行训练；基于待测试机器学习引擎的特征参数与训练后的效率预测模型，生成所述待测试机器学习引擎的第二效率结果。2.根据权利要求1所述的检测机器学习引擎的效率的方法，其特征在于，所述利用所述训练样本对效率预测模型进行训练的步骤，包括：对所述特征参数进行处理，得到第一特征值；利用所述第一特征值与所述第一效率结果对所述效率预测模型进行训练。3.根据权利要求2所述的检测机器学习引擎的效率的方法，其特征在于，所述对所述特征参数进行处理，得到第一特征值的步骤，包括：对所述特征参数进行编码处理，得到第三特征值；对所述第三特征值进行归一化，得到所述第一特征值。4.根据权利要求2所述的检测机器学习引擎的效率的方法，其特征在于，所述对所述特征参数进行处理，得到第一特征值的步骤，包括：对所述特征参数进行编码处理，得到第三特征值；采用特征筛选方法对所述第三特征值进行特征选取处理，得到所述第一特征值。5.根据权利要求3所述的检测机器学习引擎的效率的方法，其特征在于，所述利用所述第一特征值与所述第一效率结果对所述效率预测模型进行训练的步骤，包括：从所述训练样本集中选择一个训练样本，并将所述训练样本的第一特征值输入所述效率预测模型，得到当前效率结果；将所述当前效率结果与所述...

【专利技术属性】
技术研发人员：靳尚鑫，于超敏，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：