机器学习模型的评估方法、装置、计算机设备及介质制造方法及图纸

本申请公开了一种机器学习模型的评估方法、装置、计算机设备及介质，其中，该机器学习模型的评估方法包括：获取模型评估请求，模型评估请求包括数据源、机器学习方法和目标训练特征组；对数据源进行预处理，获取模型输入数据；基于模型输入数据和训练特征组，对机器学习方法对应的机器学习模型进行训练，获取训练机器模型；基于模型输入数据，对训练机器模型进行机器模型评估，获取模型评估结果该方法提供了高度自动化和易于使用的机器学习算法平台，帮助用户可快速和精准地构建和部署高精度的机器学习模型，降低机器学习模型构建门槛，提高数据挖掘生产力。提高数据挖掘生产力。提高数据挖掘生产力。

Evaluation method, device, computer equipment and medium of machine learning model

【技术实现步骤摘要】
机器学习模型的评估方法、装置、计算机设备及介质


[0001]本专利技术涉及计算机应用
，尤其涉及一种机器学习模型的评估方法、装置、计算机设备及介质。

技术介绍

[0002]5G通信的到来全面打开了工业4.0的全新时代，企业而言在信息化加速进程中产生了海量数据。对海量数据进行企业智能决策分析，可使数据形成可观价值。企业智能决策分析需要借助机器学习模型来得到对企业数据进行预测研判的结果，计算企业风险等相关数值从而了解企业健康状态。因此各企业极为迫切需要AI(Artificial Intelligence，人工智能)机器学习模型来提高产出效率。
[0003]机器学习模型的使用门槛高，想要驾驭必须要深入了解算法的原理，而且还要熟练掌握相应的编程语言，有良好的编程能力，对于框架的API也有十分清晰的认知。而通常在企业中，同时具备这三种能力的人才是十分稀缺的。由于技术断层问题，导致机器学习模型相关技术处理难度高，企业很难决策出适宜自身发展所采用的机器学习模型。

技术实现思路

[0004]本专利技术实施例提供一种机器学习模型的评估方法、装置、计算机设备及介质，以解决机器学习模型相关技术处理难度高，企业很难决策出适宜自身发展所采用的机器学习模型的问题，用于提高企业选择适宜自身数据处理和挖掘的机器模块的效率和准确性。
[0005]一种机器学习模型的评估方法，包括：获取模型评估请求，模型评估请求包括数据源、机器学习方法和目标训练特征组；对数据源进行预处理，获取模型输入数据；基于模型输入数据和训练特征组，对机器学习方法对应的机器学习模型进行训练，获取训练机器模型；基于模型输入数据，对训练机器模型进行机器模型评估，获取模型评估结果。
[0006]进一步地，在获取模型评估请求之前，还包括：推送至少两种待选评估版本，每一待选评估版本包括机器学习方法、基础训练特征组和增量训练特征；获取客户端发送的基于所有待选评估版本中选定的目标评估版本；基于目标评估版本获取对应的机器学习方法、目标训练特征组，目标训练特征组包括基础训练特征组或训练特征组与增量训练特征的结合。
[0007]进一步地，对数据源进行预处理，获取模型输入数据，包括：对数据源进行缺失值处理、标准化、拆分和特征工程，用于获取模型输入数据。
[0008]进一步地，基于模型输入数据和训练特征组，对机器学习方法对应的机器学习模型进行训练，获取训练机器模型，包括：按比例将所模型输入数据拆分为训练样本和测试样本；
获取机器学习方法对应的至少两个待训练机器学习模型；基于训练样本、测试样本和训练特征组，对至少两个待训练机器学习模型进行模型调参，用于获取最优机器学习模型作为训练机器模型。
[0009]进一步地，测试样本包括验证集；对至少两个待训练机器学习模型进行模型调参，用于获取最优机器学习模型作为训练机器模型，包括：通过动态调参或默认参数范围，采用调参算法将验证集输入待训练机器模型进行调参运算，获取评分最高的待训练机器模型作为训练机器模型。
[0010]进一步地，数据源包括测试样本；基于模型输入数据，对训练机器模型进行机器模型评估，获取模型评估结果，包括：采用模型预测组件对训练机器模型进行机器模型评估，其中，模型预测组件包括分别用于连接预测组件的一个输出节点，以及用于分别接收训练机器模型和测试样本的两个输入节点；基于测试样本，通过预测组件对训练机器模型预测，获取模型评估结果。
[0011]进一步地，数据源包括测试样本；基于模型输入数据，对训练机器模型进行机器模型评估，获取模型评估结果，包括：设置初始阈值，将大于初始阈值的训练机器模型的预测设置为第一阈值，将小于初始阈值的训练机器模型的预测设置为第二阈值；将测试样本输入训练机器模型进行预测，获取预测结果分别等于第一阈值的个数和第二阈值的样本个数分别作为第一样本个数和第二样本个数；采用混淆矩阵显示第一样本个数和第二样本个数。
[0012]一种机器学习模型的评估装置，包括：获取评估请求模块，用于获取模型评估请求，模型评估请求包括数据源、机器学习方法和目标训练特征组；获取输入数据模块，用于对数据源进行预处理，获取模型输入数据；获取机器模型模块，用于基于模型输入数据和训练特征组，对机器学习方法对应的机器学习模型进行训练，获取训练机器模型；获取评估结果模块，用于基于模型输入数据，对训练机器模型进行机器模型评估，获取模型评估结果。
[0013]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述机器学习模型的评估方法。
[0014]一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理器执行时实现上述机器学习模型的评估方法。
[0015]上述机器学习模型的评估方法、装置、计算机设备及介质，通过用户仅仅输入的数据源和选定的机器学习方法和目标训练特征组，即可通过本实施例提供的机器学习模型的评估系统进行处理后，通过模型评估结果快速匹配出适合的机器学习模型，提供了高度自动化和易于使用的机器学习算法平台，帮助用户可快速和精准地构建和部署高精度的机器
学习模型，降低机器学习模型构建门槛，提高数据挖掘生产力，实现企业从BI(BusinessIntelligence，商业智能)时代跨入AI时代。
附图说明
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1绘示本专利技术一实施例中机器学习模型的评估方法的应用环境示意图；图2绘示本专利技术一实施例中机器学习模型的评估方法的流程图；图3绘示本专利技术另一实施例中机器学习模型的评估方法的第一流程图；图4绘示本专利技术另一实施例中机器学习模型的评估方法的第二流程图；图5绘示本专利技术另一实施例中机器学习模型的评估方法中的模型参数比较结果示例图；图6绘示本专利技术另一实施例中机器学习模型的评估方法中的ROC曲线示意图；图7绘示本专利技术另一实施例中机器学习模型的评估方法的第三流程图；图8绘示本专利技术另一实施例中机器学习模型的评估方法的第四流程图；图9绘示本专利技术另一实施例中机器学习模型的评估方法中的混淆矩阵显示示意图；图10绘示本专利技术另一实施例中机器学习模型的评估方法中的混淆矩阵显示示例图；图11绘示本专利技术另一实施例中机器学习模型的评估方法的全流程具体示意图；图12绘示本专利技术一实施例中机器学习模型的评估装置的示意图；图13绘示本专利技术一实施例中计算机设备的示意图。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习模型的评估方法，其特征在于，包括：获取模型评估请求，所述模型评估请求包括数据源、机器学习方法和目标训练特征组；对所述数据源进行预处理，获取模型输入数据；基于所述模型输入数据和所述训练特征组，对所述机器学习方法对应的机器学习模型进行训练，获取训练机器模型；基于所述模型输入数据，对所述训练机器模型进行机器模型评估，获取模型评估结果。2.根据权利要求1所述的机器学习模型的评估方法，其特征在于，在所述获取模型评估请求之前，还包括：推送至少两种待选评估版本，每一所述待选评估版本包括机器学习方法、基础训练特征组和增量训练特征；获取客户端发送的基于所有所述待选评估版本中选定的目标评估版本；基于所述目标评估版本获取对应的所述机器学习方法、所述目标训练特征组，所述目标训练特征组包括基础训练特征组或所述训练特征组与所述增量训练特征的结合。3.根据权利要求1所述的机器学习模型的评估方法，其特征在于，所述对所述数据源进行预处理，获取模型输入数据，包括：对所述数据源进行缺失值处理、标准化、拆分和特征工程，用于获取所述模型输入数据。4.根据权利要求1所述的机器学习模型的评估方法，其特征在于，所述基于所述模型输入数据和所述训练特征组，对所述机器学习方法对应的机器学习模型进行训练，获取训练机器模型，包括：按比例将所模型输入数据拆分为训练样本和测试样本；获取所述机器学习方法对应的至少两个待训练机器学习模型；基于所述训练样本、所述测试样本和所述训练特征组，对至少两个所述待训练机器学习模型进行模型调参，用于获取最优机器学习模型作为所述训练机器模型。5.根据权利要求4所述的机器学习模型的评估方法，其特征在于，所述测试样本包括验证集；所述对至少两个所述待训练机器学习模型进行模型调参，用于获取最优机器学习模型作为所述训练机器模型，包括：通过动态调参或默认参数范围，采用调参算法将所述验证集输入所述待训练机器模型进行调参运算，获取评分最高的所述待训练机器模型作为所述训练机器模型。6.根据权利要求1所述...

【专利技术属性】
技术研发人员：谭竞成，于洋，高经郡，
申请(专利权)人：北京科杰科技有限公司，
类型：发明
国别省市：