模型评估方法、装置及计算机可读存储介质制造方法及图纸

本申请提供了一种模型评估方法、装置及计算机可读存储介质，其中该方法包括：获取待评估模型；根据测试数据集中的部分测试数据对待评估模型进行第一测试，得到待评估模型的第一评估结果；根据选取指令获取目标模型，其中，目标模型根据待评估模型的第一评估结果的至少部分信息从待评估模型中确定；根据测试数据集中的全部测试数据对目标模型进行第二测试，得到目标模型的第二评估结果。利用上述模型评估方法，有利于快速确定出性能最符合要求的模型。

【技术实现步骤摘要】
模型评估方法、装置及计算机可读存储介质
本申请属于机器学习领域，具体涉及一种模型评估方法、装置及计算机可读存储介质。
技术介绍
高校或者大型科技公司通常会展开机器学习竞赛。各个参评方经过指定时间的模型提交阶段提交模型，在随后的评比阶段对各参评方提交的模型进行统一的测试和排名。然而，在现有的机器学习竞赛中，参评方不能快速地从自身制作的多个模型中快速选择出性能最佳的模型，导致模型评估的准确度较低。
技术实现思路
本申请实施例提出了一种模型评估方法、装置及计算机可读存储介质，以解决上述现有技术中存在的技术问题。本申请的实施例中提供了以下方案。本申请的实施例提供一种模型评估方法，包括：获取待评估模型；根据测试数据集中的部分测试数据对待评估模型进行第一测试，得到待评估模型的第一评估结果；根据选取指令获取目标模型，其中，所述目标模型根据待评估模型的第一评估结果从待评估模型中确定；根据测试数据集中的全部测试数据对目标模型进行第二测试，得到目标模型的第二评估结果。在一些可行的实施方式中，还包括：判断预设的模型提交阶段本文档来自技高网...

【技术保护点】
1.一种模型评估方法，其特征在于，包括：/n获取待评估模型；/n根据测试数据集中的部分测试数据对所述待评估模型进行第一测试，得到所述待评估模型的第一评估结果；/n根据选取指令获取目标模型，其中，所述目标模型根据所述待评估模型的第一评估结果从所述待评估模型中确定；/n根据所述测试数据集中的全部测试数据对所述目标模型进行第二测试，得到所述目标模型的第二评估结果。/n

【技术特征摘要】
1.一种模型评估方法，其特征在于，包括：
获取待评估模型；
根据测试数据集中的部分测试数据对所述待评估模型进行第一测试，得到所述待评估模型的第一评估结果；
根据选取指令获取目标模型，其中，所述目标模型根据所述待评估模型的第一评估结果从所述待评估模型中确定；
根据所述测试数据集中的全部测试数据对所述目标模型进行第二测试，得到所述目标模型的第二评估结果。


2.根据权利要求1所述的模型评估方法，其特征在于，还包括：
判断预设的模型提交阶段是否结束；
如果所述模型提交阶段未结束，则根据测试数据集中的部分测试数据对所述待评估模型进行所述第一测试；
如果所述模型提交阶段已经结束，则根据所述选取指令获取所述目标模型。


3.根据权利要求2所述的模型评估方法，其特征在于，所述待评估模型对应一参评方；
还包括：如果预设的模型提交阶段未结束，则将所述待评估模型的第一评估结果的至少部分信息提供给对应的参评方；如果预设的模型提交阶段已经结束，则获取所述参评方输入的选取指令。


4.根据权利要求3所述的模型评估方法，其特征在于，还包括：
在预设的模型提交阶段中，对全部参评方提交的待评估模型的第一评估结果进行排名，并将排名的全部或部分结果提供给所述参评方。


5.根据权利要求1所述的模型评估方法，其特征在于，根据测试数据集中的部分测试数据对所述待评估模型进行第一测试，包括：根据所述测试数据集中设定比例的前段测试数据对所述待评估模型进行测试。


6.根据权利要求1所述的模型评估方法，其特征在于，根据测试数据集中的部分测试数据对所述待评估模型进行第一测试，包括：从所述测试数据集中随机抽取预设比例的测试数据，根据抽取出的测试数据对所述待评估模型进行测试。


7.根据权利要求1所述的模型评估方法，其特征在于，所述第一评估结果和所述第二评估结果均为精准度、召回率、F1值、接受者操作特征曲线、AUC、准确度中至少一项和运行时间、内存消耗中至少一项的函数。


8.一种模型评估装置，其特征在于，包括：
获取模块，配置为获取待评估模型；
第一评估模块，配置为根据测试数据集中的部分测试数据对所述待评估模型进行第一测试，得到所述待评估模型的第一评估结果；<...

【专利技术属性】
技术研发人员：刘俊延，张楠赓，
申请(专利权)人：北京嘉楠捷思信息技术有限公司，
类型：发明
国别省市：北京;11