基于容器的深度学习模型测试评估全流程自动管理方法技术

本公开提出一种基于容器的深度学习模型测试评估全流程自动管理方法、装置、设备和介质。该方法包括：获取参赛镜像文件、微服务镜像文件和测试任务，其中，微服务镜像文件包括出题微服务镜像、比对微服务镜像和评估微服务镜像；获取测试任务对应的任务信息，根据任务信息自动调度出题微服务镜像进行随机出题；根据参赛镜像文件生成测试容器，利用测试容器运行出题微服务镜像给出的测试题目，输出对应的测试值；利用比对微服务镜像对比测试值和样本真值，输出评价参赛镜像文件的核心指标，获取评价参赛镜像文件的通用指标；利用评估微服务镜像根据核心指标和通用指标输出参赛镜像文件的测试评分，并将测试评分发布至目标栏目。

【技术实现步骤摘要】
基于容器的深度学习模型测试评估全流程自动管理方法
本公开涉及智能平台开发领域，具体涉及一种基于容器的深度学习模型测试评估全流程自动管理方法。
技术介绍
近年来，深度学习技术得到快速发展，深度学习算法在图像处理、自然语言处理等方面实现了重大的突破。为促进深度学习的创新性研究，已有广泛的针对不同领域、不同应用任务的深度学习比赛展开。然而，传统的深度学习模型测试评估平台需要大量的人工工作量，需要测评人员逐个下载参赛团队提交的程序代码，然后选择合适的运行环境对代码进行实现，利用测试样本完成模型的测试任务，并对输出结果进行人工评估打分。这种方式不仅会耗费大量的人工和时间成本，而且下载到本地的程序代码会占用大量内存资源。因此，程序测试评估自动管理系统的开发具有重要意义。
技术实现思路
本公开的一个方面提供了一种基于容器的深度学习模型测试评估全流程自动管理方法，包括：获取参赛镜像文件、微服务镜像文件和测试任务，其中，微服务镜像文件包括出题微服务镜像、比对微服务镜像和评估微服务镜像；获取测试任务对应的任务信息，根据任务信息自动调度出本文档来自技高网...

【技术保护点】
1.一种基于容器的深度学习模型测试评估全流程自动管理方法，其特征在于，包括：/n获取参赛镜像文件、微服务镜像文件和测试任务，其中，所述微服务镜像文件包括出题微服务镜像、比对微服务镜像和评估微服务镜像；/n获取所述测试任务对应的任务信息，根据所述任务信息自动调度所述出题微服务镜像进行随机出题；/n根据所述参赛镜像文件生成测试容器，利用所述测试容器运行所述出题微服务镜像给出的测试题目，输出对应的测试值；/n利用所述比对微服务镜像对比所述测试值和样本真值，输出评价所述参赛镜像文件的核心指标，获取评价所述参赛镜像文件的通用指标；其中，所述样本真值为所述出题微服务镜像中携带的所述测试题目对应的预设值；/...

【技术特征摘要】
1.一种基于容器的深度学习模型测试评估全流程自动管理方法，其特征在于，包括：
获取参赛镜像文件、微服务镜像文件和测试任务，其中，所述微服务镜像文件包括出题微服务镜像、比对微服务镜像和评估微服务镜像；
获取所述测试任务对应的任务信息，根据所述任务信息自动调度所述出题微服务镜像进行随机出题；
根据所述参赛镜像文件生成测试容器，利用所述测试容器运行所述出题微服务镜像给出的测试题目，输出对应的测试值；
利用所述比对微服务镜像对比所述测试值和样本真值，输出评价所述参赛镜像文件的核心指标，获取评价所述参赛镜像文件的通用指标；其中，所述样本真值为所述出题微服务镜像中携带的所述测试题目对应的预设值；
利用所述评估微服务镜像根据所述核心指标和所述通用指标输出所述参赛镜像文件的测试评分，并将所述测试评分发布至目标栏目。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用报告微服务镜像根据所述测试评分生成所述参赛镜像文件的测评报告，并发布至所述目标栏目，其中，所述报告微服务镜像从所述微服务镜像文件获取。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
监控所述参赛镜像文件执行所述测试任务的运行，如果运行出现错误，则反馈错误信息。


4.根据权利要求2所述的方法，其特征在于，在所述测评报告发布至所述目标栏目之后，所述方法还包括：
将所述参赛镜像文件执行所述测试任务的运行过程及输出结果生成运行日志，并存储所述参赛镜像文件、所述微服务镜像文件、所述测试任务、所述出题微服务镜像给出的测试题目、所述测评报告以及所述运行日志。


5.一种基于容器的深度学习模型测试评估全流程自动管理系统，其特征在于，包括：
获取模块，用于获取参赛镜像文件、微服务镜像文件和测试任务，其中，所述微服务镜像文件包括出题微服务镜像、比对微服务镜像、评估微服务镜像和报告微服务...

【专利技术属性】
技术研发人员：孙显，王佩瑾，付琨，杨竹君，冯瑛超，张义，王智睿，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：北京;11