一种面向人工智能模型评测任务的全生命周期管理方法技术

本发明专利技术公开了一种面向人工智能模型评测任务的全生命周期管理方法，包括S1、基于被评测的人工智能模型创建评测任务，并在Mysql数据库中保存；S2、根据评测任务的基本信息以评测任务抽象类为模板，生成评测任务对应的任务对象示例；S3、将不同的软件环境封装在不同的Docker镜像中，同时将具有不同硬件环境的服务器通过kubernetes建立集群；S4、评测任务被调度到合适的服务器上运行后，被评测任务将以Docker容器的方式运行；S5、评测任务执行完成后，Docker容器调用评测任务的任务完成上报接口，上报任务执行完成，将评测结果填充到报告模板中，生成评测报告。本发明专利技术实现了对评测任务自动的全生命周期管理，降低了人工智能模型评测任务的管理难度、评测平台的开发难度。

【技术实现步骤摘要】

本专利技术涉及人工智能，尤其涉及一种面向人工智能模型评测任务的全生命周期管理方法。

技术介绍

1、人工智能是当今科技领域中最迅猛发展的领域之一，其应用领域也变得越来越广泛，对各行各业产生深刻的影响。随着人工智能模型在各行各业的广泛应用，其所带来的功能、性能、安全等方面的问题日益突出。例如在cv场景下，模型是否能正确识别各种场景下的图片目标；在自动驾驶领域，模型是否能实时根据复杂的道路环境做出及时的准确判断；在大模型领域，模型是否能客观公正的解答用户的问题等。为了反映各类人工智能模型的好坏，针对各种人工智能模型的评测也随着人工智能模型应用的不断深化而日益被重视。

2、但人工智能模型在评测过程中往往存在以下问题：

3、评测过程缺少全生命周期自动管理机制。在人工智能模型评测的过程中，为全面评测人工智能模型在不同维度的好坏，往往采用大量的评测数据集作为模型的输入，导致评测过程耗时长，评测过程中各种突发问题（例如服务器硬件资源不足、人工智能模型数据错误、人为误操作等）往往会导致评测任务需要人工手动重新运行，耗时耗力。>

4、评测软硬本文档来自技高网...

【技术保护点】

1.一种面向人工智能模型评测任务的全生命周期管理方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种面向人工智能模型评测任务的全生命周期管理方法，其特征在于，所述评测任务包括被评测人工智能模型、评测数据集、评测指标和评测任务的软硬件，所述评测任务的软硬件包括CPU核数、内存大小、GPU类型和显存大小。

3.根据权利要求1所述的一种面向人工智能模型评测任务的全生命周期管理方法，其特征在于，所述评测任务抽象类提供接口包括运行任务、终止任务、任务结果上报、任务开始上报、任务异常上报、任务完成上报、任务进度上报和查看任务日志。

4.根据权利要求3所述...

【技术特征摘要】

1.一种面向人工智能模型评测任务的全生命周期管理方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种面向人工智能模型评测任务的全生命周期管理方法，其特征在于，所述评测任务包括被评测人工智能模型、评测数据集、评测指标和评测任务的软硬件，所述评测任务的软硬件包括cpu核数、内存大小、gpu类型和显存大小。

3.根据权利要求1所述的一种面向人工智能模型评测任务的全生命周期管理方法，其特征在于，所述评测任务抽象类提供接口包括运行任务、终止任务、任务结果上报、任务开始上报、任务异常上报、任务完成上报、任务进度上报和查看任务日志。

4.根据权利要求3所述的一种面向人工智能模型评测任务的全生命周期管理方法，其特征在于，所述人工智能模型评测的开发人员，在开发不同场景的评测任务时，通过继承该评测任务抽象类，直接使用接口，并通过java的重写机制，覆盖部分接口，以满足当前场景的评测任务需求。

5.根据权利要求3所述的一种面向人工智能模型评测任务的全生命周期管理方法，其特征在于，所述评测任务抽象类中定义评测任务的状态包括创建、准备中、等待中、运行中、错误、停止和成功，评测任务各状态间的流转逻辑如下：

6.根据权利要求1所述的一种面向人工智能模型评测任务的全...

【专利技术属性】
技术研发人员：李敏，陈健，孔祥龙，朱智磊，尚文龙，
申请(专利权)人：数据空间研究院，
类型：发明
国别省市：