【技术实现步骤摘要】
一种模型测评方法、系统及存储介质
[0001]本申请实施例涉及计算机
，特别涉及一种模型测评方法、系统及存储介质。
技术介绍
[0002]目前，在对模型的测评过程中，比如对于深度学习模型，由于不同的训练过程，会产生不同类型的模型，而且不同开发方的深度学习模型开发语言、算法框架也不尽相同，面对不同类型、开发语言、算法框架的模型时，对于测评系统而言需要针对不同类型、开发语言、算法框架进行一一开发，开发工作量较大，成本较高，否则，就要限制模型的类型、开发语言、算法框架，但这又导致部分用户无法使用测评系统。
技术实现思路
[0003]本申请实施例提出一种模型测评方法、系统及存储介质，运用在模型测评领域，通过在测评系统中设置镜像仓库和镜像调用框架，用户在对某一模型进行测评时，可以对待测评的模型构建镜像，并把所构建的待测评模型镜像上传至镜像仓库中，在测试时，测评系统通过镜像调用框架中的调用代码调用镜像仓库中的待测评模型镜像即可，由于待测评模型在以镜像的方式进行运行，故而对于测评系统而言待测评模型属于黑盒状态，因此不...
【技术保护点】
【技术特征摘要】
1.一种模型测评方法，用于模型测评系统，所述测评系统包括镜像仓库和镜像调用框架，所述方法包括：接收测评请求；当所述测评请求包括待测评模型镜像时，将所述待测评模型镜像存储在所述镜像仓库中；从所述镜像调用框架中选择与所述待测评模型镜像对应的镜像调用代码，调用所述待测评模型镜像；对所述待测评模型进行测评。2.如权利要求1所述的模型测评方法，在调用所述待测评模型镜像之前，还包括：验证所述待测评模型镜像的启动方式；若所述待测评模型镜像的启动方式符合所述测评系统的启动需求，则启动所述待测评模型。3.如权利要求1所述的模型测评方法，所述测评系统还包括网络协议调用框架，当所述测评求包括所述待测评模型的调用接口地址时，所述方法还包括：判断所述调用接口地址的网络协议；从所述网络协议框架中选择与所述待测评模型调用接口地址相同的网络协议；基于所选择网络协议通过所述待测评模型的调用接口地址，调用所述待测评模型；对所述待测评模型进行测评。4.如权利要求3所述的模型测评方法，在调用所述待测评模型之前，还包括：验证所述待测评模型的调用接口地址的网络协议；若所述调用接口地址的网络协议与所选择的网络协议不同，则返回具有网络协议错误的第一消息。5.如权利要求1所述的模型测评方法，所述测评系统还部署有深度学习推理框架，所述深度学习推理框架用于适配不同类型的模型，当所述测评请求包括所述待测评模型的模型代码时，所述方...
【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。