【技术实现步骤摘要】
本说明书实施例涉及计算机，特别涉及模型性能评估方法、检测模型性能评估方法及分类模型构建方法。
技术介绍
1、随着科学技术的发展，模型的应用已经逐渐深入到各种应用领域中。通过在线上部署模型，来达到想要的效果。例如，利用模型进行目标检测、人脸识别、规划学习方案等。在线上部署模型后，可以针对效果不佳的部署场景进行优化，而模型面对未知环境，其模型性能处于未知状态，导致不能及时对模型性能进行优化。
2、因此，亟需一种方法来解决上述技术问题。
技术实现思路
1、有鉴于此，本说明书实施例提供了两种模型性能评估方法、一种检测模型性能评估方法、一种分类模型构建方法。本说明书一个或者多个实施例同时涉及两种模型性能评估装置、一种检测模型性能评估装置、一种分类模型构建装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
2、根据本说明书实施例的第一方面，提供了一种模型性能评估方法，包括：
3、获取待处理业务数据，将所述待处理业务数据输入待评估业务模型，获得所述待评估业务模型输出的检测结果；
4、基于所述检测结果，从所述待处理业务数据中提取目标业务数据；
5、将所述目标业务数据输入目标分类模型，获得所述目标分类模型输出的分类结果，其中，所述目标分类模型基于对初始分类模型进行异常裁剪获得；
6、根据所述分类结果和所述检测结果，计算所述待评估业务模型的模型性能指标。
7、根据本说明书实施
8、获取模块，被配置为获取待处理业务数据，将所述待处理业务数据输入待评估业务模型，获得所述待评估业务模型输出的检测结果；
9、提取模块，被配置为基于所述检测结果，从所述待处理业务数据中提取目标业务数据；
10、输入模块，被配置为将所述目标业务数据输入目标分类模型，获得所述目标分类模型输出的分类结果，其中，所述目标分类模型基于对初始分类模型进行异常裁剪获得；
11、计算模块，被配置为根据所述分类结果和所述检测结果，计算所述待评估业务模型的模型性能指标。
12、根据本说明书实施例的第三方面，提供了一种检测模型性能评估方法，包括：
13、获取待处理图像，将所述待处理图像输入待评估检测模型，获得所述待评估检测模型输出的检测结果；
14、基于所述检测结果，从所述待处理图像中提取目标子图像；
15、将所述目标子图像输入目标分类模型，获得所述目标分类模型输出的分类结果，其中，所述目标分类模型基于对初始分类模型进行异常裁剪获得；
16、根据所述分类结果和所述检测结果，计算所述待评估检测模型的模型性能指标。
17、根据本说明书实施例的第四方面，提供了一种检测模型性能评估装置，包括：
18、图像获取模块，被配置为获取待处理图像，将所述待处理图像输入待评估检测模型，获得所述待评估检测模型输出的检测结果；
19、图像提取模块，被配置为基于所述检测结果，从所述待处理图像中提取目标子图像；
20、图像输入模块，被配置为将所述目标子图像输入目标分类模型，获得所述目标分类模型输出的分类结果，其中，所述目标分类模型基于对初始分类模型进行异常裁剪获得；
21、指标计算模块，被配置为根据所述分类结果和所述检测结果，计算所述待评估检测模型的模型性能指标。
22、根据本说明书实施例的第五方面，提供了一种分类模型构建方法，包括：
23、获取样本目标业务数据，将所述样本目标业务数据输入初始分类模型，获得所述样本目标业务数据的分类结果；
24、根据所述分类结果，计算所述样本目标业务数据的样本数据类别置信度，并根据所述样本数据类别置信度，计算所述初始分类模型各模型参数的梯度幅值；
25、根据各模型参数的梯度幅值确定各模型参数的参数敏感度，以及所述初始分类模型的神经元敏感度；
26、基于各模型参数的参数敏感度和各神经元的神经元敏感度，确定所述初始分类模型的异常模型参数和异常神经元；
27、对所述异常模型参数和所述异常神经元进行裁剪，获得目标分类模型。
28、根据本说明书实施例的第六方面，提供了一种分类模型构建装置，包括：
29、数据获取模块，被配置为获取样本目标业务数据，将所述样本目标业务数据输入初始分类模型，获得所述样本目标业务数据的分类结果；
30、数据计算模块，被配置为根据所述分类结果，计算所述样本目标业务数据的样本数据类别置信度，并根据所述样本数据类别置信度，计算所述初始分类模型各模型参数的梯度幅值；
31、第一确定模块，被配置为根据各模型参数的梯度幅值确定各模型参数的参数敏感度，以及所述初始分类模型的神经元敏感度；
32、第二确定模块，被配置为基于各模型参数的参数敏感度和各神经元的神经元敏感度，确定所述初始分类模型的异常模型参数和异常神经元；
33、裁剪模块，被配置为对所述异常模型参数和所述异常神经元进行裁剪，获得目标分类模型。
34、根据本说明书实施例的第七方面，提供了一种模型性能评估方法，应用于云侧设备，包括：
35、接收模型性能评估请求，其中，所述模型性能评估请求中携带待评估业务模型；
36、获取待处理业务数据，将所述待处理业务数据输入所述待评估业务模型，获得所述待评估业务模型输出的检测结果；
37、基于所述检测结果，从所述待处理业务数据中提取目标业务数据；
38、将所述目标业务数据输入目标分类模型，获得所述目标分类模型输出的分类结果，其中，所述目标分类模型基于对初始分类模型进行异常裁剪获得；
39、根据所述分类结果和所述检测结果，计算所述待评估业务模型的模型性能指标；
40、将所述模型性能指标发送至目标终端。
41、根据本说明书实施例的第八方面，提供了一种模型性能评估装置，应用于云侧设备，包括：
42、请求接收模块，被配置为接收模型性能评估请求，其中，所述模型性能评估请求中携带待评估业务模型；
43、结果获得模块，被配置为获取待处理业务数据，将所述待处理业务数据输入所述待评估业务模型，获得所述待评估业务模型输出的检测结果；
44、数据提取模块，被配置为基于所述检测结果，从所述待处理业务数据中提取目标业务数据；
45、数据输入模块，被配置为将所述目标业务数据输入目标分类模型，获得所述目标分类模型输出的分类结果，其中，所述目标分类模型基于对初始分类模型进行异常裁剪获得；
46、性能指标计算模块，被配置为根据所述分类结果和所述检测结果，计算所述待评估业务模型的模型性能指标；
47、发送模块，被配置为将所述模型性能指标发送至目标终端。
48、本文档来自技高网...
【技术保护点】
1.一种模型性能评估方法，包括：
2.如权利要求1所述的方法，将所述待处理业务数据输入待评估业务模型，获得所述待评估业务模型输出的检测结果，包括：
3.如权利要求2所述的方法，基于所述检测结果，从所述待处理业务数据中提取目标业务数据，包括：
4.如权利要求1所述的方法，根据所述分类结果和所述检测结果，计算所述待评估业务模型的模型性能指标，包括：
5.如权利要求4所述的方法，根据各目标业务数据的数据类别置信度，计算各检测类别的检测类别置信度，包括：
6.如权利要求4所述的方法，基于各检测类别的检测类别置信度，计算所述待评估业务模型的模型性能指标，包括：
7.如权利要求1所述的方法，所述目标分类模型基于下述方法获得：
8.如权利要求7所述的方法，确定所述初始分类模型的异常模型参数，包括：
9.如权利要求8所述的方法，确定所述初始分类模型各模型参数的梯度幅值，包括：
10.如权利要求9所述的方法，根据各模型参数的梯度幅值确定各模型参数的参数敏感度，包括：
11.如权利
12.如权利要求8所述的方法，确定所述初始分类模型的异常神经元，包括：
13.如权利要求1所述的方法，所述初始分类模型基于下述方法训练获得：
14.一种检测模型性能评估方法，包括：
15.一种模型性能评估方法，应用于云侧设备，包括：
16.一种计算设备，包括：
17.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至15任意一项所述方法的步骤。
...【技术特征摘要】
1.一种模型性能评估方法，包括：
2.如权利要求1所述的方法，将所述待处理业务数据输入待评估业务模型，获得所述待评估业务模型输出的检测结果，包括：
3.如权利要求2所述的方法，基于所述检测结果，从所述待处理业务数据中提取目标业务数据，包括：
4.如权利要求1所述的方法，根据所述分类结果和所述检测结果，计算所述待评估业务模型的模型性能指标，包括：
5.如权利要求4所述的方法，根据各目标业务数据的数据类别置信度，计算各检测类别的检测类别置信度，包括：
6.如权利要求4所述的方法，基于各检测类别的检测类别置信度，计算所述待评估业务模型的模型性能指标，包括：
7.如权利要求1所述的方法，所述目标分类模型基于下述方法获得：
8.如权利要求7所述的方法，确定所述初始分类模型的异常模型参数，包括...
【专利技术属性】
技术研发人员：陈超，付志航，刘凯，陈泽，陶明渊，叶杰平，
申请(专利权)人：杭州阿里云飞天信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。