模型评估方法、系统及计算机存储介质技术方案

本申请提供一种模型评估方法、装置及计算机存储介质，包括利用待评估模型基于各预设类别，预测样本图像，获得样本图像中每一个像素点对应于每一个预设类别的类别检测结果；根据样本图像的样本标签，基于像素维度和图像维度分析样本图像中每一个像素点对应于每一个预设类别的类别检测结果，确定待评估模型的像素维度评估值、图像维度评估值；根据待评估模型的像素维度评估值、图像维度评估值，获得待评估模型的性能评估结果。据此，本申请可提供准确性较高的模型性能评估结果，以提升模型训练效果。效果。效果。

【技术实现步骤摘要】
模型评估方法、系统及计算机存储介质


[0001]本申请实施例涉及模型训练
，特别涉及一种模型评估方法、装置及计算机存储介质。

技术介绍

[0002]在烟火检测的实际应用场景中，如何选取合适的效果评估方法来判定烟火检测模型的效果，是一个十分重要的问题。好的评估方法，可以辅助选取到效果更好的模型，让有更高精度的模型能够在实际应用中上线，对于火灾和烟雾的预警有着重要意义。
[0003]当前，对于烟火检测模型的训练效果评估，若模型基于的技术路线不同，则往往有着不同的评估方法，例如，基于图像分类的模型，通常使用图像分类的指标评估；基于目标检测的模型，则通常使用mAP的指标评估；基于语义分割的模型，将使用mIoU的指标进行像素级评估。
[0004]目前，针对烟火检测这一任务，并没有较为统一的、客观的以及具有针对性的模型评估方法。

技术实现思路

[0005]鉴于上述问题，本申请提供一种模型评估方法、装置及计算机存储介质，可至少部分地解决现有技术中的问题。
[0006]本申请第一方面提供一种模型性能评估方法，包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型性能评估方法，包括：利用待评估模型基于各预设类别，预测样本图像，获得所述样本图像中每一个像素点对应于每一个预设类别的类别检测结果；根据所述样本图像的样本标签，基于像素维度和图像维度分析所述样本图像中每一个像素点对应于每一个预设类别的类别检测结果，确定所述待评估模型的像素维度评估值、图像维度评估值；根据所述待评估模型的像素维度评估值、图像维度评估值，获得所述待评估模型的性能评估结果。2.根据权利要求1所述的方法，其中，所述待评估模型包括语义分割模型。3.根据权利要求1所述的方法，其中，所述利用待评估模型基于各预设类别，预测样本图像，获得所述样本图像中每一个像素点对应于每一个预设类别的类别检测结果，包括：利用所述待评估模型以基于各预设类别，预测所述样本图像中的每一个像素点，获得所述样本图像中每一个像素点对应于每一个预设类别的类别预测值；其中，若所述待评估模型的训练损失函数为普通交叉熵，基于各预设类别针对每一个像素点执行softmax计算，获得每一个像素点对应于每一个预设类别的类别预测值；若所述待评估模型的训练损失函数为二值交叉熵，基于各预设类别针对每一个像素点执行sigmoid计算，获得每一个像素点对应于每一个预设类别的类别预测值。4.根据权利要求1或3所述的方法，其中，所述根据所述样本图像的样本标签，基于像素维度和图像维度分析所述样本图像中每一个像素点对应于每一个预设类别的类别检测结果，确定所述待评估模型的像素维度评估值、图像维度评估值，包括：根据所述样本图像的样本标签、所述样本图像中每一个像素点对应于每一个预设类别的类别预测值、每一个像素点的位置信息，确定所述待评估模型的像素维度评估值；根据所述样本图像的样本标签、所述样本图像中每一个像素点对应于每一个预设类别的类别预测值，确定所述待评估模型对应于每一个预设类别的图像维度评估值。5.根据权利要求4所述的方法，其中，所述样本标签包括所述样本图像中每一个像素点的真实类别；且其中，所述根据所述样本图像的样本标签、所述样本图像中每一个像素点对应于每一个预设类别的类别预测值、每一个像素点的位置信息，确定所述待评估模型的像素维度评估值，包括：根据每一个像素点对应于各预设类别的各类别预测值中的最高者，确定每一个像素点的预测类别；根据每一个像素点的预测类别和真实类别、每一个像素点的位置信息，获得每一个预设类别的交并比值；针对每一个预设类别的交并比值执行均值计算，获得所述待评估模型的像素维度评估值。6.根据权利要求5所述的方法，其中，所述根据每一个像素点的预测类别和真实类别、每一个像素点的位置信息，获得每一个预设类别的交并比值，包括：将一个预设类别确定为当前类别；将预测类别与所述当前类别相吻合的每一个像素点确定为第一候选像素点，并将真实
类别与所述当前类别相吻合的每一个像素点确定为第二候选像素点；根据每一个第一候选像素点的位置信息，确定所述当前类别的第一区域，并根据每一个第二候选像素点的位置信息，确定所述当前类别的第二区域；根据所述第一区域和所述第二区域的交集和并集，确定所述当前类别的交并比值。7.根据权利要求4所述的方法，其中，所述样本标签包括所述样本图像包含的真实类别；所述根据所述样本图像的样本标签、所述样本图像中每一个像素点对应于每一个预设类别的类别预测值，确定所述待评估模型对应于每一个预设类别的图像维度评估值，包括：将一个预设类别确定为当前类别；获取每一个像素点对应于所述当前类别的类别预测值；根据所述样本图像的样本标签，获得所述样本图像包含或不包含所述当前类别的判断结果；若所述样本图像包含有所述当前类别，确定所述当前类别在所述样本图像中的类别区域，并根据所述类别区域中的每一个像素点对应于所述当前类别的类别预测值，将最大的类别预测值确定为所述待评估模型对应于所述当前类别的图像维度评估值；若所述样本图像未包含所述当前类别，根据所述样本图像中的每一个像素点对应于所述当前类别的类别预测值...

【专利技术属性】
技术研发人员：李为，李远钱，黄冠熹，
申请(专利权)人：重庆中科云从科技有限公司，
类型：发明
国别省市：