模型测评方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种模型测评方法、装置、电子设备及存储介质，该方法包括：获取待测评的语义分割模型、和关联有标注信息的测试视频数据，标注信息包括测试视频数据中存在待检测目标的至少一个标注时间段；利用语义分割模型对测试视频数据进行处理，生成测试视频数据对应的预测信息，预测信息包括测试视频数据中存在待检测目标的至少一个预测时间段；基于至少一个标注时间段和至少一个预测时间段，生成第一分割评价指标，基于所述第一分割评价指标，生成目标测评数据。成目标测评数据。成目标测评数据。

【技术实现步骤摘要】
模型测评方法、装置、电子设备及存储介质


[0001]本公开涉及深度学习
，具体而言，涉及一种模型测评方法、装置、电子设备及存储介质。

技术介绍

[0002]图像语义分割任务是基于深度学习的计算机视觉的主要任务之一，图像语义分割任务被广泛应用于各种场景中，比如，人脸识别、医学影像分割、自动驾驶场景等。
[0003]一般的，在神经网络模型训练之后，需要对训练的神经网络模型进行测评，以确定训练后的神经网络模型的性能。针对语义分割模型，可以使用单帧图像中分割目标的平均交并比进行衡量，但是通过单张图像的检测精度无法对语义分割模型在实际业务场景中的性能进行较准确的测评。

技术实现思路

[0004]有鉴于此，本公开至少提供一种模型测评方法、装置、电子设备及存储介质。
[0005]第一方面，本公开提供了一种模型测评方法，包括：
[0006]获取待测评的语义分割模型、和关联有标注信息的测试视频数据，所述标注信息包括所述测试视频数据中存在待检测目标的至少一个标注时间段；
[0007]利用所述语义分割模型对所述测试视频数据进行处理，生成所述测试视频数据对应的预测信息，所述预测信息包括所述测试视频数据中存在所述待检测目标的至少一个预测时间段；
[0008]基于所述至少一个标注时间段和所述至少一个预测时间段，生成第一分割评价指标；
[0009]基于所述第一分割评价指标，生成目标测评数据。
[0010]上述方法中，通过利用标注信息中的至少一个标注时间段、和预测信息中的至少一个预测时间段，生成第一分割评价指标，由于预测时间段为预测到的待检测目标在测试视频数据中所存在的时间段、而标注时间段为测试视频数据中待检测目标的真值数据，使得基于预测时间段和标注时间段确定的第一分割评价指标，能够从时间维度反应语义分割模型对测试视频数据的分割性能，进而可以基于第一分割评价指标生成较准确的目标测评数据，以实现对语义分割模型的较精确的测评。
[0011]一种可能的实施方式中，所述标注信息还包括所述测试视频数据中视频帧对应的标注分割结果，所述标注分割结果包括所述视频帧中每个像素点的标注类别；所述预测信息还包括所述视频帧对应的预测分割结果，所述预测分割结果包括所述视频帧中每个像素点的预测类别；所述方法还包括：
[0012]针对所述视频帧，基于所述标注分割结果指示的各个像素点分别对应的标注类别，以及所述预测分割结果指示的各个像素点分别对应的预测类别，生成第二分割评价指标；
[0013]所述基于所述第一分割评价指标，生成目标测评数据，包括：基于所述第一分割评价指标和所述第二分割评价指标，生成目标测评数据。
[0014]这里通过计算第二分割评价指标，第二分割评价指标为基于单个视频帧中像素点的标注类别和预测类别确定的，可见第二分割评价指标能够从单个视频帧的像素维度评价分割性能，并结合第一分割评价指标，实现对语义分割模型的较全面的评测。
[0015]一种可能的实施方式中，所述基于所述至少一个标注时间段和所述至少一个预测时间段，生成第一分割评价指标，包括：
[0016]针对每个预测时间段，确定所述预测时间段与匹配的标注时间段之间的交集时长和并集时长，并基于所述交集时长和所述并集时长之间的比值，确定所述预测时间段的时间段分割结果，所述时间段分割结果包括分割正确和分割错误；
[0017]基于所述预测时间段的时间段分割结果，确定所述第一分割评价指标；
[0018]其中，所述第一分割评价指标包含时间段召回率、分割精确率和分割分值中的至少一个；所述时间段召回率基于所述标注时间段的数量，和所述时间段分割结果为分割正确的预测时间段的数量确定，所述分割精确率基于所述时间段分割结果为分割正确的预测时间段的数量，和所述预测时间段的数量确定，所述分割分值基于所述时间段召回率和所述分割精确率确定。
[0019]这里通过基于时间段召回率、分割精确率和分割分值中的至少一个，确定第一分割评价指标，提高了第一分割评价指标的多样性和灵活性，以便后续基于第一分割评价指标，可以较准确的评测语义分割模型。
[0020]一种可能的实施方式中，所述利用所述语义分割模型对所述测试视频数据进行处理，生成所述测试视频数据对应的预测信息，包括：
[0021]按照第一间隔时长，从所述测试视频数据中获取视频帧；
[0022]利用所述语义分割模型对所述视频帧进行检测，生成所述视频帧对应的预测分割结果；
[0023]在所述预测分割结果指示所述视频帧不存在所述待检测目标的情况下，返回至所述按照第一间隔时长，从所述测试视频数据中获取视频帧的步骤；
[0024]基于所述测试视频数据中各个所述视频帧的所述预测分割结果，生成所述测试视频数据对应的预测信息。
[0025]一种可能的实施方式中，所述方法还包括：
[0026]在所述预测分割结果指示所述视频帧存在所述待检测目标的情况下，获取与所述视频帧间隔第二间隔时长的目标视频帧；
[0027]利用所述语义分割模型对所述目标视频帧进行检测，生成所述目标视频帧对应的预测分割结果；
[0028]在所述目标视频帧对应的预测分割结果指示为存在所述待检测目标的情况下，按照第三间隔时长，从所述测试视频数据中获取视频帧，并返回至所述利用所述语义分割模型对所述视频帧进行检测，生成所述视频帧对应的预测分割结果的步骤，其中所述第一间隔时长大于所述第三间隔时长。
[0029]本公开在未检测到待检测目标之前，按照第一间隔时长，从测试视频数据中获取视频帧，在检测到待检测目标、且待检测目标为持续存在时，按照第三间隔时长，从测试视
频数据中获取视频帧，且第一间隔时长大于第三间隔时长，在实现了对待检测目标的高频次检测的同时，缓解了计算资源的消耗，提高了测试视频数据的检测效率。
[0030]一种可能的实施方式中，根据下述步骤生成所述语义分割模型：
[0031]获取模型配置文件，所述模型配置文件包括至少一个目标编码模块的第一标识信息、和至少一个目标解码模块的第二标识信息；
[0032]基于所述模型配置文件指示的所述第一标识信息，从第一数据库中调用所述目标编码模块，以及基于所述模型配置文件指示的所述第二标识信息，从第二数据库中调用所述目标解码模块；其中所述第一数据库中存储有多个预设编码模块，所述第二数据库中存储有多个预设解码模块；
[0033]基于调用的所述目标编码模块和所述目标解码模块，生成所述语义分割模型。
[0034]本公开通过预先将不同网络模型的功能代码进行封装，得到预设编码模块、预设解码模块，并将预设编码模块存储至第一数据库，以及将预设解码模块存储至第二数据库，以便模型开发者可以通过生成模型配置文件，以利用模型配置文件实现目标编码模块、目标解码模块的调用，进而可以基于目标编码模块和目标解码模块，较简便和较高效的生成语义分割模型，提高模型生成效率。
[0035]一种可能的实施方式中，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型测评方法，其特征在于，包括：获取待测评的语义分割模型、和关联有标注信息的测试视频数据，所述标注信息包括所述测试视频数据中存在待检测目标的至少一个标注时间段；利用所述语义分割模型对所述测试视频数据进行处理，生成所述测试视频数据对应的预测信息，所述预测信息包括所述测试视频数据中存在所述待检测目标的至少一个预测时间段；基于所述至少一个标注时间段和所述至少一个预测时间段，生成第一分割评价指标；基于所述第一分割评价指标，生成目标测评数据。2.根据权利要求1所述的方法，其特征在于，所述标注信息还包括所述测试视频数据中视频帧对应的标注分割结果，所述标注分割结果包括所述视频帧中每个像素点的标注类别；所述预测信息还包括所述视频帧对应的预测分割结果，所述预测分割结果包括所述视频帧中每个像素点的预测类别；所述方法还包括：针对所述视频帧，基于所述标注分割结果指示的各个像素点分别对应的标注类别，以及所述预测分割结果指示的各个像素点分别对应的预测类别，生成第二分割评价指标；所述基于所述第一分割评价指标，生成目标测评数据，包括：基于所述第一分割评价指标和所述第二分割评价指标，生成目标测评数据。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述至少一个标注时间段和所述至少一个预测时间段，生成第一分割评价指标，包括：针对每个预测时间段，确定所述预测时间段与匹配的标注时间段之间的交集时长和并集时长，并基于所述交集时长和所述并集时长之间的比值，确定所述预测时间段的时间段分割结果，所述时间段分割结果包括分割正确和分割错误；基于所述预测时间段的时间段分割结果，确定所述第一分割评价指标；其中，所述第一分割评价指标包含时间段召回率、分割精确率和分割分值中的至少一个；所述时间段召回率基于所述标注时间段的数量，和所述时间段分割结果为分割正确的预测时间段的数量确定，所述分割精确率基于所述时间段分割结果为分割正确的预测时间段的数量，和所述预测时间段的数量确定，所述分割分值基于所述时间段召回率和所述分割精确率确定。4.根据权利要求1
‑
3任一所述的方法，其特征在于，所述利用所述语义分割模型对所述测试视频数据进行处理，生成所述测试视频数据对应的预测信息，包括：按照第一间隔时长，从所述测试视频数据中获取视频帧；利用所述语义分割模型对所述视频帧进行检测，生成所述视频帧对应的预测分割结果；在所述预测分割结果指示所述视频帧不存在所述待检测目标的情况下，返回至所述按照第一间隔时长，从所述测试视频数据中获取视频帧的步骤；基于所述测试视频数据中各个所述视频帧的所述预测...

【专利技术属性】
技术研发人员：朱帅，蔡官熊，曾星宇，唐配文，赵瑞，
申请(专利权)人：商汤人工智能研究中心深圳有限公司，
类型：发明
国别省市：