【技术实现步骤摘要】
本专利技术涉及数据处理，特别涉及一种基于dinov2模型的目标检测结果审核方法和装置。
技术介绍
1、常规的视觉目标检测模型(诸如yolo系列模型)用于对输入图像进行目标检测并输出一个或多个目标检测框以及对应的目标类型和目标检测置信度。这些视觉目标检测模型在图像清晰度较高以及训练数据足够充分的情况下其输出的检测精度越高，反之则可能输出较多的错误检测结果。因此，使用该类模型的公司或组织为提高最终的目标检测精度都需要安排人工审核环节对模型输出进行正确或错误的二分类标注，受人工成本和人工效率的影响，该人工审核环节不但会增加使用者的经营成本、也会降低审核效率。
技术实现思路
1、本专利技术的目的，就是针对现有技术的缺陷，提供一种基于dinov2模型的目标检测结果审核方法、装置、电子设备及计算机可读存储介质；本专利技术以dinov2模型为基础构建一个分类审核器，并使用分类审核器对视觉目标检测模型输出的目标检测结果进行审核。通过本专利技术的分类审核器可以将传统的人工审核环节替换成自动审核环节，由此不但可以提高审核效率还能降低视觉目标检测模型使用者的经营成本。
2、为实现上述目的，本专利技术实施例第一方面提供了一种基于dinov2模型的目标检测结果审核方法，所述方法包括：
3、获取第一图像集；所述第一图像集包括多个图像p；
4、将各个所述图像p输入视觉目标检测模型进行目标检测处理得到对应的目标检测框集合b和目标检测类型集合c；所述目标检测框集合b包括多个目标检
5、使用一个基于dinov2模型构建的分类审核器根据各个所述图像p及其对应的所述目标检测框集合b对当前所述图像p对应的所述目标检测类型集合c进行目标检测类型审核得到对应的审核结果向量z；所述审核结果向量z包括多个审核结果zi，所述审核结果zi包括审核通过和审核不通过。
6、优选的，所述视觉目标检测模型至少包括yolo系列模型。
7、优选的，所述分类审核器的输入端有三个、分别为第一、第二和第三模型输入端，所述分类审核器的输出端为第一模型输出端；所述第一模型输入端用于接收所述图像p；所述第二模型输入端用于接收所述目标检测框集合b；所述第三模型输入端用于接收所述目标检测类型集合c；所述第一模型输出端用于输出所述审核结果向量z；
8、所述分类审核器对应n个第一目标类型；n为所述分类审核器的可审核类型总数,1≤n；所述分类审核器包括所述dinov2模型、特征图剪裁模块、mlp多分类模型和类型审核模块；
9、所述dinov2模型的输入端与所述第一模型输入端连接，输出端与所述特征图剪裁模块的第一输入端连接；所述特征图剪裁模块的第二输入端与所述第二模型输入端连接，输出端与所述mlp多分类模型的输入端连接；所述mlp多分类模型基于mlp网络实现，所述mlp多分类模型的输出端与所述类型审核模块的第一输入端连接；所述类型审核模块的第二输入端与所述第三模型输入端连接，输出端与所述第一模型输出端连接；
10、所述dinov2模型为一个基于transformer模型结构实现的视觉基础大模型，用于对输入图像进行基础特征提取处理；所述dinov2模型预先已经基于大数据集完成了模型预训练。
11、优选的，所述使用一个基于dinov2模型构建的分类审核器根据各个所述图像p及其对应的所述目标检测框集合b对当前所述图像p对应的所述目标检测类型集合c进行目标检测类型审核得到对应的审核结果向量z，具体包括：
12、由所述分类审核器的所述dinov2模型对所述图像p进行基础特征提取处理生产对应的特征图x向所述特征图剪裁模块发送；所述特征图x的尺寸与所述图像p的尺寸保持一致；
13、并由所述特征图剪裁模块根据所述目标检测框集合b的各个所述目标检测框bi对所述特征图x进行目标检测框特征图截取处理得到对应的目标检测框特征图集合{xi}；并将所述目标检测框特征图集合{xi}向所述mlp多分类模型发送；所述目标检测框特征图集合{xi}由多个目标检测框特征图xi组成；
14、并由所述mlp多分类模型对所述目标检测框特征图集合{xi}的各个所述目标检测框特征图xi进行n分类识别得到对应的分类向量yi；并由得到的所有所述分类向量yi组成对应的分类向量集合y向所述类型审核模块发送；所述分类向量yi包括n个分类概率pj，每个所述分类概率pj对应一个所述第一目标类型，n个所述分类概率pj的总和为1，1≤分类概率索引j≤n；
15、并由所述类型审核模块将所述分类向量集合y的各个分类向量yi对应的所述第一目标类型记为对应的目标类型ti；并对各个所述目标类型ti是否与所述目标检测类型集合c中对应的所述目标检测类型ci匹配进行识别；若匹配则设置对应的所述审核结果zi为审核通过，若不匹配则设置对应的所述审核结果zi为审核不通过；并由得到的所有所述审核结果zi组成对应的所述审核结果向量z；并将得到的所述审核结果向量z通过所述第一模型输出端输出。
16、进一步的，所述由所述特征图剪裁模块根据所述目标检测框集合b的各个所述目标检测框bi对所述特征图x进行目标检测框特征图截取处理得到对应的目标检测框特征图集合{xi}，具体包括：
17、所述特征图剪裁模块对所述目标检测框集合b的各个所述目标检测框bi进行遍历；并在遍历时，将当前遍历的所述目标检测框bi作为对应的当前目标检测框，并将所述当前目标检测框的所述目标检测框中心点坐标作为对应的当前中心点坐标；并将所述特征图x上与所述当前中心点坐标对应的像素点作为对应的当前中心点；并根据预设的子特征图截取原则，以所述当前中心点为截取图像的中心点对所述特征图x进行子特征图截取得到对应的所述目标检测框特征图xi；并在遍历结束时，由得到的所有所述目标检测框特征图xi组成对应的所述目标检测框特征图集合{xi}；
18、其中，所述子特征图截取原则为：在所述目标检测框特征图xi中对应的所述目标检测框bi的所述处于目标检测框中心点坐标对应的像素点为当前目标检测框特征图的中心点；且所述目标检测框bi的左右两边距离所述目标检测框特征图xi的左右两边的像素点数量一致记为对应的第一像素点数量；且所述目标检测框bi的上下两边距离所述目标检测框特征图xi的上下两边的像素点数量一致记为对应的第二像素点数量；且第一、第二像素点数量中偏小的数量与预设的最小像素点数量一致；且所述目标检测框特征图xi的宽高比与所述特征图x的宽高比一致。
19、优选的，所述方法还包括：
20、在使用所述分类审核器之前，基于所有所述第一目标类型进行训练图像采集得到对应的第一训练图像集合；所述第一训练图像集合包括多个第一训练图像；各个所述第一训练图像上至少包括了一类所述第一目标类本文档来自技高网...
【技术保护点】
1.一种基于DINOv2模型的目标检测结果审核方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于DINOv2模型的目标检测结果审核方法，其特征在于，
3.根据权利要求1所述的基于DINOv2模型的目标检测结果审核方法，其特征在于，
4.根据权利要求3所述的基于DINOv2模型的目标检测结果审核方法，其特征在于，所述使用一个基于DINOv2模型构建的分类审核器根据各个所述图像P及其对应的所述目标检测框集合B对当前所述图像P对应的所述目标检测类型集合C进行目标检测类型审核得到对应的审核结果向量Z，具体包括：
5.根据权利要求4所述的基于DINOv2模型的目标检测结果审核方法，其特征在于，所述由所述特征图剪裁模块根据所述目标检测框集合B的各个所述目标检测框bi对所述特征图X进行目标检测框特征图截取处理得到对应的目标检测框特征图集合{xi}，具体包括：
6.根据权利要求3所述的基于DINOv2模型的目标检测结果审核方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的基于DINOv2模型的目标检测结
8.根据权利要求6所述的基于DINOv2模型的目标检测结果审核方法，其特征在于，所述基于所述第一训练数据集对所述分类审核器的所述MLP多分类模型进行训练，具体包括：
9.一种用于执行权利要求1-8任一项所述的基于DINOv2模型的目标检测结果审核方法的装置，其特征在于，所述装置包括：数据获取模块、视觉目标检测模型处理模块和分类审核器处理模块；
10.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-8任一项所述的方法。
...【技术特征摘要】
1.一种基于dinov2模型的目标检测结果审核方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于dinov2模型的目标检测结果审核方法，其特征在于，
3.根据权利要求1所述的基于dinov2模型的目标检测结果审核方法，其特征在于，
4.根据权利要求3所述的基于dinov2模型的目标检测结果审核方法，其特征在于，所述使用一个基于dinov2模型构建的分类审核器根据各个所述图像p及其对应的所述目标检测框集合b对当前所述图像p对应的所述目标检测类型集合c进行目标检测类型审核得到对应的审核结果向量z，具体包括：
5.根据权利要求4所述的基于dinov2模型的目标检测结果审核方法，其特征在于，所述由所述特征图剪裁模块根据所述目标检测框集合b的各个所述目标检测框bi对所述特征图x进行目标检测框特征图截取处理得到对应的目标检测框特征图集合{xi}，具体包括：
6.根据权利要求3所述的基于...
【专利技术属性】
技术研发人员：张学森，严传斌，任轶，
申请(专利权)人：北京道仪数慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。