【技术实现步骤摘要】
本专利技术涉及缺陷复审，具体涉及一种图像缺陷检测模型预测结果人工复审方法、装置及设备。
技术介绍
1、目前，人工智能模型在工业巡检领域得到广泛应用，业界使用无人机、监拍装置或巡检车辆针对输电杆塔、铁路接触网、站房设备、通道环境等进行规范拍摄，并基于图像缺陷检测模型筛查拍摄照片中可能存在的问题(包括设备缺陷、场景隐患、人员违规行为等，下文均简称为缺陷)。然而，由于实际场景复杂、缺陷形态多变，图像缺陷检测模型并非完全准确，在应用图像缺陷检测模型找到潜在缺陷后，需要进行人工复审或人工复查。不同的复审策略达到的缺陷检出率和人工复审工作量存在较大差异。
2、在现有复审策略中，可通过对图像缺陷检测模型预测结果按置信度从高到低进行复审，并考虑不同缺陷类别在模型训练集和实际应用场景的差异，调整预测结果为真的不同类别的后验概率，从而在确保缺陷检出率的前提下，降低复审工作量。
3、但是在实际应用过程中，单次巡检获取的图片中，模型预测缺陷的误报和漏报形态具有相似性。现有的技术方案仅考虑到不同类别在实际应用场景中的置信度偏差，不能根据复审结果动态调整复审顺序，复审效果不佳。
技术实现思路
1、有鉴于此，本专利技术提供了一种图像缺陷检测模型预测结果人工复审方法、装置、设备及介质，以解决现有技术中不能动态调整复审顺序导致复审效果不佳的问题。
2、第一方面，本专利技术提供了一种图像缺陷检测模型预测结果人工复审方法，包括：获取图像缺陷检测模型输出的缺陷框及所述缺陷框对应的特征向
3、可选地，获取图像缺陷检测模型输出的缺陷框及所述缺陷框对应的特征向量和置信度，包括：通过图像缺陷检测模型获取缺陷框以及所述缺陷框对应的缺陷类别、置信度和缺陷特征；将所述缺陷特征进行降维和校准得到预设维度的特征向量。
4、可选地，所述缺陷特征通过从所述图像缺陷检测模型的特征提取网络中提取所述缺陷框所在位置的特征得到。
5、可选地，根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度，包括：为每个缺陷类别的缺陷框分别构造置信度集合，所述置信度集合包括若干同一缺陷类别中置信度最高的缺陷框或同一缺陷类别中和已完成人工复审的缺陷框的特征向量距离最近的若干特征向量对应的缺陷框；根据已完成人工复审的缺陷框的复审结果确定置信度调整值；从已完成人工复审的缺陷框所属缺陷类别对应的所述置信度集合中查找未人工复审且与已完成人工复审的缺陷框位于不同场景的若干目标缺陷框；根据已完成人工复审的缺陷框的特征向量和所述目标缺陷框的特征向量的相似度以及所述置信度调整值调整所述目标缺陷框的置信度。
6、可选地，根据已完成人工复审的缺陷框的特征向量和所述目标缺陷框的特征向量的相似度以及所述置信度调整值调整所述目标缺陷框的置信度的调整方式为：
7、sjh＝sj+aa×exp(-w×d(vi，vj)2/2)
8、式中，sjh为调整后的置信度，sj为调整前的置信度，a和w为预设系数，d(vi,vj)为已完成人工复审的缺陷框的特征向量和所述目标缺陷框的特征向量的相似度，vi为已完成人工复审的缺陷框的特征向量，vj为所述目标缺陷框的特征向量，a为所述置信度调整值。
9、可选地，在为每个缺陷类别的缺陷框分别构造置信度集合之后，包括：在根据复审顺序选取缺陷框进行人工复审后，将选取的缺陷框从所述置信度集合中移除；当所述置信度集合中的缺陷框小于预设数量时重新构造所述置信度集合。
10、可选地，根据调整后的置信度确定未人工复审的缺陷框的复审顺序，包括：根据调整后的置信度计算未人工复审的缺陷框的复审优先度，计算公式为：
11、k＝sjh-f(k1,k2)
12、其中，k为复审优先度，sjh为调整后的置信度，f为k1和k2的非递减函数，k1和k2分别为同一场景人工确认和否认的已复审确认或否认的缺陷框数量；根据所述复审优先度确定复审顺序。
13、可选地，根据所述复审优先度确定复审顺序，包括：构造优先队列，所述优先队列的队列元素为未人工复审的缺陷框，所述队列元素的优先度为所述队列元素放入所述优先队列时的复审优先度；从所述优先队列中提取缺陷框及其优先度，并再次计算其复审优先度，若再次计算的复审优先度低于提取的优先度，则将缺陷框以再次计算的复审优先度放回所述优先队列，否则将其加入待展示队列。
14、可选地，根据所述复审优先度确定复审顺序，包括：根据复审优先度从优先队列中选取缺陷框进行人工复审；若选取的缺陷框的类别属于黑名单，则将选取的缺陷框丢弃，重新选取缺陷框；若和选取的缺陷框属于同一场景的其他缺陷框在待复审队列中，则将选取的缺陷框的复审优先度降低后放回优先队列；若选取的缺陷框的类别不属于黑名单且没有属于同一场景的其他缺陷框在待复审队列中，则将选取的缺陷框加入待展示队列。
15、第二方面，本专利技术提供了一种图像缺陷检测模型预测结果人工复审装置，包括：信息获取模块，用于获取图像缺陷检测模型输出的缺陷框及所述缺陷框对应的特征向量和置信度；置信度调整模块，用于根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度；顺序确定模块，用于根据调整后的置信度确定未人工复审的缺陷框的复审顺序。
16、第三方面，本专利技术提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的图像缺陷检测模型预测结果人工复审方法。
17、第四方面，本专利技术提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的图像缺陷检测模型预测结果人工复审方法。
18、从以上技术方案可以看出，本专利技术实施例具有以下优点：
19、本专利技术提供的一种图像缺陷检测模型预测结果人工复审方法、装置、设备及介质，通过获取图像缺陷检测模型输出的缺陷框及缺陷框对应的特征向量和置信度，根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度，根据调整后的置信度确定未人工复审的缺陷框的复审顺序，通过计算缺陷框的特征向量的相似性，根据已完成的人工复审结果，实时调整未人工复审的缺陷框的置信度，从而动态调整复审顺序，在确保缺陷检出率的前提下降低了人工复审所需工作量。
本文档来自技高网...【技术保护点】
1.一种图像缺陷检测模型预测结果人工复审方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取图像缺陷检测模型输出的缺陷框及所述缺陷框对应的特征向量和置信度，包括：
3.根据权利要求2所述的方法，其特征在于，所述缺陷特征通过从所述图像缺陷检测模型的特征提取网络中提取所述缺陷框所在位置的特征得到。
4.根据权利要求2所述的方法，其特征在于，根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度，包括：
5.根据权利要求4所述的方法，其特征在于，根据已完成人工复审的缺陷框的特征向量和所述目标缺陷框的特征向量的相似度以及所述置信度调整值调整所述目标缺陷框的置信度的调整方式为：
6.根据权利要求4所述的方法，其特征在于，在为每个缺陷类别的缺陷框分别构造置信度集合之后，包括：
7.根据权利要求1所述的方法，其特征在于，根据调整后的置信度确定未人工复审的缺陷框的复审顺序，包括：
8.根据权利要求7所述的方法，其特征在于，根据所述复审优先度确定
9.根据权利要求8所述的方法，其特征在于，根据所述复审优先度确定复审顺序，包括：
10.一种图像缺陷检测模型预测结果人工复审装置，其特征在于，包括：
11.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至9中任一项所述的图像缺陷检测模型预测结果人工复审方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至9中任一项所述的图像缺陷检测模型预测结果人工复审方法。
...【技术特征摘要】
1.一种图像缺陷检测模型预测结果人工复审方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取图像缺陷检测模型输出的缺陷框及所述缺陷框对应的特征向量和置信度，包括：
3.根据权利要求2所述的方法，其特征在于，所述缺陷特征通过从所述图像缺陷检测模型的特征提取网络中提取所述缺陷框所在位置的特征得到。
4.根据权利要求2所述的方法，其特征在于，根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度，包括：
5.根据权利要求4所述的方法，其特征在于，根据已完成人工复审的缺陷框的特征向量和所述目标缺陷框的特征向量的相似度以及所述置信度调整值调整所述目标缺陷框的置信度的调整方式为：
6.根据权利要求4所述的方法，其特征在于，在为每个缺陷类别的缺陷框分别构造置信度集合之后，包括：
【专利技术属性】
技术研发人员：王博，周飞，张国梁，陈江琦，张希，王进，
申请(专利权)人：国网智能电网研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。