图像处理方法、设备和介质技术

公开了图像处理方法、设备和介质。所述图像处理方法包括：通过第一处理网络，提取输入图像的第一特征图，并基于第一特征图确定第一置信度图，其中第一处理网络是完成训练的网络，第一置信度图中的每一个位置分别对应于输入图像中的相应位置，且包括目标框信息以及与目标框对应的类别置信度；通过对第一置信度图执行调整处理，得到参考置信度图；通过第二处理网络，提取输入图像的第二特征图，并基于第二特征图确定第二置信度图；至少基于第二置信度图与参考置信度图之间的损失函数，训练第二处理网络；以及基于完成训练的第二处理网络，对向其输入的图像执行目标检测处理，其中，第一处理网络的参数量大于第二处理网络的参数量。

Image processing methods, devices and media

【技术实现步骤摘要】
图像处理方法、设备和介质
本公开涉及图像处理领域，更具体地说，涉及用于对图像执行目标检测的方法、设备和介质。
技术介绍
随着用户对于图片处理要求的不断提升，图像目标检测技术的应用也愈加广泛。在用户对图片进行处理的过程中，有一个非常实际的需求就是将自己感兴趣的物体精确的检测出来。现有的目标检测方法大多是基于神经网络的目标检测方法。例如，作为一种可能的实施方式，通过使用神经网络对原始图像提取特征图，并对特征图进行分类和回归，来生成最终的目标检测结果。目标检测结果包括目标框的位置以及目标所属的类别信息。然而，在实践中，如何选择用于目标检测的神经网络的规模是需要权衡的。例如，选择大型神经网络来进行目标检测存在准确率高的优势，但也存在以下问题：第一，由于大模型对于训练数据具有较强的学习能力，但是容易对某一特定数据集过拟合；第二，在单帧检测运行速度上，由于受到了模型参数数量的限制，比较难以达到实时性的需求，用户体验差。虽然选择小型神经网络来进行目标检测能够满足实时性的需求，但是小模型的学习能力容易达到上限，从而存在准确率不高的问题。本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n通过第一处理网络，提取输入图像的第一特征图，并基于所述第一特征图确定第一置信度图，其中所述第一处理网络是完成训练的网络，所述第一置信度图中的每一个位置分别对应于所述输入图像中的相应位置，且包括目标框信息以及与所述目标框对应的类别置信度，所述目标框信息为指示包围所述输入图像中的相应位置处检测到的对象的框的相关信息，且所述类别置信度为指示所述对象属于特定类别的置信度的信息；/n通过对所述第一置信度图执行调整处理，得到参考置信度图；/n通过第二处理网络，提取输入图像的第二特征图，并基于所述第二特征图确定第二置信度图；/n至少基于所述第二置信度图与所述参考置信度图之间的...

【技术特征摘要】
1.一种图像处理方法，包括：
通过第一处理网络，提取输入图像的第一特征图，并基于所述第一特征图确定第一置信度图，其中所述第一处理网络是完成训练的网络，所述第一置信度图中的每一个位置分别对应于所述输入图像中的相应位置，且包括目标框信息以及与所述目标框对应的类别置信度，所述目标框信息为指示包围所述输入图像中的相应位置处检测到的对象的框的相关信息，且所述类别置信度为指示所述对象属于特定类别的置信度的信息；
通过对所述第一置信度图执行调整处理，得到参考置信度图；
通过第二处理网络，提取输入图像的第二特征图，并基于所述第二特征图确定第二置信度图；
至少基于所述第二置信度图与所述参考置信度图之间的损失函数，训练所述第二处理网络；以及
基于完成训练的第二处理网络，对向其输入的图像执行目标检测处理，
其中，第一处理网络的参数量大于第二处理网络的参数量。


2.根据权利要求1所述的方法，其中，所述第一置信度图中的每一个位置对应一个置信度向量，且所述置信度向量包括目标框信息以及与所述目标框对应的类别置信度。


3.根据权利要求1所述的方法，其中通过对所述第一置信度图执行调整处理，得到参考置信度图进一步包括：
针对所述第一置信度图中的每一个位置，执行以下处理：
确定在所述第一置信度图中的该位置以及相邻位置包括的类别置信度；
在所述第一置信度图中的该位置以及相邻位置包括的目标框中，确定属于同一个目标框的多个目标框；
对所述多个目标框的类别置信度进行排序；以及
将最大的类别置信度以及对应的目标框信息作为第一置信度图中该位置包括的类别置信度以及对应的目标框信息，并且当该位置还包括其他目标框信息时，将其他目标框信息所对应的类别置信度置为0。


4.根据权利要求3所述的方法，其中确定在所述第一置信度图中的该位置以及相邻位置包括的类别置信度进一步包括：
基于相邻位置与该位置之间的距离，对相邻位置的类别置信度进行加权，以作为相邻位置的类别置信度。


5.根据权利要求3所述的方法，其中在确定在所述第一置信度图中的该位置以及相邻位置包括的类别置信度之后，进一步包括：
过滤各类别置信度，以将低于第一预定阈值的类别置信度置为0。


6.根据权利要求3所述的方法，其中确定属于同一个目标框的多个目标框进一步包括：
确定两个目标框之间的重叠程度；
当所述重叠程度大于第二预定阈值时，确定所述两个目标框属于同一个目标框。


7.根据权利要求1所述的方法，其中所述输入图像为一训练数据集中的图像，且对应于一标注的目标检测结果，所述方法进一步包括：
基于所述标注的目标检测结果，生成标注置信度图；
其中至少基于所述第二置信度图与所述参考置信度图之间的损失函数，训练所述第二处理网络进一步包括：
基于所述第二置信度图与所述参考置信度图之间的损失函数以及所述第二置信度图与所述标注置信度图之间的损失函数，训练所述第二处理网络。


8.一种图像处理设备，包括：
第一检测装置，用于通过第一处理网络，提取输入图像的第一特征图，并基于所述第一特征图确定第一置信度图，其中所述第一处理网络是完成训练的网络，所...

【专利技术属性】
技术研发人员：管成，郭晓威，余宗桥，孙星，杜俊珑，彭湃，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44