图像的标注方法、装置及电子设备制造方法及图纸

本申请实施例提供的图像的标注方法、装置及电子设备，涉及图像处理技术领域。首先，基于支撑图像的特征图与查询图像的特征图，得到与查询图像的特征图同形状的第一内积变换结果；接着，基于第一内积变换结果得到同一类别目标物体的特征映射热力图；再接着，从特征映射热力图中确定出候选框，并采用候选框在查询图像中截取目标子图；然后，基于目标子图的特征向量和支撑图像的特征向量，确定查询图像中目标物体和所述支撑图像中目标物体的特征相似度；最后，根据特征相似度输出查询图像中目标物体的边框信息和类别。上述方案可以通过已标注的支撑图像对大量的查询图像进行自动标注，相对于现有技术，标注的效率和精度都更高。标注的效率和精度都更高。标注的效率和精度都更高。

【技术实现步骤摘要】
图像的标注方法、装置及电子设备


[0001]本申请涉及图像处理
，具体而言，涉及一种图像的标注方法、装置及电子设备。

技术介绍

[0002]某些特定场所对进入的目标物体是有明确的限制的，比如，高铁站是禁止大型宠物进入的，目前针对此类目标物体的管控多半通过人工实现的，比如通过人工对进站区图像进行标注的方式对目标物体进行标注以辨别该目标物体是否具有进入的权限，具体地，需要标注目标物体在进站区图像中的位置区域和对应的类别，然而受标注人的专注程度的影响，标注人会随时间而疲劳最终导致标注效率下降且错误增多。

技术实现思路

[0003]为了解决上述技术问题，本申请提供一种图像的标注方法、装置及电子设备。
[0004]第一方面，本申请实施例提供一种图像的标注方法，所述方法包括：
[0005]对支撑集中的支撑图像进行图像特征提取，得到所述支撑图像的特征向量和所述支撑图像的特征图，其中，所述支撑图像包括标注信息，所述标注信息包括所述支撑图像中目标物体的类别和用于将所述目标物体从所述支撑图像中圈定出的边框信息；
[0006]对查询集中的查询图像进行图像特征提取，得到所述查询图像的特征图；
[0007]基于所述支撑图像的特征图与所述查询图像的特征图，得到与所述查询图像的特征图同形状的第一内积变换结果；
[0008]基于所述第一内积变换结果得到同一类别目标物体的特征映射热力图；
[0009]从所述特征映射热力图中确定出候选框，并采用所述候选框在所述查询图像中截取目标子图；
[0010]提取所述目标子图的特征向量，基于所述目标子图的特征向量和所述支撑图像的特征向量，确定所述查询图像中目标物体和所述支撑图像中目标物体的特征相似度；
[0011]根据所述查询图像中目标物体和所述支撑图像中目标物体的特征相似度，输出所述查询图像中目标物体的边框信息和类别。
[0012]在一种可能的实现方式中，在从所述特征映射热力图中确定出候选框，并采用所述候选框在所述查询图像中截取目标子图的步骤之后，所述方法还包括：
[0013]基于所述支撑图像的特征图与所述目标子图的特征图，得到与所述目标子图的特征图同形状的第二内积变换结果；
[0014]基于所述第二内积变换结果更新同一类别的特征映射热力图；
[0015]基于更新后的特征映射热力图对所述候选框进行更新，由更新后的候选框重新在所述查询图像中截取目标子图。
[0016]在一种可能的实现方式中，所述对支撑集中的支撑图像进行图像特征提取，得到所述支撑图像的特征向量和所述支撑图像的特征图的步骤，包括：
[0017]将所述支撑集中的支撑图像输入图像特征提取模型中，输出所述支撑图像的特征向量和所述支撑图像的特征图，并将所述支撑图像的特征图中所述边框信息确定区域之外的区域设置为0；
[0018]所述对查询集中的查询图像进行图像特征提取，得到所述查询图像的特征图的步骤，包括：
[0019]将所述查询集中的查询图像输入所述图像特征提取模型中，输出所述查询图像的特征图。
[0020]在一种可能的实现方式中，所述基于所述支撑图像的特征图与所述查询图像的特征图，得到与所述查询图像的特征图同形状的第一内积变换结果的步骤，包括：
[0021]对所述支撑图像的特征图与所述查询图像的特征图中所有点进行向量归一化；
[0022]计算向量归一化后所述支撑图像的特征图与所述查询图像的特征图的内积，其中，所述内积的维度为四维；
[0023]将所述内积减去该内积中后两个维度的均值后，在所述内积的前两个维度上求平均，得到与所述查询图像的特征图同形状的第一内积变换结果。
[0024]在一种可能的实现方式中，所述基于所述第一内积变换结果得到同一类别目标物体的特征映射热力图的步骤，包括：
[0025]对所述第一内积变换结果进行处理，将所述第一内积变换结果中值小于0的点钳位到0，将所述第一内积变换结果中值大于或等于0的点线性变换到设定的数值区间内；
[0026]以图像插值的方式对所述第一内积变换结果进行处理，得到特征映射热力图；
[0027]对同一类别目标物体的多个支撑图像对应的特征映射热力图求平均，得到同一类别目标物体的特征映射热力图。
[0028]在一种可能的实现方式中，所述从所述特征映射热力图中确定出候选框，并采用所述候选框在所述查询图像中截取目标子图的步骤，包括：
[0029]基于所述特征映射热力图中连续高亮区域，求出所述特征映射热力图中的目标物体的轮廓线；
[0030]计算外接所述目标物体的轮廓线的最小外接矩形，将所述最小外接矩形作为所述候选框；
[0031]采用所述候选框从所述查询图像中截取所述目标子图。
[0032]在一种可能的实现方式中，所述提取所述目标子图的特征向量，基于所述目标子图的特征向量和所述支撑图像的特征向量，确定所述查询图像中目标物体和所述支撑图像中目标物体的特征相似度的步骤，包括：
[0033]对所述目标子图的特征向量和所述支撑图像的特征向量做内积，得到所述目标子图的特征向量和所述支撑图像的特征向量的余弦距离；
[0034]采用所述余弦距离表示所述查询图像中目标物体和所述支撑图像中目标物体的特征相似度，其中，所述余弦距离越大表示所述查询图像中目标物体和所述支撑图像中目标物体的特征相似度越高。
[0035]在一种可能的实现方式中，所述根据所述查询图像中目标物体和所述支撑图像中目标物体的特征相似度，输出所述查询图像中目标物体的边框信息和类别的步骤，包括：
[0036]将最大余弦距离对应的支撑图像作为目标支撑图像，将目标支撑图像的边框信息
和类别作为所述查询图像中目标物体的边框信息和类别，并输出所述查询图像中目标物体的边框信息和类别。
[0037]第二方面，本申请实施例还提供一种图像的标注装置，所述装置包括：
[0038]第一特征提取模块，用于对支撑集中的支撑图像进行图像特征提取，得到所述支撑图像的特征向量和所述支撑图像的特征图，其中，所述支撑图像包括标注信息，所述标注信息包括所述支撑图像中目标物体的类别和用于将所述目标物体从所述支撑图像中圈定出的边框信息；
[0039]第二特征提取模块，用于对查询集中的查询图像进行图像特征提取，得到所述查询图像的特征图；
[0040]第一计算模块，用于基于所述支撑图像的特征图与所述查询图像的特征图，得到与所述查询图像的特征图同形状的第一内积变换结果；
[0041]第二计算模块，用于基于所述第一内积变换结果得到同一类别目标物体的特征映射热力图；
[0042]确定与截取模块，用于从所述特征映射热力图中确定出候选框，并采用所述候选框在所述查询图像中截取目标子图；
[0043]提取与确定模块，用于提取所述目标子图的特征向量，基于所述目标子图的特征向量和所述支撑图像的特征向量，确定所述查询图像中目标物体和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像的标注方法，其特征在于，所述方法包括：对支撑集中的支撑图像进行图像特征提取，得到所述支撑图像的特征向量和所述支撑图像的特征图，其中，所述支撑图像包括标注信息，所述标注信息包括所述支撑图像中目标物体的类别和用于将所述目标物体从所述支撑图像中圈定出的边框信息；对查询集中的查询图像进行图像特征提取，得到所述查询图像的特征图；基于所述支撑图像的特征图与所述查询图像的特征图，得到与所述查询图像的特征图同形状的第一内积变换结果；基于所述第一内积变换结果得到同一类别目标物体的特征映射热力图；从所述特征映射热力图中确定出候选框，并采用所述候选框在所述查询图像中截取目标子图；提取所述目标子图的特征向量，基于所述目标子图的特征向量和所述支撑图像的特征向量，确定所述查询图像中目标物体和所述支撑图像中目标物体的特征相似度；根据所述查询图像中目标物体和所述支撑图像中目标物体的特征相似度，输出所述查询图像中目标物体的边框信息和类别。2.如权利要求1所述的图像的标注方法，其特征在于，在从所述特征映射热力图中确定出候选框，并采用所述候选框在所述查询图像中截取目标子图的步骤之后，所述方法还包括：基于所述支撑图像的特征图与所述目标子图的特征图，得到与所述目标子图的特征图同形状的第二内积变换结果；基于所述第二内积变换结果更新同一类别的特征映射热力图；基于更新后的特征映射热力图对所述候选框进行更新，由更新后的候选框重新在所述查询图像中截取目标子图。3.如权利要求2所述的图像的标注方法，其特征在于，所述对支撑集中的支撑图像进行图像特征提取，得到所述支撑图像的特征向量和所述支撑图像的特征图的步骤，包括：将所述支撑集中的支撑图像输入图像特征提取模型中，输出所述支撑图像的特征向量和所述支撑图像的特征图，并将所述支撑图像的特征图中所述边框信息确定区域之外的区域设置为0；所述对查询集中的查询图像进行图像特征提取，得到所述查询图像的特征图的步骤，包括：将所述查询集中的查询图像输入所述图像特征提取模型中，输出所述查询图像的特征图。4.如权利要求2所述的图像的标注方法，其特征在于，所述基于所述支撑图像的特征图与所述查询图像的特征图，得到与所述查询图像的特征图同形状的第一内积变换结果的步骤，包括：对所述支撑图像的特征图与所述查询图像的特征图中所有点进行向量归一化；计算向量归一化后所述支撑图像的特征图与所述查询图像的特征图的内积，其中，所述内积的维度为四维；将所述内积减去该内积中后两个维度的均值后，在所述内积的前两个维度上求平均，得到与所述查询图像的特征图同形状的第一内积变换结果。
5.如权利要求4所述的图像的标注方法，其特征在于，所述基于所述第一内积变换结果得到同一类别目标物体的特征映射热力图的步骤，包括：对所述第一内积变换结果进行处理，将所述第一内积变换结果中值小于0的点钳位到0，将所述第一内积变换结果中值大于或等于0的点线性变换到设定的数值区间内；以图像插值的方式对所述第一内积变换结果进行处理，得到特征映射热力图；对同一类别目标物体的多个支撑图像对应的特征映射热力图求平均，得到同一类别...

【专利技术属性】
技术研发人员：李磊，李源，
申请(专利权)人：成都点泽智能科技有限公司，
类型：发明
国别省市：