基于ATSS的图像处理方法及其装置、电子设备、存储介质制造方法及图纸

本发明专利技术提供了一种基于ATSS的图像处理方法及其装置、电子设备、存储介质，包括：获取特征图，其中，特征图中预先标注有原标记框；获取特征图的下采样尺度，根据下采样尺度在特征图中生成多个候选框；确定候选框与原标记框之间的第一距离，当第一距离满足预先设定的第一条件，确定候选框为有效候选框；确定有效候选框与原标记框之间的交并比，当交并比满足预先设定的第二条件，确定有效候选框为正样本；根据正样本生成token，并根据token进行自注意权重的计算。根据本实施例的技术方案，能够通过设置好的第一条件和第二条件对候选框进行筛选，舍弃不符合条件的候选框，通过token的裁剪有效减少了token的计算量，提高了图像处理的效率。率。率。

【技术实现步骤摘要】
基于ATSS的图像处理方法及其装置、电子设备、存储介质


[0001]本专利技术涉及但不限于人工智能领域，尤其涉及一种基于ATSS的图像处理方法及其装置、电子设备、存储介质。

技术介绍

[0002]随着人工智能技术的发展，应用于图像识别的模型越来越多，而Transformer模型具有强大的性能，应用越来越广泛。虽然Transformer模型的准确率非常高，但是其核心为自注意机制，在输入图像之后，需要以整个特征图作为token计算出自注意权重，再根据自注意权重与输入图像融合，而Transformer模型的时间复杂度非常高，这会导致计算量较大，影响图像识别的效率。

技术实现思路

[0003]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0004]本专利技术实施例提供了一种基于ATSS的图像处理方法及其装置、电子设备、存储介质，能够减少token的计算量，从而提高Transformer模型的效率。
[0005]第一方面，本专利技术实施例提供了一种基于ATSS的图像处理方法，包括：
[0006]获取特征图，其中，所述特征图中预先标注有原标记框；
[0007]获取所述特征图的下采样尺度，根据所述下采样尺度在所述特征图中生成多个候选框；
[0008]确定所述候选框与所述原标记框之间的第一距离，当所述第一距离满足预先设定的第一条件，确定所述候选框为有效候选框；
[0009]确定所述有效候选框与所述原标记框之间的交并比，当所述交并比满足预先设定的第二条件，确定所述有效候选框为正样本；
[0010]根据所述正样本生成token，并根据所述token进行自注意权重的计算。
[0011]在一些实施例中，所述确定所述候选框与所述原标记框之间的第一距离，包括：
[0012]获取第一坐标和第二坐标，所述第一坐标为所述候选框的中心点坐标，所述第二坐标为所述原标记框的中心点坐标；
[0013]将所述第一坐标和所述第二坐标之间的距离确定为所述第一距离。
[0014]在一些实施例中，所述确定所述有效候选框与所述原标记框之间的交并比，包括：
[0015]确定第一区域，所述第一区域为所述有效候选框与所述原标记框的交集区域；
[0016]确定第二区域，所述第二区域为所述有效候选框和所述原标记框的并集区域；
[0017]将所述第二区域的面积与所述第一区域的面积的比例确定为所述交并比。
[0018]在一些实施例中，所述获取所述特征图的下采样尺度，包括：
[0019]确定所述特征图的当前的采样深度为目标采样深度；
[0020]获取预先设定的尺度映射表，所述尺度映射表记载有采样深度与所述下采样尺度
的映射关系；
[0021]根据所述目标采样深度从所述尺度映射表中确定所述下采样尺度。
[0022]在一些实施例中，所述根据所述下采样尺度在所述特征图中生成多个候选框，包括：
[0023]根据所述下采样尺度得到采样宽度和采样长度
[0024]根据所述采样宽度和所述采样长度，从所述特征图中切割出至少两个所述候选框。
[0025]在一些实施例中，所述尺度映射表中包括至少第一下采样尺度和第二下采样尺度，其中，所述第二下采样尺度大于所述第一下采样尺度，所述第二下采样尺度所对应的所述采样深度大于所述第一下采样尺度所对应的所述采样深度。
[0026]在一些实施例中，在所述根据所述下采样尺度在所述特征图中生成多个候选框之后，所述方法还包括：
[0027]当不存在所述第一距离满足所述第一条件，和/或，不存在所述交并比满足第二条件的所述候选框，增加所述特征图的采样深度。
[0028]第二方面，本专利技术实施例还提供了一种基于ATSS的图像处理装置，包括：
[0029]获取单元，用于获取特征图，其中，所述特征图中预先标注有原标记框；
[0030]采样单元，用于获取所述特征图的下采样尺度，根据所述下采样尺度在所述特征图中生成多个候选框；
[0031]第一确定单元，用于确定所述候选框与所述原标记框之间的第一距离，当所述第一距离满足预先设定的第一条件，确定所述候选框为有效候选框；
[0032]第二确定单元，用于确定所述有效候选框与所述原标记框之间的交并比，当所述交并比满足预先设定的第二条件，确定所述有效候选框为正样本；
[0033]计算单元，用于根据所述正样本生成token，并根据所述token进行自注意权重的计算。
[0034]第三方面，本专利技术实施例提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于ATSS的图像处理方法。
[0035]第四方面，本专利技术实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的基于ATSS的图像处理方法。
[0036]本专利技术实施例包括：获取特征图，其中，所述特征图中预先标注有原标记框；获取所述特征图的下采样尺度，根据所述下采样尺度在所述特征图中生成多个候选框；确定所述候选框与所述原标记框之间的第一距离，当所述第一距离满足预先设定的第一条件，确定所述候选框为有效候选框；确定所述有效候选框与所述原标记框之间的交并比，当所述交并比满足预先设定的第二条件，确定所述有效候选框为正样本；根据所述正样本生成token，并根据所述token进行自注意权重的计算。根据本实施例的技术方案，能够通过设置好的第一条件和第二条件对候选框进行筛选，舍弃不符合条件的候选框，通过token的裁剪有效减少了token的计算量，提高了图像处理的效率。
[0037]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利
要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0038]附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。
[0039]图1是本专利技术一个实施例提供的基于ATSS的图像处理方法的流程图；
[0040]图2是本专利技术另一个实施例提供的确定第一距离的流程图；
[0041]图3是本专利技术另一个实施例提供的确定交并比的流程图；
[0042]图4是本专利技术另一个实施例提供的确定下采样尺度的流程图；
[0043]图5是本专利技术另一个实施例提供的切割特征图的流程图；
[0044]图6是本专利技术另一个实施例提供的调整采用深度的示例图；
[0045]图7是本专利技术另一个实施例提供的特征图的示例图；
[0046]图8是本专利技术另一个实施例提供的基于ATSS的图像处理装置的结构图；
[0047]图9是本专利技术另一个实施例提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ATSS的图像处理方法，其特征在于，所述方法包括：获取特征图，其中，所述特征图中预先标注有原标记框；获取所述特征图的下采样尺度，根据所述下采样尺度在所述特征图中生成多个候选框；确定所述候选框与所述原标记框之间的第一距离，当所述第一距离满足预先设定的第一条件，确定所述候选框为有效候选框；确定所述有效候选框与所述原标记框之间的交并比，当所述交并比满足预先设定的第二条件，确定所述有效候选框为正样本；根据所述正样本生成token，并根据所述token进行自注意权重的计算。2.根据权利要求1所述的基于ATSS的图像处理方法，其特征在于，所述确定所述候选框与所述原标记框之间的第一距离，包括：获取第一坐标和第二坐标，所述第一坐标为所述候选框的中心点坐标，所述第二坐标为所述原标记框的中心点坐标；将所述第一坐标和所述第二坐标之间的距离确定为所述第一距离。3.根据权利要求1所述的基于ATSS的图像处理方法，其特征在于，所述确定所述有效候选框与所述原标记框之间的交并比，包括：确定第一区域，所述第一区域为所述有效候选框与所述原标记框的交集区域；确定第二区域，所述第二区域为所述有效候选框和所述原标记框的并集区域；将所述第二区域的面积与所述第一区域的面积的比例确定为所述交并比。4.根据权利要求1所述的基于ATSS的图像处理方法，其特征在于，所述获取所述特征图的下采样尺度，包括：确定所述特征图的当前的采样深度为目标采样深度；获取预先设定的尺度映射表，所述尺度映射表记载有采样深度与所述下采样尺度的映射关系；根据所述目标采样深度从所述尺度映射表中确定所述下采样尺度。5.根据权利要求4所述的基于ATSS的图像处理方法，其特征在于，所述根据所述下采样尺度在所述特征图中生成多个候选框，包括：根据所述下采样尺度得到采...

【专利技术属性】
技术研发人员：陈欣，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：