图像区域建议框检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，公开了一种图像区域建议框检测方法、装置、设备及存储介质。该方法包括：通过原始卷积层提取目标图像的初始特征图；通过第一、第二、第三混合卷积层分别提取初始特征图对应的查询张量、近邻张量和价值张量；采用预置自注意力机制，融合查询张量和近邻张量，得到注意力图像，并对注意力图像和价值张量进行合并处理，得到新的特征图；计算新的特征图对应的二值化注意力图像，并将二值化注意力图像映射至目标图像，确定目标图像中目标对象的先验框；根据预置收缩率，对先验框进行边框回归处理，得到目标图像中目标对象的建议框。本发明专利技术融合了Anchorbase和Anchor free对建议框的检测，降低了建议框检测的误差。差。差。

【技术实现步骤摘要】
图像区域建议框检测方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能领域，尤其涉及一种图像区域建议框检测方法、装置、设备及存储介质。

技术介绍

[0002]Anchor free(无锚目标检测方法)则更加灵活的通过置信度定位确定回归框的位置，好处是在原来锚点框的范围可以根据置信度的分数，出现一个或多个潜在框的可能，增加了回归框召回率，而且不受本身属性的(比如宽高比，大小)的限制。
[0003]但是Anchor free在遮挡情况下，遮挡周边的置信度呈现较高的情况，即使增加了召回率，在后续的NMS(Non
‑
Maximum Suppression，非极大值抑制)中，也会存在干扰，特别是受到遮挡特征的干扰。Anchor free上直接在宽高上进行回归，颗粒度更大，误差也会更大。而Anchor base(锚定目标检测方法)在检测图像中的目标对象时，将目标对象限定在一个建议框里面，一个锚点限定在一个建议框，Anchor base的回归是建立在建议框的宽高的收缩率回归，其，颗粒度较大，误差也较小，但是存在召回率较低的技术问题，目前还没有尝试将两者进行融合的尝试。

技术实现思路

[0004]本专利技术的主要目的在于解决现有图像目标检测方法存在区域建议框边界检测精度低的技术问题。
[0005]本专利技术第一方面提供了一种图像区域建议框检测方法，包括：获取目标图像，并通过预置图像识别模型中的原始卷积层提取所述目标图像对应的初始特征图；通过所述图像识别模型中的第一混合卷积层提取所述初始特征图对应的查询张量，通过所述图像识别模型中的第二混合卷积层提取所述初始特征图对应的近邻张量，以及通过所述图像识别模型中的第三混合卷积层提取所述初始特征图对应的价值张量；采用预置自注意力机制，融合所述查询张量和所述近邻张量，得到注意力图像，并对所述注意力图像和所述价值张量进行合并处理，得到新的特征图；计算所述新的特征图对应的二值化注意力图像，并将所述二值化注意力图像映射至所述目标图像，确定所述目标图像中目标对象的先验框；根据预置收缩率，采用所述先验框在所述目标图像上进行边框回归处理，得到所述目标图像中目标对象的建议框。
[0006]可选的，在本专利技术第一方面的第一种实现方式中，所述通过所述图像识别模型中的第一混合卷积层提取所述初始特征图对应的查询张量包括：通过所述图像识别模型中的第一混合卷积层，提取所述初始特征图对应的多个状态特征和初始查询张量，并从所述多个状态特征中随机选取至少一个第一状态特征；初始化所述第一状态特征，并采用预置匹配策略，筛选与初始化的状态特征相匹配的优化动作；从所述多个状态特征中随机选取至少一个第二状态特征，并采用所述优化动作，对所述第二状态特征进行优化；根据所述第二状态特征的优化状态，计算所述下一个状态特征的优化回报，并根据所述优化回报对所述
初始查询张量进行更新；直到对全部状态特征优化完成时，将最终更新的初始查询张量作为所述初始特征图对应的查询张量。
[0007]可选的，在本专利技术第一方面的第二种实现方式中，所述通过所述图像识别模型中的第二混合卷积层提取所述初始特征图对应的近邻张量包括：通过所述图像识别模型中的第二混合卷积层，计算所述初始特征图与已知类别的各个预置对照特征图的欧式距离；并根据所述欧式距离由大到小，选取预置数量的近邻特征图，并对各所述近邻特征图进行加权组合，得到所述初始特征图对应的近邻张量。
[0008]可选的，在本专利技术第一方面的第三种实现方式中，所述采用预置自注意力机制，融合所述查询张量和所述近邻张量，得到注意力图像包括：分解所述查询张量，得到所述初始特征图中的多个平面查询张量和各所述平面查询张量对应的多维向量值；采用预置聚合函数聚合各所述平面查询张量和各所述多维向量值，得到查询向量，并将所述查询向量映射为转换权值；计算所述转换权值和所述近邻张量的乘积，并根据计算结果生成所述初始特征图对应的注意力图像。
[0009]可选的，在本专利技术第一方面的第四种实现方式中，所述对所述注意力图像和所述价值张量进行合并处理，得到新的特征图包括：提取所述注意力图像中的系数，得到注意力系数矩阵；将所述注意力系数矩阵中的各系数与所述价值张量中的各向量进行点乘，得到新的特征图。
[0010]可选的，在本专利技术第一方面的第五种实现方式中，所述根据预置收缩率，采用所述先验框在所述目标图像上进行边框回归处理，得到所述目标图像中目标对象的建议框包括：按照预置比例对所述先验框进行缩放，得到多个等比例的先验框，并根据预置收缩率，对各个等比例的先验框的长宽进行缩放，得到多个面积尺寸的先验框；将所述目标图像分割成多个子图，并采用各个面积尺寸的先验框分别在各所述子图上进行窗口滑动，得到每个先验框对应的位置参数、置信度和至少一个类别概率；根据所述置信度和所述类别概率，调整所述先验框中对应子图的位置参数；根据所述位置参数，计算所述目标图像中目标对象的建议框。
[0011]本专利技术第二方面提供了一种图像区域建议框检测装置，包括：特征提取模块，用于获取目标图像，并通过预置图像识别模型中的原始卷积层提取所述目标图像对应的初始特征图；张量提取模块，用于通过所述图像识别模型中的第一混合卷积层提取所述初始特征图对应的查询张量，通过所述图像识别模型中的第二混合卷积层提取所述初始特征图对应的近邻张量，以及通过所述图像识别模型中的第三混合卷积层提取所述初始特征图对应的价值张量；合并模块，用于采用预置自注意力机制，融合所述查询张量和所述近邻张量，得到注意力图像，并对所述注意力图像和所述价值张量进行合并处理，得到新的特征图；映射模块，用于计算所述新的特征图对应的二值化注意力图像，并将所述二值化注意力图像映射至所述目标图像，确定所述目标图像中目标对象的先验框；回归模块，用于根据预置收缩率，采用所述先验框在所述目标图像上进行边框回归处理，得到所述目标图像中目标对象的建议框。
[0012]可选的，在本专利技术第二方面的第一种实现方式中，所述张量提取模块包括查询张量提取单元，用于：通过所述图像识别模型中的第一混合卷积层，提取所述初始特征图对应的多个状态特征和初始查询张量，并从所述多个状态特征中随机选取至少一个第一状态特
征；初始化所述第一状态特征，并采用预置匹配策略，筛选与初始化的状态特征相匹配的优化动作；从所述多个状态特征中随机选取至少一个第二状态特征，并采用所述优化动作，对所述第二状态特征进行优化；根据所述第二状态特征的优化状态，计算所述下一个状态特征的优化回报，并根据所述优化回报对所述初始查询张量进行更新；
[0013]直到对全部状态特征优化完成时，将最终更新的初始查询张量作为所述初始特征图对应的查询张量。
[0014]可选的，在本专利技术第二方面的第二种实现方式中，所述张量提取模块还包括：近邻张量提取单元，用于通过所述图像识别模型中的第二混合卷积层，计算所述初始特征图与已知类别的各个预置对照特征图的欧式距离；并根据所述欧式距离由大到小，选取预置数量的近邻特征图，并对各所述近邻特征图进行加权组合，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像区域建议框检测方法，其特征在于，所述图像区域建议框检测方法包括：获取目标图像，并通过预置图像识别模型中的原始卷积层提取所述目标图像对应的初始特征图；通过所述图像识别模型中的第一混合卷积层提取所述初始特征图对应的查询张量，通过所述图像识别模型中的第二混合卷积层提取所述初始特征图对应的近邻张量，以及通过所述图像识别模型中的第三混合卷积层提取所述初始特征图对应的价值张量；采用预置自注意力机制，融合所述查询张量和所述近邻张量，得到注意力图像，并对所述注意力图像和所述价值张量进行合并处理，得到新的特征图；计算所述新的特征图对应的二值化注意力图像，并将所述二值化注意力图像映射至所述目标图像，确定所述目标图像中目标对象的先验框；根据预置收缩率，采用所述先验框在所述目标图像上进行边框回归处理，得到所述目标图像中目标对象的建议框。2.根据权利要求1所述的图像区域建议框检测方法，其特征在于，所述通过所述图像识别模型中的第一混合卷积层提取所述初始特征图对应的查询张量包括：通过所述图像识别模型中的第一混合卷积层，提取所述初始特征图对应的多个状态特征和初始查询张量，并从所述多个状态特征中随机选取至少一个第一状态特征；初始化所述第一状态特征，并采用预置匹配策略，筛选与初始化的状态特征相匹配的优化动作；从所述多个状态特征中随机选取至少一个第二状态特征，并采用所述优化动作，对所述第二状态特征进行优化；根据所述第二状态特征的优化状态，计算所述下一个状态特征的优化回报，并根据所述优化回报对所述初始查询张量进行更新；直到对全部状态特征优化完成时，将最终更新的初始查询张量作为所述初始特征图对应的查询张量。3.根据权利要求1所述的图像区域建议框检测方法，其特征在于，所述通过所述图像识别模型中的第二混合卷积层提取所述初始特征图对应的近邻张量包括：通过所述图像识别模型中的第二混合卷积层，计算所述初始特征图与已知类别的各个预置对照特征图的欧式距离；并根据所述欧式距离由大到小，选取预置数量的近邻特征图，并对各所述近邻特征图进行加权组合，得到所述初始特征图对应的近邻张量。4.根据权利要求1所述的图像区域建议框检测方法，其特征在于，所述采用预置自注意力机制，融合所述查询张量和所述近邻张量，得到注意力图像包括：分解所述查询张量，得到所述初始特征图中的多个平面查询张量和各所述平面查询张量对应的多维向量值；采用预置聚合函数聚合各所述平面查询张量和各所述多维向量值，得到查询向量，并将所述查询向量映射为转换权值；计算所述转换权值和所述近邻张量的乘积，并根据计算结果生成所述初始特征图对应的注意力图像。5.根据权利要求1所述的图像区域建议框检测方法，其特征在于，所述对所述注意力图
像和所述价值张量进行合并处理，得到新的特征图包括：提取所述注意力图像中的系数，得到注意力系数矩阵；将所述注意力系数矩阵中的各系数与所述价值张量中的各向量进行点乘，得到新的特征图。6.根据权...

【专利技术属性】
技术研发人员：陈欣，戴磊，刘玉宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：