基于局部语义感知注意力神经网络的遮挡目标识别方法技术

本发明专利技术公开了基于局部语义感知注意力神经网络的遮挡目标识别方法，包括获取用于网络训练、验证和测试的数据，并进行预处理以及标注，按比例构建训练、验证、测试数据集；搭建局部语义感知注意力增强神经网络；根据构建的训练集对局部语义感知注意力增强神经网络进行训练，根据预设的网络损失函数对局部语义感知注意力增强神经网络进行反向传播，并通过验证集对网络验证；将测试数据集输入至训练好的局部语义感知注意力增强神经网络，得到遮挡目标的置信度和位置，结合极大值抑制算法确定最终的输出结果作为识别结果。通过对遮挡目标的语义进行感知并增强，提升模型对遮挡目标语义识别能力，最终提升机器人对存在遮挡目标的识别效果。效果。效果。

【技术实现步骤摘要】
基于局部语义感知注意力神经网络的遮挡目标识别方法


[0001]本专利技术属于图像处理
，特别是涉及一种基于局部语义感知注意力神经网络的遮挡目标识别方法。

技术介绍

[0002]随着我国经济的持续发展，智能机器人已经成为我们日常生活中非常重要的一部分，如电力巡检机器人、送餐机器人等。这些机器人通常需要搭载视觉传感器对外部环境进行感知和识别，进而自主完成预设的任务。在机器人对环境进行感知的过程中，目标的识别是机器人自主作业的基础。在智能机器人的目标识别过程中，目标被遮挡会导致我们的机器人难以识别出目标的具体位置和类别，这导致遮挡目标的识别效果大幅下降。机器人对遮挡目标的识别效果差的原因包括：1)目标被遮挡导致相应的特征不明显，进而影响目标的特征提取效果；2)遮挡部分通常属于其他背景，这会造成机器人对目标的认知存在偏差，误认为背景特征也属于目标特征，进而引起误检。综上所述，针对机器人在目标被遮挡时导致识别能力下降的问题提，展开一种基于局部语义感知注意力神经网络的遮挡目标识别方法研究是必要的。

技术实现思路

[0003]针对以上技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于局部语义感知注意力神经网络的遮挡目标识别方法，其特征在于，所述方法包括以下步骤：S100：获取待测区域的图像数据，对所述图像数据进行预处理，并对所述图像数据中被遮挡目标的位置和类别进行标注，按照预设的划分比例构建出用于训练、验证和测试的数据集；S200：搭建局部语义感知注意力增强神经网络，所述网络包括基于局部语义感知注意力增强的残差网络、特征金字塔网络和检测头网络，其中，所述基于局部语义感知注意力增强的残差网络用于提取到具有不同分辨率的深度特征图；所述特征金字塔网络用于融合不同分辨率的深度特征图，得到融合后的不同分辨率的深度特征图；所述检测头网络用于根据融合后的不同分辨率的深度特征图去预测被遮挡目标的位置和类别；S300：根据构建的训练集对所述局部语义感知注意力增强神经网络进行训练，根据验证数据集和预设的网络损失函数对所述局部语义感知注意力增强神经网络进行反向传播，对网络权重进行更新，在完成预设训练轮次之后，得到训练好的局部语义感知注意力增强神经网络；S400：将数据集输入至训练好的局部语义感知注意力增强神经网络，得到被遮挡目标的置信度和位置，根据所述被遮挡目标的置信度和位置结合极大值抑制算法确定最终的输出结果作为目标识别结果。2.根据权利要求1所述的方法，其特征在于，S200中基于局部语义感知注意力增强的残差网络包括依次连接的第一残差块、局部语义感知注意力增强网络、第二残差块、第三残差块和第四残差块，所述第一残差块用于对输入的训练集图片进行语义特征提取，得到第一特征图并输入至所述局部语义感知注意力增强网络；所述局部语义感知注意力增强网络用于增强网络对所述第一特征图中具有相同语义信息局部特征块的注意力，获取具有局部语义增强的特征图，并发送至所述第二残差块；所述第二残差块用于对所述具有局部语义增强的特征图进行语义特征提取，得到第二特征图，所述第三残差块用于对所述第二特征图进行语义特征提取，得到第三特征图，所述第四残差块用于对所述第三特征图进行语义特征提取，得到第四特征图，将所述第二特征图、所述第三特征图和所述第四特征图输入至所述特征金字塔网络。3.根据权利要求2所述的方法，其特征在于，S200中所述局部语义感知注意力增强网络用于增强网络对所述第一特征图中具有相同局部语义信息特征块的注意力，获取具有局部语义增强的特征图，包括：S221：对所述第一特征图F进行滑动窗口操作获取具有大小相同的多维局部语义块F1，再对所述多维局部语义块F1进行转置操作得到多维局部语义块F2；S222：将所述多维局部语义块F1和所述多维局部语义块F2进行矩阵乘法，得到格拉姆矩阵G，具体计算公式如下：G＝F1
⊙
F2其中，
⊙
表示矩阵乘法，格拉姆矩阵G中的每个元素g
ij
代表了局部语义块i和局部语义块j之间的相似度；S223：将所述格拉姆矩阵进行归一化操作得到相似度矩阵G
n
，计算公式如下：
其中，||G||2表示G的二范数；S224：将所述相似度矩阵G
n
按行进行求均值，得到局部语义块的权重w，并将所述多维语义块F1和所述权重系数w进行元素相乘，得到局部语义增强特征并通过反滑动窗口操作还原成和所述输入特征图F具有相同大小的局部语义特征F'，并将所述语义特征F'送入动态修正线性函数中进行调整得到具有局部语义增强的遮挡目标特征图。4.根据权利要求3所述的方法，其特征在于，S224中将所述局部语义特征F'送入动态修正线性函数中进行调整得到具有局部语义增强的遮挡目标特征图，包括：S2241：将所述局部语义特征F'通过全局平均池化操作得到全局特征g；S2242：将所述全局特征g先后经过卷积
‑
Relu、卷积
‑
Sigmoid操作得到动态修正线性函数的系数C，并将所述系数C的数值范围限制在[
‑
0.5,0.5]之间，具体地计算公式如下：C＝Sigmoid(conv2(R(conv1(g))))
‑
0.5其中，conv1，conv2分别表示1x1卷积操作，R表示Relu，Sigmod函数将卷积的输出结果限制到[0,1]；S2243：将所述系数C按通道维进行划分，分别得到线性系数a1,b1,a2,b2，最后的DyRelu结果计算公式如下：O＝Max(F
′
*(a1*2+1)+b1,F
′
*(a2*2)+b2)其中，Max表示最大值函数，*表示元素相乘，O是经过Dy...

【专利技术属性】
技术研发人员：毛建旭，易俊飞，王耀南，张辉，曾凯，陶梓铭，钟杭，刘彩苹，朱青，刘敏，
申请(专利权)人：湖南大学，
类型：发明
国别省市：