一种引入双向注意力的目标检测方法技术

一种引入双向注意力的目标检测方法,其具体步骤如下：步骤1，获取用于目标检测的训练样本，并对训练样本进行预处理；步骤2，建立引入双向注意力的目标检测算法模型，所述引入双向注意力的目标检测算法模型包括共享卷积网络、基础目标检测器和注意力模块；步骤3，将训练样本送入引入双向注意力的目标检测算法模型中进行训练，并优化模型的多任务损失；步骤4，将实际应用场景中的测试样本送入训练好的引入双向注意力的目标检测算法模型进行测试，得到目标检测结果。本发明专利技术可以模拟人脑的工作机制，提高目标检测性能。

【技术实现步骤摘要】
一种引入双向注意力的目标检测方法
本专利技术属于目标检测领域，涉及一种引入双向注意力的目标检测方法。
技术介绍
目标检测技术是指：给定一幅图像以及检测类别，确定在该图像中是否存在给定类别(比如人、鸟、风筝等)的任何实例，若存在，则返回该实例的空间位置和范围(通常用矩形框框出)。基于深度神经网络的目标检测算法框架可以分为两类：(1)基于候选区域的两阶段算法；(2)基于边框回归的单阶段算法。具体来说：(1)基于候选区域的两阶段算法：该算法框架分为两个阶段，首先提取图片中目标可能存在的区域，其次，将所有的区域输入到卷积神经网络中进行特征提取，再对这些区域进行目标分类和边框回归修正。较典型的工作包括RossGirshick等人发表的“FasterR-CNN:Towardsrealtimeobjectdetectionwithregionproposalnetworks”，(见，IEEETransactionsonPatternAnalysis&MachineIntelligence,2015.)它创造性地将神经网络应用于候选框的提取，从而实现了整个算法的端到端训练。(2)基于边框回归的单阶段算法：该算法框架不再提取候选区域，而是将原图像作为输入，直接对边框进行回归，输出预测结果，如Redmon等人在“ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2016.”发表的“Youonlylookonce:Unified,real-timeobjectdetection”。该算法利用卷积神经网络提取特征，将不同大小的特征图都作为输出特征图，其后接分类和回归模块，可以解决不同尺度物体的检测问题，速度远快于FasterRCNN。通常，二阶段算法具有更高的精度，单阶段算法具有更快的速度。原因如下：第一，单阶段算法从网络结构上看只相当于二阶段网络的第一阶段，而二阶段网络会在此基础上对筛选后的候选框做更精细的计算。第二，二阶段算法在第一个阶段时就已经剔除了大量不包含实例的背景区域，这会让正负样本的数量在训练时更加均衡。第三，二阶段算法在第二阶段开始前会对候选框做resize，小目标将会放大，因此在小物体的检测上二阶段算法比单阶段算法更为准确。同时，正是由于第一阶段的存在，二阶段算法在速度上要慢于单阶段算法。
技术实现思路
本专利技术的目的在于提高目标检测算法的性能，本专利技术提供了一种引入双向注意力的目标检测方法，可以在保持较快的运行速度的情况下，提高目标检测准确率。本专利技术具有通用性，适用于一阶段和二阶段目标检测算法。本专利技术采用的技术方案是：一种引入双向注意力的目标检测方法,其具体步骤如下：步骤1，获取用于目标检测的训练样本，并对训练样本进行预处理；步骤2，建立引入双向注意力的目标检测算法模型，所述引入双向注意力的目标检测算法模型包括共享卷积网络、基础目标检测器和注意力模块；步骤3，将训练样本送入引入双向注意力的目标检测算法模型中进行训练，并优化模型的多任务损失；步骤4，将实际应用场景中的测试样本送入训练好的引入双向注意力的目标检测算法模型进行测试，得到目标检测结果。进一步，所述步骤1中训练样本的预处理具体包括以下子步骤：步骤11，读取目标检测训练样本，每个样本包括图像和标签；步骤12，对图像进行预处理，将图像进行随机大小，随机长宽比的裁剪，然后将裁剪后的图像调整为固定大小；步骤13，依概率p对图像进行水平翻转；步骤14，将读入的图像数据转换为张量，并将RGB三个通道[0,255]的数值归一化至[0,1]；步骤15，将图像数据按通道进行标准化。进一步，所述步骤2具体包括以下子步骤：步骤21，所述共享卷积网络用于提取图像的浅层特征图；步骤22，基础目标检测器通过深度卷积神经网络组成的主干网络对浅层特征图继续提取特征，得到深层特征图；再对深层特征图进行分类和回归，得到矩形框和分类得分矩阵R；步骤23，注意力模块根据基础目标检测器的结果给浅层特征图赋予不同的注意力权值，浅层特征图中的每个像素对应的特征向量和注意力权值进行点乘之后再继续输入到卷积网络中进行处理，得到注意力模块分类得分矩阵M；步骤24，注意力模块的结果以一定的注意力权重和基础目标检测器的结果进行结合得到最后的目标检测结果。进一步，所述基础目标检测器采用一阶段或者两阶段的目标检测算法。进一步，所述注意力模块的卷积网络采用MobileNetV3网络。进一步，所述注意力权值按照如下的方法进行赋予：(1)如果基础目标检测器预测的矩形框和真实物体框最大的IoU大于设定的前景阈值FG_THRESH，该矩形框中所有像素点的注意力权值赋为1；(2)如果基础目标检测器预测的特征图的像素点对应预测得到的分类分数大于设定的attention阈值，该像素点预测得到的矩形框中范围内包含的所有像素点的注意力权值赋为1；(3)其余像素点的注意力权值赋为0。进一步，注意力模块的结果以一定的注意力权重和基础目标检测器的结果结合的具体方式是：首先计算注意力权重矩阵W：其中M是注意力模块分类得分矩阵，C表示所有物体类别数；R是基础目标检测器分类得分矩阵，RT是R经过转置后的矩阵；假设基础目标检测器得到某像素点的分数为r，结合注意力模块的结果得到该像素点的分类分数为score＝r·(WTM)其中WT表示注意力权重矩阵W转置后的矩阵；该像素点对应的分类分数score(只是该像素点的分类分数，忽略矩形框中包含的其他像素点的分类分数)和基础目标检测器预测得到的矩形框(由矩形框左上角和右下角的坐标组成)一起组成了该像素点的目标检测结果，然后利用非极大抑制算法对矩形框进行筛选，得到最后的目标检测结果。进一步，所述步骤3具体包括以下子步骤：步骤31，将训练样本对随机打乱，每次训练迭代选择Nb个训练样本进行训练，其中Nb＜＜训练样本总数；步骤32，将步骤31中预处理后的图像输入到共享卷积网络中，得到浅层特征图，浅层特征图同时输入到基础目标检测器和注意力模块中；基础目标检测器计算分类损失Lcls和定位损失Lloc，其中分类损失Lcls采用交叉熵损失函数，定位损失Lloc采用Smooth-L1损失函数；注意力模块分类损失LAttention采用交叉熵损失函数；步骤33，对网络参数进行调整优化多任务损失：L＝Lcls+Lloc+LAttention，训练算法模型直到收敛。进一步，所述的步骤4具体包括以下子步骤：步骤41，将测试样本进行预处理；步骤42，将预处理后的测试样本输入训练好的引入双向注意力的目标检测算法模型，得到目标检测结果；步骤43，重复步骤41至步骤42，直到测试样本集中所有图片均测试完毕，计算目标检测评价指标mAP本文档来自技高网...

【技术保护点】
1.一种引入双向注意力的目标检测方法,其特征在于，其具体步骤如下：/n步骤1，获取用于目标检测的训练样本，并对训练样本进行预处理；/n步骤2，建立引入双向注意力的目标检测算法模型，所述引入双向注意力的目标检测算法模型包括共享卷积网络、基础目标检测器和注意力模块；/n步骤3，将训练样本送入引入双向注意力的目标检测算法模型中训练，优化模型的多任务损失；/n步骤4，将实际应用场景中的测试样本送入训练好的引入双向注意力的目标检测算法模型进行测试，得到目标检测结果。/n

【技术特征摘要】
1.一种引入双向注意力的目标检测方法,其特征在于，其具体步骤如下：
步骤1，获取用于目标检测的训练样本，并对训练样本进行预处理；
步骤2，建立引入双向注意力的目标检测算法模型，所述引入双向注意力的目标检测算法模型包括共享卷积网络、基础目标检测器和注意力模块；
步骤3，将训练样本送入引入双向注意力的目标检测算法模型中训练，优化模型的多任务损失；
步骤4，将实际应用场景中的测试样本送入训练好的引入双向注意力的目标检测算法模型进行测试，得到目标检测结果。


2.根据权利要求1所述的一种引入双向注意力的目标检测方法，其特征在于：所述步骤1中训练样本的预处理具体包括以下子步骤：
步骤11，读取目标检测训练样本，每个样本包括图像和标签；
步骤12，对图像进行预处理，将图像进行随机大小，随机长宽比的裁剪，然后将裁剪后的图像调整为固定大小；
步骤13，依概率p对图像进行水平翻转；
步骤14，将读入的图像数据转换为张量，并将RGB三个通道[0,255]的数值归一化至[0,1]；
步骤15，将图像数据按通道进行标准化。


3.根据权利要求2所述的一种引入双向注意力的目标检测方法，其特征在于：所述步骤2具体包括以下子步骤：
步骤21，所述共享卷积网络用于提取图像的浅层特征图；
步骤22，基础目标检测器通过深度卷积神经网络组成的主干网络对浅层特征图继续提取特征，得到深层特征图；再对深层特征图进行分类和回归，得到矩形框和分类得分矩阵R；
步骤23，注意力模块根据基础目标检测器的结果给浅层特征图赋予不同的注意力权值，浅层特征图中的每个像素对应的特征向量和注意力权值进行点乘之后再继续输入到卷积网络中进行处理，得到注意力模块分类得分矩阵M；
步骤24，注意力模块的结果以一定的注意力权重和基础目标检测器的结果进行结合得到最后的目标检测结果。


4.根据权利要求3所述的一种引入双向注意力的目标检测方法，其特征在于：所述基础目标检测器采用一阶段或者两阶段的目标检测算法。


5.根据权利要求3所述的一种引入双向注意力的目标检测方法，其特征在于：所述注意力模块的卷积网络采用MobileNetV3网络。


6.根据权利要求3所述的一种引入双向注意力的目标检测方法，其特征在于：所述注意力权值按照如下的方法进行赋予：
(1)如果基础目标...

【专利技术属性】
技术研发人员：欧阳胜雄，李英明，钱小鸿，陈才君，蒋立靓，罗鹏，
申请(专利权)人：银江股份有限公司，浙江大学，
类型：发明
国别省市：浙江;33