一种基于空间注意力地图的目标检测方法技术

技术编号:24458695 阅读:57 留言:0更新日期:2020-06-10 16:20
本发明专利技术公开了一种基于空间注意力地图的目标检测方法,包括:将测试图像输入预先训练好的Faster RCNN网络,自下向上逐层进行特征提取、自上向下逐层进行高层语义信息传播,得到目标的空间特征信息和特征梯度信息;对目标的空间特征信息和特征梯度信息进行加权得到目标高层语义信息引导的注意力地图;对目标空间特征信息进行数据预处理,得到目标感兴趣区域图;叠加目标感兴趣区域图和注意力地图,得到目标注意力地图;将目标注意力地图与通道特征权重进行计算得到多通道空间注意力地图;将多通道空间注意力地图与目标空间特征信息结合得到新的目标空间特征信息;将新的目标空间特征信息联合RPN网络的目标候选框提取出进行目标分类和边界框回归的特征。

A method of target detection based on spatial attention map

【技术实现步骤摘要】
一种基于空间注意力地图的目标检测方法
本专利技术涉及目标检测
,尤其涉及一种基于空间注意力地图的目标检测方法。
技术介绍
目标检测作为计算机视觉的领域的一个基础研究课题,其目标是在图片中对可变数量的目标进行查找和分类。得益于深度学习的快速发展,目标检测的性能取得了较大的进展,但是由于目标的尺度不一、种类和数量不确定、空间特征信息利用率低以及分类与定位精度间的不一致性等问题,限制了检测精度的提升。考虑到,人们在看一件东西的时候,总能够快速的将注意力焦点集中在这件东西的某一个地方或者部位,同时能够在较短时间内准确的获得这件东西的属性、类别等信息,这意味着人们在注意到某个目标或某个场景时,人类会利用有限的注意力资源从大量信息中快速筛选出高价值信息,即通过视觉注意力机制有效的结合了自下而上与自上而下的特征信息,进而极大提高了视觉信息处理的效率与准确性。受人类视觉注意力的启发,近几年注意力模型被广泛应用于深度学习的语音识别、自然语言处理等任务中。其生成的注意力地图作为一种解释网络决策的有效方法,不仅有助于提高网络中图像特征信息的利用率,而且本文档来自技高网...

【技术保护点】
1.一种基于空间注意力地图的目标检测方法,其特征在于,包括步骤:/nS1.将测试图像输入预先训练好的Faster RCNN网络,并自下向上逐层进行特征提取、自上向下逐层进行高层语义信息传播,得到目标的空间特征信息F和与空间特征信息相对应的特征梯度信息G;/nS2.对所述得到的目标的空间特征信息F和特征梯度信息G进行加权计算,得到目标高层语义信息引导的注意力地图M;/nS3.对所述目标的空间特征信息F进行数据预处理,通过Transformer注意力模块得到目标的感兴趣区域图P;/nS4.叠加所述得到的目标感兴趣区域图P和目标高层语义信息引导的注意力地图M,得到目标注意力地图A;并将得到的目标注意...

【技术特征摘要】
1.一种基于空间注意力地图的目标检测方法,其特征在于,包括步骤:
S1.将测试图像输入预先训练好的FasterRCNN网络,并自下向上逐层进行特征提取、自上向下逐层进行高层语义信息传播,得到目标的空间特征信息F和与空间特征信息相对应的特征梯度信息G;
S2.对所述得到的目标的空间特征信息F和特征梯度信息G进行加权计算,得到目标高层语义信息引导的注意力地图M;
S3.对所述目标的空间特征信息F进行数据预处理,通过Transformer注意力模块得到目标的感兴趣区域图P;
S4.叠加所述得到的目标感兴趣区域图P和目标高层语义信息引导的注意力地图M,得到目标注意力地图A;并将得到的目标注意力地图A与通道特征权重进行计算,得到多通道的空间注意力地图AS;
S5.将所述得到的多通道的空间注意力地图AS与目标空间特征信息F进行结合,得到新的目标空间特征信息Fnew;
S6.将得到的新的目标空间特征信息Fnew联合RPN网络的目标候选框,提取出进行目标分类和边界框回归的特征。


2.根据权利要求1所述的一种基于空间注意力地图的目标检测方法,其特征在于,所述步骤S6之后还包括:
S7.在FasterRCNN网络训练过程中,Transformer注意力模块、RPN网络、RCNN网络均产生损失,并将Transformer注意力模块的损失与RPN网络、RCNN网络的损失结合,得到新的损失函数,然后执行反向传播进行网络参数以及权重的更新。


3.根据权利要求1所述的一种基于空间注意力地图的目标检测方法,其特征在于,所述步骤S1中得到目标的空间特征信息和F与空间特征信息相对应的特征梯度信息G是通过卷积神经网络的最后一层卷积层获取到的。


4.根据权利要求1所述的一种基于空间注意力地图的目标检测方法,其特征在于,所述步骤S1中特征梯度信息G表示为:



其中,表示空间特征信息F中第k个特征图(i,j)位置的元素值;Y表示高层语义信息。


5.根据权利要求4所述的一种基于空间注意力地图的目标检测方法,其特征在于,其特征在于,所述步骤S2中还包括对图像特征梯度信息G采进行全局平均化处理,得到每个通道特征权重wk:



其中,Zk表示第k个通道中像素点的个数;wk的尺寸大小为C×1,表示第k个特征图对预测类别的重要性;
所述步骤S2中高层语义信息引导的注意力地图M为:



其中,ReLU(·)表示非线性修正单元;Fk表示第k个通道的特征图信息。


6.根据权利要求5所述的一种基于空间注意力地图的目标检测方法,其特征在于,其特征在于,所述步...

【专利技术属性】
技术研发人员:郭春生蔡猛应娜陈华华杨萌
申请(专利权)人:杭州电子科技大学
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1