一种基于特征增强和IoU感知的目标检测方法技术

本发明专利技术涉及一种基于特征增强和IoU感知的目标检测方法，属于计算机视觉目标检测领域。本方法利用RoI分类回归网络中卷积特征图的空间信息提高目标分类和定位的精度，利用注意力机制抑制RoI特征中的背景信息和增强RoI特征中的语义信息，利用IoU重打分策略增加类别得分和边界框置信度之间的相关性，保留高质量的边界框。本方法通过RoI分类回归分支网络，能有效利用特征图中的空间信息，有效提高了目标检测模型的分类和定位能力；通过边界框级别的语义分割分支网络和注意力机制，增强了RoI分类回归分支网络中的特征；通过IoU预测分支网络和使用预测IoU对类别得分进行重打分的策略，提高了目标的类别得分和边界框置信度之间的相关性，有效提高了边界框定位精度。

【技术实现步骤摘要】
一种基于特征增强和IoU感知的目标检测方法
本专利技术涉及一种基于特征增强和IoU(IntersectionoverUnion)感知的目标检测方法，属于计算机视觉目标检测领域。
技术介绍
目标检测作为计算机视觉领域中的一项基础任务，在航空航天、机器人导航、智能视频监控等领域应用广泛。近年来，随着基于深度学习的目标检测算法不断发展，逐渐形成了两种类型的目标检测框架：一阶段目标检测器、两阶段目标检测器。其中，一阶段检测器速度较快，但检测精度相对较低。两阶段检测器由于对目标进行了两次分类和边界框坐标回归，因此算法的检测精度通常更高，在工业界应用相对更加广泛。在两阶段目标检测算法中，通常在第一阶段使用区域建议网络对图像中大量预设的锚点框进行二分类和边界框坐标回归，输出一组存在潜在目标的感兴趣区域(RoI)。在第二阶段，由RoI分类回归网络对感兴趣区域进行多分类并对边界框进行坐标回归，经过后处理后得到最终的检测结果。当区域建议网络预测的边界框坐标不准确时，RoI分类回归网络生成的RoI特征图中可能会存在部分背景信息，从而影响分类和定位的精度。...

【技术保护点】
1.一种基于特征增强和IoU感知的目标检测方法，其特征在于，包括以下步骤：/n步骤1：获取目标检测数据集，并对图像进行预处理操作，构成训练数据集；/n步骤2：基于两阶段目标检测网络Faster R-CNN，搭建基于特征增强和IoU感知的目标检测网络；/n包括以下步骤：/n步骤2.1：搭建主干特征提取网络，输入为一张预处理后的图像，输出为该图像的特征图；/n步骤2.2：在步骤2.1所述主干特征提取网络后，搭建RoI池化网络，获得步骤2.1中输出特征图的若干感兴趣区域RoI；/n步骤2.3：在步骤2.2所述RoI池化网络后，搭建RoI分类回归分支网络，对步骤2.2中获得的若干RoI进行特征提取，并...

【技术特征摘要】
1.一种基于特征增强和IoU感知的目标检测方法，其特征在于，包括以下步骤：
步骤1：获取目标检测数据集，并对图像进行预处理操作，构成训练数据集；
步骤2：基于两阶段目标检测网络FasterR-CNN，搭建基于特征增强和IoU感知的目标检测网络；
包括以下步骤：
步骤2.1：搭建主干特征提取网络，输入为一张预处理后的图像，输出为该图像的特征图；
步骤2.2：在步骤2.1所述主干特征提取网络后，搭建RoI池化网络，获得步骤2.1中输出特征图的若干感兴趣区域RoI；
步骤2.3：在步骤2.2所述RoI池化网络后，搭建RoI分类回归分支网络，对步骤2.2中获得的若干RoI进行特征提取，并预测每个RoI的分类得分和边界框位置，输出最终的目标检测结果；
步骤2.4：在步骤2.1所述RoI池化网络后搭建语义分割分支网络，根据注意力机制搭建特征增强模块，利用提取的语义分割特征图对步骤2.3所述RoI特征进行增强；
步骤2.5：在步骤2.1所述RoI池化网络后搭建IoU预测分支网络，其输入为步骤2.4所述语义分割分支网络提取的语义分割特征图，输出为预测的RoI和其匹配的真实目标框之间的IoU；
步骤3：构建损失函数，根据训练数据集训练步骤S2所述目标检测网络，获得目标检测模型；
步骤4：获取测试图像，对其进行预处理，之后输入步骤3获得的目标检测模型，得到对测试图像的目标分类和定位结果。


2.如权利要求1所述的一种基于特征增强和IoU感知的目标检测方法，其特征在于，步骤1中，图像预处理操作包括以下步骤：
步骤1.1：将输入图像的短边缩放到600像素；
步骤1.2：使用图像随机水平翻转，进行数据增广。


3.如权利要求1所述的一种基于特征增强和IoU感知的目标检测方法，其特征在于，步骤2.2中，RoI池化算法使用RoIAlign。


4.如权利要求1所述的一种基于特征增强和IoU感知的目标检测方法，其特征在于，对于步骤2.3所述RoI分类回归分支网络，RoIAlign输出的特征图尺寸为7×7。


5.如权利要求1所述的一种基于特征增强和IoU感知的目标检测方法，其特征在于，步骤2.3包括以下步骤：
步骤2.3.1：所述RoI分类回归分支网络使用两个连续的padding＝0的3×3卷积进行特征提取，输出的特征图记为X，其大小为3×3×512；
步骤2.3.2：在特征图X上进行密集预测，依次对每个位置的特征向量进行分类，公式如下：
Si＝σ(φθ(Xi))(1)
其中，i为特征图中的位置编号，Xi为第i个特征向量；φθ()为特征向量分类函数，使用一个1×1的卷积层实现；σ()为softmax操作，用于输出一个长度为K+1的类别得分向量Si，其中K为训练数据集中的类别个数；
在训练阶段，每个特征向量的类别与其所在的RoI标签相同，分类任务使用交叉熵损失函数进行计算；
在测试阶段，首先计算特征图X上每个位置的预测得分，RoI的类别得分为所有位置类别得分的均值S，计算公式如下：



步骤2.3.3：在边界框回归时，不同于FasterR-CNN回归边界框中心点的坐标和边界框宽、高的缩放比例(tx，ty，tw，th)，而是采取独立回归边界框每条边的坐标，边界框坐标参数化过程如下：



其中，(x1，y1，x2，y2)表示预测的边界框左、上、右、下四条边的坐标，为边界框坐标回归的目标值，(tx1，ty1，tx2，ty2)为预测的坐标偏移，为回归的目标值，(x1a，y1a，x2a，y2a)表示锚点框左、上、右、下四条边的坐标，wa表示锚点框的宽度，ha表示锚点框的高度；
步骤2.3.4：用特征位置的特征回归对应边的坐标；
对于每条边，使用参数不共享的...

【专利技术属性】
技术研发人员：马波，安骄阳，刘龙耀，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11