System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种面向旋转小目标检测的多因素融合学习策略制造技术_技高网

一种面向旋转小目标检测的多因素融合学习策略制造技术

技术编号:40005222 阅读:9 留言:0更新日期:2024-01-09 04:51
针对旋转小目标检测模型学习过程中对目标角度进行优化时会出现的边界问题,本发明专利技术提出一种多因素融合的旋转交并比(Multi‑factor Fusion of Rotated IoU,MFRIoU)学习策略。在综合考虑重叠率因素、中心点距离、边框形状因素、边框面积因素的情况下为网络提供正确的优化方向。本发明专利技术的形状惩罚项加快了预测框形状和真实框形状的拟合,边框面积惩罚项降低了面积差对应的信息差而造成的损失,使得旋转小目标的检测模型精度更高、速度更快、误差更低。

【技术实现步骤摘要】

:本专利技术涉及旋转小目标检测模型的学习策略。现有技术:随着无人机技术的发展,航拍图像中的目标大多具有任意的旋转角度、尺度较小且分布密集。然而在旋转小目标检测模型学习过程中,对目标角度进行优化时会出现边界问题,产生较大的损失值,无法按照最理想的预测结果进行模型参数优化。而边界问题出现的根本原因是由于目标函数与基于iou(intersection over union)的评估指标之间不一致导致的,所以可以用旋转iou(rotatediou,riou)损失来学习目标检测模型。当前检测模型(如深度学习网络)的学习策略都是对riou的近似实现,文献1“yangx,yang j,yan j,et al.towards more robust detection for small,cluttered androtated objects[c].ieeeinternational conference oncomputervision.2019,27:8232-8241.”的平滑交并比(smooth iou,siou)损失通过将smooth l1损失的梯度传播的方向和iou的绝对值大小相结合,利用smooth l1损失来反向传播iou的梯度来近似实现riou损失的功能。文献2“chenz,chenk,linw,etal.piouloss:towardsaccurateorientedobject detection in complex environments[c].european conference on computervision.springer,2020:195-211.”的像素交并比(pixelsiou,piou)损失利用两个旋转框之间的共有和独有像素个数来近似计算riou的大小。文献3“yang x,yan j,ming q,etal.rethinking rotated object detection with gaussian wasserstein distanceloss[c].international conference onmachinelearning.2021:11830-11841.”的高斯wasserstein距离(gaussian wassersteindistance,gwd)损失、和文献4“yangx,yangj,etal.learninghigh-precision bounding box for rotated object detection viakullback-leibler divergence[c].advances in neural informationprocessingsystems,2021,34.”的kl散度(kullback-leiblerdivergence,kld)损失均是将任意旋转框(x,y,w,h,θ)转换为二维高斯分布,再对两个高斯分布做不同的变换(计算gw距离;计算kl散度)来近似实现riou的功能。专利技术目的:目前深度目标检测模型学习时没有充分考虑待检测目标的旋转几何因素,本专利技术将基于riou提出一个多因素融合的旋转交并比(multi-factor fusion of rotatediou,mfriou)学习策略。在综合考虑重叠率因素、中心点距离、边框形状因素、边框面积因素的情况下,将使用rotatedretinanet模型作为特征提取骨干网络,利用设计的学习策略在公开测试集dotav1上进行测试,测试指标map50达到70.42,map75到达46.14,优于文献1-4。


技术介绍


技术实现思路

0、
技术实现思路

1、本专利技术提出的学习策略在于设计多因素融合的损失函数mfriou,在完整的旋转交并比损失(complete rotated iou,ciou)基础上进行计算的,将旋转角度损失考虑到形状损失之中,来解决角度的边界问题,并添加了面积惩罚项来达到相同riou的情况下面积差的不同信息差的优化。mfriou损失融合了重叠率因素、中心点距离因素、边框形状因素、边框面积因素。其中重叠率惩罚项对齐目标函数与评估指标、中心点惩罚项在预测框和真实框不相交的情况下可以为模型提供正确的优化方向,形状惩罚项在训练后期加快预测框形状和真实框形状的拟合,边框面积惩罚项是匹配面积差对应的信息差而造成的损失。

2、(1)ciou的计算

3、对于完整的旋转交并比损失计算,应同时考虑重叠率、中心点距离、形状参数和旋转角度四个因素。

4、1)重叠率惩罚项

5、loverlap的主要作用是对齐目标函数和评估指标,其中精度评估指标map是基于两框之间的riou计算得到的,loveralp也是基于riou,具体公式如下:

6、loverlap=lriou=1-riou    (1)

7、其中riou表示预测旋转框和真实旋转框之间的面积交并比。

8、2)中心点距离惩罚项

9、lcenter的主要作用是在预测框和真实框不相交的情况下可以为深度模型提供正确的优化方向,具体公式如下式:

10、

11、其中ρ2(b,bgt)代表预测框与真实框中心点之间的欧氏距离;c表示能同时覆盖两框的最小外接旋转矩形框的对角线长度。

12、3)形状参数惩罚项

13、lshape的主要作用是在训练后期加快预测框形状和真实框形状的拟合,其具体公式如下式:

14、

15、其中α表示动态的基于重叠率的权重平衡因子,可调节形状参数的敏感度;v表示形状参数惩罚项,用于度量预测框和真实框之间的形状相似度;wgt、hgt表示真实框的长边和短边;w、h表示预测框的长边和短边

16、4)旋转角度惩罚项

17、lθ的主要作用是在训练末期加快拟合预测框和真实框之间角度的偏差,其具体公式如下式:

18、lθ=|θ-θgt|    (4)

19、其中θ和θgt分别是预测框和真实框的角度大小

20、综上,完整的旋转交并比损失计算如下:

21、

22、(2)mfriou的计算

23、利用旋转框(x,y,w,h,θ)的相关几何因素构造完整的旋转交并比损失ciou,但其惩罚项仍存在缺陷。本专利技术提出的mfriou损失对其进行提升,对(x,y,w,h,θ)中隐式包含的几何参数进行计算。

24、1)旋转角度惩罚项

25、在公式(5)中,criou损失是单独优化旋转角度的,而这会导致模型出现边界问题,因此不能用旋转角度惩罚项来优化预测框和真实框之间角度的差异,让lθ等于0。根据riou衡量整体回归效果的指标,可以使用loverlap来隐式优化角度。

26、2)形状参数惩罚项

27、在公式(3)中,lshape是基于长宽比来优化的,但这种优化方式只能反映长宽比的差异,不能够真实反映w和wgt、h和hgt的真实关系。在预测框与真实本文档来自技高网...

【技术保护点】

1.本专利技术提出了一种面向旋转小目标检测的多因素融合学习策略,要求的权利主要在三部分:形状参数惩罚项、面积参数惩罚项、MFRIoU学习策略。

【技术特征摘要】

1.本发明提出了一种面向旋转小目标检测的多因素融合学习策略,要求的权利...

【专利技术属性】
技术研发人员:夏召强令狐克睿王晨党思航蒋晓悦冯晓毅
申请(专利权)人:西北工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1