System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及视频图像中的行人检测的,尤其是基于无锚框的鱼眼图像行人检测方法。
技术介绍
1、目前,传统的图像行人检测算法主要有特征提取和深度学习两类方法。基于特征提取的方法通常使用hog、lbp等特征描述符和svm分类器进行行人检测,但这类方法往往敏感于自然环境的影响,特别是光照变化对其检测准确度的影响较大。而基于深度学习的图像检测算法,如yolo、ssd、mask-rcnn和centernets等,在标准透视图像上的目标检测效果较好,主要针对非畸变的直立行人。然而,直接应用于鱼眼图像的检测并不理想,因为鱼眼图像的非线性畸变导致目标尺度和形态变化难以预测。odedkrams等人在鱼眼顶视图下的行人检测中,通过几何建模扩展聚合通道特征(acf)检测器,同时充分考虑背景的变化因素与准确标注问题。arkobarman等人通过预处理技术和新颖的搜索算法,实现了鱼眼镜头下的人员再识别。seidel_r等人直接使用yolo网络进行鱼眼图像行人检测,但存在行人漏检的情况。为了更好地检测鱼眼图像中畸变的行人,lin等人将鱼眼图像分割为多张子图,并使用faster r-cnn对每张子图进行检测,最后将检测结果重新映射到原始鱼眼图像上,同样li使用yolov3在24张子图上进行检测。虽然该方法在检测效果上表现较好,但需要复杂的预处理和后续处理过程,效率较低。rapid利用带锚框的网络进行角度值回归,避免了生成多张子图,但使用非极大抑制增加了推理时间,无法满足实时性要求。quan等人提出了一种面向鱼眼图像行人检测的anchor-free rotat
2、但是,上述现有技术中,仍存在以下问题:
3、第一,在处理鱼眼图像时,无法迅速适应新的视场角度、光照变化等情况,无法对不同层次的特征进行自适应融合,无法只保留有用的信息进行组合,不能强调重要的特征,从而降低了融合特征的判别能力和特征的尺度不变性;
4、第二,在鱼眼图像中,由于畸变等因素的存在,现有技术无法处理特征的不确定性和变化;
5、第三,在鱼眼图像中,旋转边界框的回归效果差,存在的边界问题,在类正方形情况下,缺少角度信息,导致物体的角度混乱的问题。
技术实现思路
1、针对现有基于无锚框的鱼眼图像行人检测方法的技术不足,本专利技术提出了基于无锚框的鱼眼图像行人检测方法,能更好地捕捉输入图像的细节和特征,增强了融合特征的判别能力,提高了特征的尺度不变性,能够更好地处理特征的不确定性和变化。可以提升旋转边界框的回归效果,避免了传统边界框所存在的边界问题,同时也解决了在类正方形情况下,缺少角度信息会导致物体的角度混乱的问题。
2、为实现上述目的,本专利技术采用如下技术方案:
3、基于无锚框的鱼眼图像行人检测方法,包括以下步骤:
4、步骤1:输入图像,骨干网络yolov8独立提取鱼眼图像特征图;
5、步骤2:经由主干网络yolov8提取的特征图进入fisheyeasf特征融合模块,同时引入遗忘因子来平衡历史特征信息和新特征信息的影响;
6、步骤201:得到融合后的特征fisheyeasf-1,将p1层和p2层的特征进行下采样,调整与p3层通道数和分辨率一致;
7、步骤202:得到融合后的特征fisheyeasf-2,对p3层的特征进行上采样,对p1层的特征进行下采样,使通道数和分辨率与p3层特征一致;
8、步骤203:得到融合后的特征fisheyeasf-3,将p1层和p2层的特征进行下采样,调整与p3层通道数和分辨率一致;
9、步骤204:通过将p1层、p2层和p3层的特征与权重参数w相乘并相加,得到新的融合特征fisheyeasf,计算公式如下:
10、
11、其中,和是权重参数,表示(i,j)位置上的特征向量从第t层调整到l层的特征映射;
12、步骤3:使用自适应融合算法,设实际目标位置作为期望值,通过计算预测位置与真实目标位置之间的差异,作为残差来优化权重参数,将残差用e(i,j)表示,选择权重参数,使得残差平方和构成的代价函数最小;
13、步骤301:设代价函数为ξ(t),并在其定义中引入加,权因子ψ(t,k)进行调节,ξ(t)表示为:
14、
15、步骤4:将特征图传入检测头网络生成热图,焦点损失函数预测目标的中心点,提出fiou损失函数预测边界框,所述检测头网络包括两个预测分支,总损失函数的计算式如下:
16、
17、其中,ltotal是全局损失函数,lc是中心点损失函数,lreg是边界框的回归损失函数,ωc和ωangle是用于调整这两个分支的权重参数;
18、步骤401:通过高斯分布模拟iou损失的计算过程,利用高斯分布将目标框表示为一个椭圆,将边界框转换为高斯分布计算边界框的面积;
19、步骤402:将两个预测边界框的相交区域转换为高斯分布;
20、步骤403:使用卡尔曼滤波算法更新高斯分布;
21、步骤404:当图像目标形状为类正方形时,提出高斯角度损失。
22、进一步地,所述步骤1中,采用yolov8作为骨干特征提取网络,骨干网络采用残差结构,并输出3个不同尺度的特征图,这些特征图对应于输入图像经过不同的下采样步长所得到的结果。
23、进一步地,所述步骤2中,fisheyeasf特征融合模块采用多尺度自适应特征融合的方法,该方法通过学习权重参数,使网络能够自动学习如何在空间上过滤其他层次的不相关特征,并不断更新权重参数以捕捉特征信息的动态变化。
24、进一步地,所述步骤201中,将p1层的特征调整到p3层,在3×3卷积的基础上添加步长为2的最大池化操作,以调整p1层和p3层的特征图尺寸一致;
25、所述步骤202中,对p3层的特征进行上采样,使用一个3×3的卷积层,设置步长为2同时调整通道数和分辨率;
26、所述步骤203中,对p3层的特征图进行上采样操作,使其尺寸调整为与p1层相同,并通过1×1卷积调整它们的通道数一致,并使用插值的方式将它们调整为相同的大小;
27、所述步骤204中,和分别来自p1层、p2层和p3层的特征,权重参数和是分别通过resize后的p1层~p3层的特征图经过1×1卷积得到的,这些权重参数经过concat之后,通过softmax函数进行归一化处理,使其取值范围在[0,1]且和为1,计算公式如下:
28、
29、进一步地,所述步骤301中,加权因子ψ(t,k)应满足以下关系:0<ψ(t,k)≤1,k=1,2,…,t;
30、定义为:
31、ψ(t,k)=λt-k,k=1,2本文档来自技高网...
【技术保护点】
1.基于无锚框的鱼眼图像行人检测方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤1中,采用YOLOv8作为骨干特征提取网络,骨干网络采用残差结构,并输出3个不同尺度的特征图,这些特征图对应于输入图像经过不同的下采样步长所得到的结果。
3.根据权利要求2所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤2中,FishEyeASF特征融合模块采用多尺度自适应特征融合的方法,该方法通过学习权重参数,使网络能够自动学习如何在空间上过滤其他层次的不相关特征,并不断更新权重参数以捕捉特征信息的动态变化。
4.根据权利要求3所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤201中,将P1层的特征调整到P3层,在3×3卷积的基础上添加步长为2的最大池化操作,以调整P1层和P3层的特征图尺寸一致;
5.根据权利要求4所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤301中,加权因子ψ(t,k)应满足以下关系:0<ψ(t,k)≤1,k=1,2,...,t;
6.根据权利要求5所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤4中,中心点损失函数计算式如下:
7.根据权利要求6所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤401中,将任意方向的边界框转换为高斯分布G(u,Σ),其中u为:
8.根据权利要求7所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤402中,将两个预测边界框的相交区域高斯函数相乘,得到一个新的高斯函数,表示相交区域的概率分布,计算式如下:
9.根据权利要求8所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤403中,通过利用卡尔曼滤波,得到两个高斯分布的相交区域的协方差矩阵,计算式如下:
10.根据权利要求9所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤404中,当对象是正方形时,即w=h,其二维高斯分布是一个不能准确表示方向的圆,提出了高斯角度损失:
...【技术特征摘要】
1.基于无锚框的鱼眼图像行人检测方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤1中,采用yolov8作为骨干特征提取网络,骨干网络采用残差结构,并输出3个不同尺度的特征图,这些特征图对应于输入图像经过不同的下采样步长所得到的结果。
3.根据权利要求2所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤2中,fisheyeasf特征融合模块采用多尺度自适应特征融合的方法,该方法通过学习权重参数,使网络能够自动学习如何在空间上过滤其他层次的不相关特征,并不断更新权重参数以捕捉特征信息的动态变化。
4.根据权利要求3所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤201中,将p1层的特征调整到p3层,在3×3卷积的基础上添加步长为2的最大池化操作,以调整p1层和p3层的特征图尺寸一致;
5.根据权利要求4所述的基于无锚框的鱼眼图像行人检测方法,其特征在于,所述步骤301中,加权因子ψ...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。