一种基于角度自适应融合的目标检测方法及系统技术方案

本发明专利技术公开了一种基于角度自适应融合的目标检测方法及系统，方法包括：通过基干网络对输入图像进行特征提取，并从不同阶段的卷积层输出结果中输出对应的第一特征图；通过特征金字塔网络对所述原始特征图进行横向连接降维和自上而下的融合处理，得到第二特征图；通过角度自适应融合金字塔网络，对所述第二特征图进行目标多角度特征提取及融合处理，得到第三特征图；通过检测器头部网络对所述第三特征图进行分类和回归，输出目标检测结果。本发明专利技术适用范围广且计算效率高，可广泛应用于人工智能技术领域。能技术领域。能技术领域。

【技术实现步骤摘要】
一种基于角度自适应融合的目标检测方法及系统


[0001]本专利技术涉及人工智能
，尤其是一种基于角度自适应融合的目标检测方法及系统。

技术介绍

[0002]随着社会的不断发展，目标检测在我们的日常生活中有着许多应用场景，改善了我们的日常生产和生活方式。作为计算机视觉领域中的基础问题之一，目标检测需要解决的问题是对输入的图像是否存在预定义类别中的实例进行判断，如果存在，则需要返回实例的类别和空间位置信息。也就是说目标检测包含两个子任务：分类和回归。随着计算机算力的大幅提升，目标检测也从传统图像目标检测阶段转变到了基于深度学习的目标检测阶段，目标检测的性能也在不断地刷新和提高。
[0003]尽管目标检测器的性能在不断提升，但仍有一些问题需要解决，比如目标方向多样化问题。在日常生活中物体不会一直保持一个姿势和朝向，导致待检测目标会以任意角度分布在图像中。我们知道卷积神经网络在图像的特征提取方面发挥了很好的作用，而且因为卷积层具有参数共享的特点，所以卷积神经网络对输入具有良好的平移不变性。然而通常的卷积核和卷积操作并未针对目标的角度特性进行设计，因此不具有天然的旋转不变性，尽管后续的池化操作能让卷积神经网络对目标小角度变化起到一定的旋转不变作用，但总体上卷积神经网络对重要的局部和全局图像旋转的处理能力仍然有限。为了提升目标检测算法对物体旋转的鲁棒性，已有工作对此进行了尝试，主要改进方向有三种：一种是对输入图像进行随机旋转以扩充数据集，这是常用的数据增强方式之一；一种是对特征图或卷积核进行多角度旋转，提取目标多方向的特征信息并进行融合，获得对目标方向具有鲁棒性的模型，如RFN网络、ORN网络；还有一种是旋转回归锚框得到旋转目标表征，如SCRDet、OBB。探寻更好的对目标多方向的表征方式，也是提升目标检测效果的方式之一。
[0004]对于目标检测中目标方向多样化的问题，解决的主要思路是如何让模型成功提取对目标方向敏感度低的特征。虽然目前已有一些相关的解决方法取得了一定的效果，但它们也存在着相应的缺陷。
[0005]1、将输入图像数据集直接进行随机旋转的方法直接扩大了数据集，使模型的计算量成倍地增加，如果训练得不充分，还可能导致模型的欠拟合。
[0006]2、将特征图或卷积核进行旋转的方法通常对特征图的尺寸和旋转角度有限制，有时候还需要引入插值操作来辅助旋转，这也增大了计算量。
[0007]3、将回归锚框进行旋转的方法只适用于基于锚框的目标检测模型，不能通用于各类目标检测模型中。

技术实现思路

[0008]有鉴于此，本专利技术实施例提供一种适用范围广且计算效率高的，基于角度自适应融合的目标检测方法及系统。
[0009]本专利技术的一方面提供了一种基于角度自适应融合的目标检测方法，包括：
[0010]通过基干网络对输入图像进行特征提取，并从不同阶段的卷积层输出结果中输出对应的第一特征图；
[0011]通过特征金字塔网络对所述原始特征图进行横向连接降维和自上而下的融合处理，得到第二特征图；
[0012]通过角度自适应融合金字塔网络，对所述第二特征图进行目标多角度特征提取及融合处理，得到第三特征图；
[0013]通过检测器头部网络对所述第三特征图进行分类和回归，输出目标检测结果。
[0014]可选地，所述通过角度自适应融合金字塔网络，对所述第二特征图进行目标多角度特征提取及融合处理，得到第三特征图，包括：
[0015]通过多角度特征提取模块对输入的所述第二特征图进行处理，得到多张不同角度方向信息且保留浅层细节的第四特征图；
[0016]通过多特征融合模块对所述第四特征图进行加权融合，获得最终角度自适应融合的第三特征图。
[0017]可选地，所述通过多角度特征提取模块对输入的所述第二特征图进行处理，得到多张不同角度方向信息且保留浅层细节的第四特征图，包括：
[0018]采用3
×
3的卷积核对所述第二特征图进行旋转卷积处理，将权重参数对应的位置按旋转角度进行逆时针内旋，输出第五特征图；
[0019]对所述第五特征图进行自下而上的连接融合，得到第四特征图。
[0020]可选地，所述采用3
×
3的卷积核对所述第二特征图进行旋转卷积处理，将权重参数对应的位置按旋转角度进行逆时针内旋，输出第五特征图，具体为：
[0021]配置四条角度偏移为0
°
、90
°
、180
°
、270
°
的偏移卷积支路，用四条所述偏移卷积支路分别提取输入特征图不同方向的特征信息，输出第五特征图。
[0022]可选地，所述配置四条角度偏移为0
°
、90
°
、180
°
、270
°
的偏移卷积支路，用四条所述偏移卷积支路分别提取输入特征图不同方向的特征信息，输出第五特征图，包括：
[0023]以一条卷积核大小为3
×
3的卷积支路为基准支路，将所述基准支路作为角度偏移为0
°
的偏移卷积支路；
[0024]对所述基准支路的卷积核分别进行90
°
、180
°
、270
°
旋转，得到三条特定角度偏移的偏移卷积支路，其中，四条所述偏移卷积支路的权重互相共享；
[0025]通过各个卷积支路输出第五特征图。
[0026]可选地，所述对所述第五特征图进行自下而上的连接融合，得到第四特征图，包括：
[0027]在相邻特征图同一角度偏移卷积的结果之间构建自下而上的连接融合通路；
[0028]对于最低层的特征图，直接输出为第四特征图；
[0029]对于非最低层的特征图，先将输入的低层特征图下采样至与输入的高层特征图的尺寸相同，将下采样后的特征图与输入的高层特征图按通道维度进行拼接，得到拼接后的特征图，使用一个1
×
1的卷积层对拼接后的特征图进行通道降维，使融合后的特征图，输出为第四特征图；
[0030]其中，所述下采样为3
×
3卷积操作。
[0031]可选地，所述通过多特征融合模块对所述第四特征图进行加权融合，获得最终角度自适应融合的第三特征图，包括：
[0032]从所述第四特征图中获取三个特征图集，其中，每个特征图集内包含四张大小相同但具有目标不同角度方向信息的特征图；并对每个特征图集进行以下操作：
[0033]将不同的特征图进行逐像素相加，得到特征图的融合结果；
[0034]对融合后的特征图进行全局平局池化操作，生成大小为1
×1×
C的第一特征向量；其中，每个第一特征向量代表每个通道上的全局信息；
[0035]将所述第一特征向量通过一个全连接层生成第二特征向量；
[0036]根据所述第二特征向量，计算不同输入特征图的通道加权值；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于角度自适应融合的目标检测方法，其特征在于，包括：通过基干网络对输入图像进行特征提取，并从不同阶段的卷积层输出结果中输出对应的第一特征图；通过特征金字塔网络对所述原始特征图进行横向连接降维和自上而下的融合处理，得到第二特征图；通过角度自适应融合金字塔网络，对所述第二特征图进行目标多角度特征提取及融合处理，得到第三特征图；通过检测器头部网络对所述第三特征图进行分类和回归，输出目标检测结果。2.根据权利要求1所述的一种基于角度自适应融合的目标检测方法，其特征在于，所述通过角度自适应融合金字塔网络，对所述第二特征图进行目标多角度特征提取及融合处理，得到第三特征图，包括：通过多角度特征提取模块对输入的所述第二特征图进行处理，得到多张不同角度方向信息且保留浅层细节的第四特征图；通过多特征融合模块对所述第四特征图进行加权融合，获得最终角度自适应融合的第三特征图。3.根据权利要求2所述的一种基于角度自适应融合的目标检测方法，其特征在于，所述通过多角度特征提取模块对输入的所述第二特征图进行处理，得到多张不同角度方向信息且保留浅层细节的第四特征图，包括：采用3
×
3的卷积核对所述第二特征图进行旋转卷积处理，将权重参数对应的位置按旋转角度进行逆时针内旋，输出第五特征图；对所述第五特征图进行自下而上的连接融合，得到第四特征图。4.根据权利要求3所述的一种基于角度自适应融合的目标检测方法，其特征在于，所述采用3
×
3的卷积核对所述第二特征图进行旋转卷积处理，将权重参数对应的位置按旋转角度进行逆时针内旋，输出第五特征图，具体为：配置四条角度偏移为0
°
、90
°
、180
°
、270
°
的偏移卷积支路，用四条所述偏移卷积支路分别提取输入特征图不同方向的特征信息，输出第五特征图。5.根据权利要求4所述的一种基于角度自适应融合的目标检测方法，其特征在于，所述配置四条角度偏移为0
°
、90
°
、180
°
、270
°
的偏移卷积支路，用四条所述偏移卷积支路分别提取输入特征图不同方向的特征信息，输出第五特征图，包括：以一条卷积核大小为3
×
3的卷积支路为基准支路，将所述基准支路作为角度偏移为0
°
的偏移卷积支路；对所述基准支路的卷积核分别进行90
°
、180...

【专利技术属性】
技术研发人员：胡建国，张月，黎昱彤，杨学彬，夏邦，肖辉敏，卢星宇，
申请(专利权)人：中山大学，
类型：发明
国别省市：