一种基于frustum deformable attention的目标检测方法技术

本发明专利技术的一种基于frustum deformable attention的目标检测方法，属于深度学习目标检测技术领域。所述方法采用步骤如下：S100、输入数据；S200、特征提取；S300、模型处理；S400、输出目标检测预测值。本发明专利技术的模型基于frustum deformable attention进行模型训练后，其结构输出的四层多尺度特征图，在依然包含自身层的含义和表示功能的同时，底层纹理形成了更加贴近描绘目标的纹理层，高层抽象特征结合了局部纹理和整体结构从而形成了更具完整语义的表示信息。多尺度特征依图在保持层次分明的同时，在自身包含的信息维度内形成了对画面目标更有力的捕捉。

【技术实现步骤摘要】

本专利技术属于深度学习目标检测，具体来说是一种基于frustumdeformable attention的目标检测方法。

技术介绍

1、在深度学习目标检测领域，deformable attention借鉴了dcn(可变形卷积)的思想。可变形卷积与传统卷积的最大区别是：传统卷积的卷积核(kernel)在遍历整个特征图的过程中，只与固定且连续的对应位置相乘，这样的结果是：位置相邻的特征必须被绑定计算。而可变形卷积对于要生成的新特征图上的每个特征点，在原特征图上进行采样时，以新特征点位置作为参考点，围绕这个参考点自适应的生成偏移量，参考点加上偏移量即为将要采样的特征位置。比如大小为3*3的卷积核(kernel)，会自适应地在原特征图上产生9个偏移量，因此会在这9个自动学习到的位置上采样并与卷积核加权后叠加，以此结果作为新特征点的值。

2、而与dcn不同的是，deformable attention也继承了transformer中的关系建模能力和多头注意力机制。多头注意力主要将原特征空间形成独立的多个特征空间，可以自适应地采用基于多种不同考虑因素的采样本文档来自技高网...

【技术保护点】

1.一种基于frustum deformable attention的目标检测方法，其特征在于，所述方法采用步骤如下：

2.根据权利要求1所述的一种基于frustum deformable attention的目标检测方法，其特征在于：所述步骤S100具体为将含有目标的单张图片或W张多视角图片作为输入，输送给模型的backbone结构。

3.根据权利要求2所述的一种基于frustum deformable attention的目标检测方法，其特征在于：所述步骤S200具体为backbone结构提取不同层级的特征并输出L层特征图给Encoder结构，所述backbo...

【技术特征摘要】

1.一种基于frustum deformable attention的目标检测方法，其特征在于，所述方法采用步骤如下：

2.根据权利要求1所述的一种基于frustum deformable attention的目标检测方法，其特征在于：所述步骤s100具体为将含有目标的单张图片或w张多视角图片作为输入，输送给模型的backbone结构。

3.根据权利要求2所述的一种基于frustum deformable attention的目标检测方法，其特征在于：所述步骤s200具体为backbone结构提取不同层级的特征并输出l层特征图给encoder结构，所述backbone结构包括c层，其中c3层～c5层来自resnet网络结构，下采样率对应为8、16、32；c6层由c5层经过步长为2的3x3卷积得到。

4.根据权利要求3所述的一种基于frustum deformable attention的目标检测方法，其特征在于：所述步骤s300中模型的encoder结构一共有n层，每一层称为encoder layer，每一次encoder layer都有相同的模型结构和参数；

5.根据权利要求4所述的一种基于frustum deformable attention的目标检测方法，其特征在于，所述frustum deformable attention公式如下：

6.根据权利要求5所述的一种...

【专利技术属性】
技术研发人员：钟秋蕾，
申请(专利权)人：博雷顿科技股份公司，
类型：发明
国别省市：