一种基于Visual-Transformer网络的小物体特征提取方法技术

本发明专利技术属于深度学习技术领域，公开了一种基于Visual‑Transformer网络的小物体特征提取方法，包括步骤一：基于自注意力机制的全局特征提取，将自注意力特征学习融入到3D特征提取网络构建中，并将其与卷积神经网络有效结合，在浅层网络中保留更详细的目标信息，并过滤掉目标中心以外的外围特征；步骤二：基于先验信息的关键点采样模型，通过将原始点云空间分成四等分，并行计算候选区域内每个点的位置，直接丢弃候选区域外的点，只计算候选区域内关键点的特征；步骤三：融合全局特征和局部特征，使用全局特征提取局部特征提供先验信息，随后将局部特征集成到三维空间的全局特征图中。本发明专利技术实现了自注意力三维物体表示。

【技术实现步骤摘要】

本专利技术属于深度学习，尤其涉及一种基于visual-transformer网络的小物体特征提取方法。

技术介绍

1、随着3d获取技术的快速发展，各种类型的三维扫描仪、lidar和rgb-d摄像头变得越来越易于获得且具有成本效益。这些传感器提供了丰富的几何细节、形状特征和尺度信息的3d数据。结合2d图像，3d数据为机器提供了更好的理解其周围环境的机会。3d数据的应用范围广泛，包括但不限于自动驾驶、机器人技术、遥感和医疗。具体而言，在自动驾驶领域，3d数据已成为一个关键的研究领域，为该领域的进步奠定了基础。因此，如何有效处理3d数据以及提取相关特征，以便于实现自动驾驶中的障碍物避让等任务，已成为该领域研究人员面临的紧迫问题。

2、3d物体检测算法必须满足所有天气条件下的检测要求。在复杂的光照条件和昏暗的夜景下，数据质量相对较差，目标纹理信息模糊，对目标检测算法提出了更高的要求。因此，迫切需要关注平衡检测性能的策略，同时也要提高从点云中提取鲁棒目标特征的能力。对于自动驾驶场景下的三维物体检测研究，不仅需要提高检测算法的精度以适应各种气候和环境条件，本文档来自技高网...

【技术保护点】

1.一种基于Visual-Transformer网络的小物体特征提取方法，其特征在于，包括有以下步骤：

2.根据权利要求1所述的一种基于Visual-Transformer网络的小物体特征提取方法，其特征在于，所述步骤1包括：

3.根据权利要求1所述的一种基于Visual-Transformer网络的小物体特征提取方法，其特征在于，所述步骤1包括：三维Transformer下采样模块采用稀疏卷积神经网络作为特征下采样阶段的关键结构，采用稀疏矩阵和压缩表示来存储和处理稀疏权值，利用稀疏矩阵-向量乘法和专门的卷积运算来加速计算，从而完成特征提取和融合。

4...

【技术特征摘要】

1.一种基于visual-transformer网络的小物体特征提取方法，其特征在于，包括有以下步骤：

2.根据权利要求1所述的一种基于visual-transformer网络的小物体特征提取方法，其特征在于，所述步骤1包括：

3.根据权利要求1所述的一种基于visual-transformer网络的小物体特征提取方法，其特征在于，所述步骤1包括：三维transformer下采样模块采用稀疏卷积神经网络作为特征下采样阶段的关键结构，采用稀疏矩阵和压缩表示来存储和处理稀疏权值，利用稀疏矩阵-向量乘法和专门的卷积运算来加速计算，从而完成特征提取和融合。

4.根据权利要求3所述的一种基于visual-transformer网络的小物体特征提取方法，其特征在于，所述步骤1包括：

5.根据权利要求4所述的一种基于visual-transfor...

【专利技术属性】
技术研发人员：罗翔予，孟濬，许力，
申请(专利权)人：余姚市机器人研究中心，
类型：发明
国别省市：