基于交叉注意力机制的图像点云融合三维目标检测方法技术

本发明专利技术涉及一种基于交叉注意力机制的图像点云融合三维目标检测方法及系统，属于三维目标检测领域。方法包括：对图像进行目标检测及分割处理，得到实例掩码；根据点云图像空间投影关系得到每一个实例掩码内的点云集合；使用DBSCAN聚类算法对每一个点云集合内的点云进行聚类，为前景点集合中的所有点云逐点拼接实例分割结果向量，将经图像特征渲染的点云所占的整个三维空间划分成多个柱体并进行特征拆分和重组，引入交叉注意力机制聚合柱体内每个点的位置特征和图像特征，多个柱体的融合特征构成伪图像特征；使用RPN网络提取并整合伪图像特征的多尺度特征，根据高分辨率特征图生成三维目标检测结果；从而提高了融合精度，实现了更优的检测效果。现了更优的检测效果。现了更优的检测效果。

【技术实现步骤摘要】
基于交叉注意力机制的图像点云融合三维目标检测方法


[0001]本专利技术涉及基于计算机视觉的三维目标检测
，特别是涉及一种基于交叉注意力机制的图像点云融合三维目标检测方法。

技术介绍

[0002]智能交通是解决道路拥堵、降低交通事故、提高通勤效率的主流技术。而自动驾驶技术是智能交通的突破口。典型的自动驾驶车辆系统架构总体可分为环境感知、决策规划和运动控制三大模块，三部分呈现级联式的架构。因此，车辆具备精确且实时的环境感知能力对下游模块的正确决策与精准控制至关重要。三维目标检测作为感知中的重要任务，要求定位车身周围的障碍物，估计出尺寸以及朝向，并对其正确分类。
[0003]激光雷达和摄像头作为自动驾驶车辆搭载的常用传感器，是感知模块的重要信息来源。激光雷达传感器获取到的点云数据中，每个点包含空间坐标(x,y,z) 和某些属性(如反射强度)，很好地表征了物体的三维结构。而摄像头能获取周围环境高分辨率的颜色、纹理信息。两类传感器的优缺互补特性十分明显，因此，激光雷达与摄像头的融合方法吸引了国内外大量研究学者的目光。<br/>[0004]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交叉注意力机制的图像点云融合三维目标检测方法，其特征在于，包括：获取相机采集的二维图像并对所述二维图像进行目标检测及分割处理，得到多个二维图像实例掩码；根据点云图像空间投影关系得到所述多个二维图像实例掩码中每一个实例掩码内的点云集合；使用DBSCAN聚类算法对每一个点云集合内的点云进行聚类，分别得到前景点集合和背景点集合；为所述前景点集合中的所有点云逐点拼接实例分割结果向量，得到经图像特征渲染的点云；将所述经图像特征渲染的点云所占的整个三维空间划分成多个柱体，并进行特征拆分和重组，得到柱体内每个点的位置特征和图像特征；引入交叉注意力机制聚合柱体内每个点的位置特征和图像特征，进而得到每个柱体的融合特征，多个柱体的融合特征构成伪图像特征；使用RPN网络提取并整合所述伪图像特征的多尺度特征，生成高分辨率特征图；根据所述高分辨率特征图生成三维目标检测结果；所述三维目标检测结果包括目标边界框的类别及位置参数。2.根据权利要求1所述的方法，其特征在于，所述对所述二维图像进行目标检测及分割处理，得到多个二维图像实例掩码，具体包括：使用CenterNet检测器得到所述二维图像内的所有目标检测框；使用MaskRCNN中的分割模块对每个目标检测框进行像素级分类，得到多个二维图像实例掩码。3.根据权利要求2所述的方法，其特征在于，所述根据点云图像空间投影关系得到所述多个二维图像实例掩码中每一个实例掩码内的点云集合，具体包括：根据事先标定好的激光雷达外参和相机内外参，得到点云
‑
图像的坐标变换矩阵；根据所述坐标变换矩阵将点云投影到二维图像中，获得每个点云在二维图像中的二维像素坐标；根据所述二维像素坐标筛选出位于每一个实例掩码内的所有点云，构成所述实例掩码内的点云集合。4.根据权利要求3所述的方法，其特征在于，所述为所述前景点集合中的所有点云逐点拼接实例分割结果向量，得到经图像特征渲染的点云，具体包括：对所述前景点集合中的所有点云，沿特征通道逐点拼接实例分割结果向量，得到拼接后的实例分割结果向量；所述实例分割结果向量中包含实例分割的类别和置信度；对所述背景点集合中的所有点云，采用相同维度的全一向量进行拼接；经拼接后得到经图像特征渲染的点云。5.根据权利要求4所述的方法，其特征在于，所述将所述经图像特征渲染的点云所占的整个三维空间划分成多个柱体，并进行特征拆分和重组，得到柱体内每个点的位置特征和图像特征，具体包括：将所述经图像特征渲染的点云所占的整个三维空间划分成多个柱体，并根据点云的三维坐标进行空间归类，将点云归类到相应的柱体内；
对于所述多个柱体中超过点数T的柱体，随机筛选出T个点云，对于不足点数T的柱体，用零填充，实现不规则点云的结构化处理；将所述经图像特征渲染的点云进行特征拆分及重组，得到柱体内每个点的位置特征和图像特征；所述位置特征包括点云的三维坐标和划分柱体时引入的相对柱体中心的坐标；所述图像特征包括点云的三维坐标和所述拼接后的实例分割结果向量。6.根据权利要求5所述的方法，其特征在于，所述引入交叉注意力机制聚合柱体内每个点的位置特征和图像特征，进而得到每个柱体的融合特征，多个柱体的融合特征构成伪图像特征，具体包括：将柱体内每个...

【专利技术属性】
技术研发人员：胡斌杰，廖清，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：