一种用于动态目标3D检测的方法和装置制造方法及图纸

本发明专利技术涉及一种用于动态目标3D检测的方法及装置，首先通过点云裁剪的方式获取特定区域的点云数据。并且采用一种特殊的鸟瞰视图投影的方式来降低点云数据的复杂度，提高计算效率。通过Depth‑wise卷积和Point‑wise卷积相结合的方式进行下采样，在保证特征提取效果的同时，降低了卷积运算的时间和空间复杂度。紧着这对得到的特征向量通过特征金字塔网络进行上采样，得到与原始图像同等大小的高表示性能特征图层。特征金字塔网络的运用，增强了小物体的特征提取效果。该特征提取网络不仅减少了特征提取的时间和空间复杂度，还保证了特征提取的效果，大大提高了小物体被检测的精度和更加准确的位置信息。

A method and device for 3D detection of dynamic target

【技术实现步骤摘要】
一种用于动态目标3D检测的方法和装置
本专利技术涉及计算机视觉技术应用领域，具体的涉及3D动态目标(如汽车、行人)的检测的方法、装置。
技术介绍
计算机视觉是指计算机通过处理各种传感器如相机、激光雷达、毫米波雷达等传感器的原始数据，从中提取出周围的环境信息。其功能类似于人的视觉神经系统，识别出环境中所有存在的物体并确定其位置、大小、朝向、速度等信息。计算机视觉在自动驾驶汽车领域和移动机器人领域有很大的用处。计算机视觉技术可以为自动驾驶汽车提供车辆周围的环境信息，如道路、障碍物、车辆、行人等的位置、朝向、速度等信息。这些感知信息可以为自动驾驶汽车决策和控制提供有力的支持，取代人驾驶汽车的现状。自动驾驶汽车由感知数据和车体动力学模型得出控制系统对应的转向和速度，以确保车辆在可通行区域行驶，达到车辆在道路上安全行驶的目的。计算机视觉动态目标3D检测不同于传统2D目标检测任务。传统目标检测任务需要识别图像上存在的物体，给出其对应的类别，并且输出物体在图像上的最小2D包围框。2D物体检测所能提供环境感知信息无法满足自动驾驶场景的感知要求。自动驾驶汽车需要获取障碍物、车辆、行人等的位置、长宽高和偏转角等更加详细的信息，从而支持自动驾驶汽车的运动规划和控制。3D物体检测任务在2D物体检测的基础上，需增加输出物体在三维空间的长宽高和旋转角等信息。而目前纯视觉3D物体检测在准确率上比较低。
技术实现思路
针对现有技术的缺陷，本专利技术提供一种用于动态目标3D检测的方法和装置，在进行3D物体检测任务时除了使用RGB图像信息外，还引入激光点云数据。而引入激光点云数据存在的难点主要体现在一下几个方面：1.如何处理激光点云数据？多线激光雷达由于扫描点密集，扫描频率较高，产生激光点云数据量大，因此对计算能力要求高，无法达到自动驾驶车辆所需的实时感知要求。来源于2D图像处理的灵感，部分点云数据处理采用立体像素化处理，然后对每个立体像素中的点云提取局部点之间的特征。但是该方法需要大量的计算资源。2.不管是2D物体监测还是3D物体检测普遍存在小物体漏检和定位不准确的问题。该问题主要是由于对图像进行下采样操作，使得在原始图像中所占像素小的物体特征丢失，并且位置变得不准确。下采样的操作对于大尺寸的图片是必不可少的，否则在特征提取的卷积操作中会增加计算的时间和空间复杂度。3.目前几乎所有3D物体检测都是基于地平面水平的假设，该假设与现实场景是不符的。4.目前3D物体检测任务普遍采用一个训练的网络模型用来检测一类目标。针对不同的检测目标需要训练不同的模型，不支持多类物体同时检测。本专利技术解决上述至少一项技术问题所采用的技术方案如下：第一方面，本专利技术提供一种用于动态目标3D检测的方法，包括以下步骤：通过时间戳对齐方式同步获取相机图像数据及激光雷达点云数据，并对激光雷达点云数据进行剪切；对剪切后的所述点云数据进行立体像素栅格化处理并投影成6通道鸟瞰图；对所述图像数据及所述6通道鸟瞰图进行特征提取，获取图像数据特征图层和鸟瞰特征图层；融合图像数据特征图层和鸟瞰特征图层，结合先验3D锚框，生成候选区域，并得到3D候选锚框；利用所述3D候选锚框分别提取所述图像特征图层和所述鸟瞰特征图层的特征crops并融合生成特征向量；根据所述特征向量生成3D边界框，对所述3D边界框进行朝向回归及分类处理，完成动态目标的3D检测。进一步的，所述的对剪切后的所述点云数据进行立体像素栅格化处理并投影成6通道鸟瞰图，包括：将剪切后的所述点云数据沿z轴方向等分成5个区域，对每个区域内的所有点云进行投影生成鸟瞰图层；计算每个鸟瞰图层中的点云密度，并构建第6通道鸟瞰图。进一步的，所述的先验3D锚框的生成方法，包括：人工对获取的相机图像数据进行3D框标注，标记出所述图像数据中运动物体；利用k-means聚类算法对标注后生成的3D框集合进行聚类生成先验3D锚框。进一步的，所述的对所述图像数据及所述6通道鸟瞰图进行特征提取，获取图像数据特征图层和鸟瞰特征图层，包括：采用Depth-wise卷积与Point-wise卷积相结合的方式对所述图像以及6通道鸟瞰图进行8倍下采样，然后利用FeaturePyramidNetwork网络对所述图像以及6通道鸟瞰图进行8倍上采样，生成与原始图片尺寸相同的图像特征图层和6通道鸟瞰特征图层。进一步的，所述的融合图像数据特征图层和鸟瞰特征图层，结合先验3D锚框，生成候选区域，并得到3D候选锚框，包括：利用所述先验3D锚框扫描所述图像数据特征图层和所述鸟瞰特征图层，得到第一感兴趣区域；对所述第一感兴趣区域进行特征提取，得到相同长度的图像数据特征向量和鸟瞰特征向量；通过element-wise均值处理，对所述图像数据特征向量和鸟瞰特征向量进行融合，生成融合特征crops；所述融合后的特征crops通过一个256维度的全连接层得到3D候选锚框。进一步的，所述的利用所述先验3D锚框扫描所述图像数据特征图层和所述鸟瞰特征图层，得到第一感兴趣区域，包括：通过使用1*1卷积操作分别对鸟瞰图和RGB图像的特征进行降维，分别输出图像降维后的图像向量image-vector和鸟瞰图降维后的向量bev-vector；利用所述先验3D锚框扫描所述向量image-vector和所述向量bev-vector，得到第一感兴趣区域。进一步的，所述的所述融合后的特征crops通过一个256维度的全连接层得到3D候选锚框，还包括：采用锚框回归损失函数，计算3D候选锚框的物体/背景判断的置信值；选取选取置信值最大的3D候选锚框作为当前锚框，计算当前锚框与其他3D候选锚框的IoU的值；设定IoU的阈值，去除IoU大于阈值的3D候选锚框。进一步的，所述的利用所述3D候选锚框分别提取所述图像特征图层和所述鸟瞰特征图层的特征crops并融合生成特征向量，包括：利用所述3D候选锚框扫描所述图像数据特征图层和所述鸟瞰特征图层，得到第二感兴趣区域；对所述第二感兴趣区域进行特征提取，得到相同长度的图像数据特征向量和鸟瞰特征向量；通过element-wise均值处理，对所述图像数据特征向量和鸟瞰特征向量进行融合，生成融合特征crops；所述融合后的特征crops通过一个256维度的全连接层得到3D边界框，并对所述3D边界框进行边界框朝向回归处理以及对所述3D边界框内框选的物体进行分类识别。进一步的，所述的所述融合后的特征crops通过一个256维度的全连接层得到3D边界框，还包括：采用锚框回归损失函数，计算3D候边界框的物体/背景判断的置信值；选取选取置信值最大的3D候边界框作为当前锚框，计算当前锚框与其他3D边界框的IoU的值；设定IoU的阈值，去除IoU大于阈值的3D边界框。进一步的，所述的通过时间本文档来自技高网...

【技术保护点】
1.一种用于动态目标3D检测的方法，其特征在于，包括以下步骤：/n通过时间戳对齐方式同步获取相机图像数据及激光雷达点云数据，并对激光雷达点云数据进行剪切；/n对剪切后的所述点云数据进行立体像素栅格化处理并投影成6通道鸟瞰图；/n对所述图像数据及所述6通道鸟瞰图进行特征提取，获取图像数据特征图层和鸟瞰特征图层；/n结合先验3D锚框，在图像数据特征图层和鸟瞰特征图层中框选候选区域，提取候选区域特征向量并融合，生成3D候选锚框；/n利用所述3D候选锚框分别提取所述图像特征图层和所述鸟瞰特征图层的特征crops并融合生成特征向量；/n根据所述特征向量生成3D边界框，对所述3D边界框进行朝向回归及分类处理，完成动态目标的3D检测。/n

【技术特征摘要】
1.一种用于动态目标3D检测的方法，其特征在于，包括以下步骤：
通过时间戳对齐方式同步获取相机图像数据及激光雷达点云数据，并对激光雷达点云数据进行剪切；
对剪切后的所述点云数据进行立体像素栅格化处理并投影成6通道鸟瞰图；
对所述图像数据及所述6通道鸟瞰图进行特征提取，获取图像数据特征图层和鸟瞰特征图层；
结合先验3D锚框，在图像数据特征图层和鸟瞰特征图层中框选候选区域，提取候选区域特征向量并融合，生成3D候选锚框；
利用所述3D候选锚框分别提取所述图像特征图层和所述鸟瞰特征图层的特征crops并融合生成特征向量；
根据所述特征向量生成3D边界框，对所述3D边界框进行朝向回归及分类处理，完成动态目标的3D检测。


2.根据权利要求1所述的方法，其特征在于，所述的对剪切后的所述点云数据进行立体像素栅格化处理并投影成6通道鸟瞰图，包括：
将剪切后的所述点云数据沿z轴方向等分成5个区域，对每个区域内的所有点云进行投影生成鸟瞰图层；
计算每个鸟瞰图层中的点云密度，并构建第6通道鸟瞰图。


3.根据权利要求1所述的方法，其特征在于，所述的对所述图像数据及所述6通道鸟瞰图进行特征提取，获取图像数据特征图层和鸟瞰特征图层，包括：
采用Depth-wise卷积与Point-wise卷积相结合的方式对所述图像以及6通道鸟瞰图进行8倍下采样，然后利用FeaturePyramidNetwork网络对所述图像以及6通道鸟瞰图进行8倍上采样，生成与原始图片尺寸相同的图像特征图层和6通道鸟瞰特征图层。


4.根据权利要求1所述的方法，其特征在于，所述的结合先验3D锚框，在图像数据特征图层和鸟瞰特征图层中框选候选区域，提取候选区域特征向量并融合，生成3D候选锚框，包括：
利用所述先验3D锚框扫描所述图像数据特征图层和所述鸟瞰特征图层，得到第一感兴趣区域；
对所述第一感兴趣区域进行特征提取，得到相同长度的图像数据特征向量和鸟瞰特征向量；
通过element-wise均值处理，对所述图像数据特征向量和鸟瞰特征向量进行融合，生成融合特征crops；
所述融合后的特征crops通过一个256维度的全连接层得到3D候选锚框。


5.根据权利要求1所述的方法，其特征在于，所述的利用所述3D候选锚框分别...

【专利技术属性】
技术研发人员：漆梦梦，陶靖琦，杨贵，施忠继，刘奋，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：湖北;42