车辆检测方法、装置、计算机设备和可读存储介质制造方法及图纸

本申请涉及一种车辆检测方法、装置、计算机设备和可读存储介质，该方法包括分别获取待进行车辆检测的RGB图像及与RGB图像对应的3D点云图像，并体素化3D点云图像，得到3D点云图像的体素；分别对RGB图像和3D点云图像的体素进行特征提取，得到RGB图像的特征和3D点云图像的体素的特征；将3D点云图像的体素的特征映射到RGB图像上，将映射到RGB图像上的3D点云图像的体素的特征与RGB图像的特征进行拼接处理，得到处理后的图像特征；将处理后的图像特征输入语义分割模型，并根据语义分割结果检测出3D点云图像中的目标车辆，该方法相比于单独使用RGB图像的特征或3D点云图像的体素的特征对目标车辆进行检测的方法，提高了对3D点云图像中目标车辆进行检测的精度。

Vehicle detection method, device, computer equipment and readable storage medium

The application relates to a vehicle detection method, device, computer equipment and readable storage medium. The method includes obtaining RGB image and 3D point cloud image corresponding to RGB image respectively for vehicle detection, and voxeling 3D point cloud image to obtain the voxel of 3D point cloud image; distinguishing feature extraction of RGB image and 3D point cloud image to obtain the feature and 3D point of RGB image The features of voxels of cloud images; the features of voxels of 3D point cloud images are mapped to RGB images, the features of voxels of 3D point cloud images mapped to RGB images are spliced with the features of RGB images to get the processed image features; the processed image features are input into the semantic segmentation model, and the target vehicles in 3D point cloud images are detected according to the semantic segmentation results, Compared with the method of using the features of RGB image or voxel of 3D point cloud image to detect the target vehicle, this method improves the detection accuracy of the target vehicle in 3D point cloud image.

【技术实现步骤摘要】
车辆检测方法、装置、计算机设备和可读存储介质
本申请涉及计算机视觉领域，特别是涉及一种车辆检测方法、装置、计算机设备和可读存储介质。
技术介绍
图像的语义分割是指给定图像，将图像中属于同一类别物体的像素点分别进行归类。在车辆检测任务中，先对待检测区域的图像进行语义分割再进行车辆的检测，有助于提高对车辆的检测精度。传统技术中，在车辆检测任务中，对待检测区域图像的语义分割大多是单独针对RGB图像进行的，虽然RGB图像分辨率高并且色彩信息丰富，但对检测车辆的精确位置帮助非常有限；另外，还有一些技术专注于对激光雷达产生的3D点云图像进行语义分割，3D点云图像可以提供准确的深度信息，但对远处目标以及小目标(点稀疏)无法提供足够数据，因而导致对待检测区域图像的语义分割精度不佳，无法准确地对待检测区域的车辆进行检测。因此，传统的对车辆检测的方法，存在无法对待检测区域的车辆进行准确检测的问题。
技术实现思路
基于此，有必要针对传统的对车辆检测的方法，存在无法对待检测区域的车辆进行准确检测的问题，提供一种车辆检测方法、装置、计算机设备和可读存储介质。第一方面，本专利技术实施例提供一种车辆检测方法，所述方法包括：分别获取待进行车辆检测的RGB图像及与所述RGB图像对应的3D点云图像，并体素化所述3D点云图像，得到所述3D点云图像的体素；分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征；将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征；将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆。在其中一个实施例中，所述将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆，包括：将所述处理后的图像特征输入所述语义分割模型，对所述3D点云图像进行语义分割，得到所述3D点云图像中各体素对应的分数；根据所述各体素对应的分数，检测出所述3D点云图像中的目标车辆。在其中一个实施例中，所述根据所述各体素对应的分数，检测出所述3D点云图像中的目标车辆，包括：将所述各体素对应的分数与预设分数进行比较，将大于所述预设分数所对应的点确定为属于所述3D点云图像中目标车辆的点；根据所述属于所述3D点云图像中目标车辆的点，检测出所述3D点云图像中的目标车辆。在其中一个实施例中，所述将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征，包括：利用所述RGB图像与所述3D点云图像的体素的坐标投射矩阵，将所述3D点云图像的体素中至少包括一个点的体素的中心坐标映射到所述RGB图像；将映射到所述RGB图像上所有体素的特征与对应位置的RGB图像的特征进行拼接处理，得到处理后的图像特征。在其中一个实施例中，所述分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征，包括：利用预设的二维卷积神经网络，对所述RGB图像进行特征提取，得到所述RGB图像的特征；利用预设的三维卷积神经网络，对所述3D点云图像的体素进行特征提取，得到所述3D点云图像的体素的特征。在其中一个实施例中，所述体素化所述3D点云图像，得到所述3D点云图像的体素，包括：按照预设的体素划分个数和预设的体素体积，对所述3D点云图像进行体素化，得到所述3D点云图像的体素。在其中一个实施例中，所述方法还包括：分别获取待进行车辆检测的样本RGB图像及与所述样本RGB图像对应的样本3D点云图像，并体素化所述样本3D点云图像，得到所述样本3D点云图像的体素；分别对所述样本RGB图像和所述样本3D点云图像的体素进行特征提取，得到所述样本RGB图像的特征和所述样本3D点云图像的体素的特征；将所述样本3D点云图像的体素的特征映射到所述样本RGB图像上，将映射到所述样本RGB图像上的样本3D点云图像的体素的特征与所述样本RGB图像的特征进行拼接处理，得到处理后的样本图像特征；以所述处理后的样本图像特征作为预设的语义分割模型的输入，以所述样本3D点云图像中目标车辆的标记结果作为输出，对所述预设的语义分割模型进行训练，得到所述语义分割模型。第二方面，本专利技术实施例提供一种车辆检测装置，所述装置包括：获取模块，用于分别获取待进行车辆检测的RGB图像及与所述RGB图像对应的3D点云图像，并体素化所述3D点云图像，得到所述3D点云图像的体素；特征提取模块，用于分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征；特征拼接模块，用于将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征；检测模块，用于将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆。第三方面，本专利技术实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：分别获取待进行车辆检测的RGB图像及与所述RGB图像对应的3D点云图像，并体素化所述3D点云图像，得到所述3D点云图像的体素；分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征；将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征；将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆。第四方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：分别获取待进行车辆检测的RGB图像及与所述RGB图像对应的3D点云图像，并体素化所述3D点云图像，得到所述3D点云图像的体素；分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征；将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征；将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆。上述实施例提供的车辆检测方法、装置、设备和介质中，计算机设备本文档来自技高网...

【技术保护点】
1.一种车辆检测方法，其特征在于，所述方法包括：/n分别获取待进行车辆检测的RGB图像及与所述RGB图像对应的3D点云图像，并体素化所述3D点云图像，得到所述3D点云图像的体素；/n分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征；/n将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征；/n将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆。/n

【技术特征摘要】
1.一种车辆检测方法，其特征在于，所述方法包括：
分别获取待进行车辆检测的RGB图像及与所述RGB图像对应的3D点云图像，并体素化所述3D点云图像，得到所述3D点云图像的体素；
分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征；
将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征；
将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆。


2.根据权利要求1所述的方法，其特征在于，所述将所述处理后的图像特征输入语义分割模型，并根据语义分割结果检测出所述3D点云图像中的目标车辆，包括：
将所述处理后的图像特征输入所述语义分割模型，对所述3D点云图像进行语义分割，得到所述3D点云图像中各体素对应的分数；
根据所述各体素对应的分数，检测出所述3D点云图像中的目标车辆。


3.根据权利要求2所述的方法，其特征在于，所述根据所述各体素对应的分数，检测出所述3D点云图像中的目标车辆，包括：
将所述各体素对应的分数与预设分数进行比较，将大于所述预设分数所对应的点确定为属于所述3D点云图像中目标车辆的点；
根据所述属于所述3D点云图像中目标车辆的点，检测出所述3D点云图像中的目标车辆。


4.根据权利要求1所述的方法，其特征在于，所述将所述3D点云图像的体素的特征映射到所述RGB图像上，将映射到所述RGB图像上的3D点云图像的体素的特征与所述RGB图像的特征进行拼接处理，得到处理后的图像特征，包括：
利用所述RGB图像与所述3D点云图像的体素的坐标投射矩阵，将所述3D点云图像的体素中至少包括一个点的体素的中心坐标映射到所述RGB图像；
将映射到所述RGB图像上所有体素的特征与对应位置的RGB图像的特征进行拼接处理，得到处理后的图像特征。


5.根据权利要求4所述的方法，其特征在于，所述分别对所述RGB图像和所述3D点云图像的体素进行特征提取，得到所述RGB图像的特征和所述3D点云图像的体素的特征，包括：
利用预设的二维卷积神经网络，对所述RGB图像进行特征提取，得到所述RGB图像的特征；
利用预...

【专利技术属性】
技术研发人员：周康明，
申请(专利权)人：上海眼控科技股份有限公司，
类型：发明
国别省市：上海;31