用于3D障碍物的检测方法、装置、系统及计算机存储介质制造方法及图纸

本发明专利技术提供了用于3D障碍物的检测方法、装置、系统及计算机存储介质。该检测方法，包括：对2D图像执行2D障碍物识别以获得2D图像中障碍物的2D边界框；对每个2D边界框在3D点云中对应的每个3D点云子集执行几何分析以确定障碍物的3D边界框；对各个3D边界框所含的点云数据执行特征计算以提取每一3D边界框所对应的3D特征向量；对每个3D边界框在2D图像中对应的每个2D图像区执行特征提取以生成各2D图像区所对应的2D特征向量；将各个3D边界框和对应2D图像区的相应3D特征向量和2D特征向量融合以生成融合特征向量；以及基于融合特征向量执行3D障碍物识别以获得各3D边界框的分类信息。

【技术实现步骤摘要】
用于3D障碍物的检测方法、装置、系统及计算机存储介质
本专利技术涉及障碍物检测技术，尤其涉及一种用于3D障碍物的检测方法、一种用于3D障碍物的检测装置、一种用于3D障碍物的检测系统，以及一种计算机存储介质。
技术介绍
现有的障碍物检测技术主要基于摄像头来进行2D障碍物检测，或者单纯地基于3D激光雷达进行3D障碍物检测。在自动驾驶车辆的应用中，2D边界框只能为规划单元和决策单元提供有限的信息，然而对于自动驾驶车辆来说，还需要包括车辆尺寸、行驶方向，以及其他车辆与自车的相对位置等详细和准确的车辆3D信息，以进行决策制定。摄像机和激光雷达(LightDetectionandRanging，LiDAR)扫描仪是自动驾驶车辆感测系统中最常用的两种传感器。由于透视失真，仅使用摄像机无法获取自动驾驶车辆系统需要使用的准确3D信息。即使采用立体摄像系统，所获取图像的景深估算仍然无法达到令人满意的性能水平。常见的64光束激光雷达每次扫描可以轻松生成超过100000个点，以获取准确的3D信息。然而随着检测空间的扩大，所需激光雷达点云的规模和分辨率会呈三次方增长。由于存储器和计算时间的限制，通过整个点云彻底应用搜索算法或卷积运算是不可行的，追踪准确率受到极大限制，从而导致漏检误检。因此，处理激光雷达点云的主要挑战在于减少计算负担的同时，保持3D空间图案和信息的准确。综上，本领域亟需一种能够高效地获取高质量的3D空间图案和信息的障碍物检测技术，以提高自动驾驶车辆的障碍物检测效率和准确率。
技术实现思路
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。为了能够高效地获取高质量的3D空间图案和信息，以提高自动驾驶车辆的障碍物检测效率和准确率，本专利技术提供了一种用于3D障碍物的检测方法、一种用于3D障碍物的检测装置、一种用于3D障碍物的检测系统，以及一种计算机存储介质。本专利技术提供的上述用于3D障碍物的检测方法，用于基于3D点云和2D图像执行3D障碍物检测，该检测方法包括：对所述2D图像执行2D障碍物识别以获得所述2D图像中至少一个潜在障碍物的2D边界框；对每个2D边界框在所述3D点云中对应的每个3D点云子集执行几何分析以确定多个潜在障碍物的3D边界框；对各个3D边界框所含的点云数据执行特征计算以提取每一3D边界框所对应的3D特征向量；对每个3D边界框在所述2D图像中对应的每个2D图像区执行特征提取以生成各2D图像区所对应的2D特征向量；将各个3D边界框和对应2D图像区的相应3D特征向量和2D特征向量融合以生成融合特征向量；以及基于所述融合特征向量执行3D障碍物识别以获得各3D边界框的分类信息。优选地，在本专利技术提供的上述检测方法中，所述对所述2D图像执行2D障碍物识别可以包括：基于R-Cnn深度学习框架或MS-Cnn深度学习框架执行所述2D障碍物识别。可选地，在本专利技术提供的上述检测方法中，所述针对每个3D点云子集执行几何分析可以包括：在该点云子集中确定垂直于地面且包含最多点云数据的平面；以及在所述平面两侧根据检测目标的尺寸设置多个所述3D边界框，其中每个3D边界框的底与该点云子集的最低点在同一水平面且具有与所述平面重合的竖直面。可选地，在本专利技术提供的上述检测方法中，所述对各个3D边界框所含的点云数据执行特征计算可以包括：将该3D边界框所含的点云数据输入3D特征提取卷积神经网络以生成该3D边界框的深度特征层；以及对该3D边界框的深度特征层执行ROI池化操作以生成该3D边界框的3D特征向量。优选地，在本专利技术提供的上述检测方法中，所述3D特征提取卷积神经网络可以包括：分别由两层卷积层和一层最大池化层构成的第一层和第二层、由三层卷积层和一层最大池化层构成的第三层、以及由三层卷积层构成的第四层。可选地，在本专利技术提供的上述检测方法中，对每个2D图像区执行特征提取可以包括：在2D障碍物识别的深度学习框架的图像整体深度特征层针对每个2D图像区执行ROI池化操作以生成每个2D图像区对应的2D特征向量。可选地，在本专利技术提供的上述检测方法中，所述将3D特征向量和2D特征向量融合可以包括：将该3D特征向量和2D特征向量的对应维度求取平均数以生成平均特征向量以作为所述融合特征向量。可选地，在本专利技术提供的上述检测方法中，所述基于所述融合特征向量执行3D障碍物识别可以包括：将所述融合特征向量输入融合卷积神经网络以获得各3D边界框的分类信息。优选地，在本专利技术提供的上述检测方法中，所述基于融合卷积神经网络可以包括：两层串联的全联层，以及另外两层并联的全联层。可选地，在本专利技术提供的上述检测方法中，每个3D边界框的分类信息可以包括该3D边界框为何种障碍物及其概率。根据本专利技术的另一方面，本文还提供了一种用于3D障碍物的检测装置。本专利技术提供的上述检测装置，用于基于3D点云和2D图像执行3D障碍物检测，该检测装置包括：存储器；以及耦接至所述存储器的处理器，所述处理器配置用于：对所述2D图像执行2D障碍物识别以获得所述2D图像中至少一个潜在障碍物的2D边界框；对每个2D边界框在所述3D点云中对应的每个3D点云子集执行几何分析以确定多个潜在障碍物的3D边界框；对各个3D边界框所含的点云数据执行特征计算以提取每一3D边界框所对应的3D特征向量；对每个3D边界框在所述2D图像中对应的每个2D图像区执行特征提取以生成各2D图像区所对应的2D特征向量；将各个3D边界框和对应2D图像区的相应3D特征向量和2D特征向量融合以生成融合特征向量；以及基于所述融合特征向量执行3D障碍物识别以获得各3D边界框的分类信息。可选地，在本专利技术提供的上述检测装置中，所述处理器可以进一步配置成：基于R-Cnn深度学习框架或MS-Cnn深度学习框架执行所述2D障碍物识别。可选地，在本专利技术提供的上述检测装置中，所述处理器可以进一步配置成：在该点云子集中确定垂直于地面且包含最多点云数据的平面；以及在所述平面两侧根据检测目标的尺寸设置多个所述3D边界框，其中每个3D边界框的底与该点云子集的最低点在同一水平面且具有与所述平面重合的竖直面。可选地，在本专利技术提供的上述检测装置中，所述处理器可以进一步配置成：将该3D边界框所含的点云数据输入3D特征提取卷积神经网络以生成该3D边界框的深度特征层；以及对该3D边界框的深度特征层执行ROI池化操作以生成该3D边界框的3D特征向量。优选地，在本专利技术提供的上述检测装置中，所述3D特征提取卷积神经网络可以包括：分别由两层卷积层和一层最大池化层构成的第一层和第二层、由三层卷积层和一层最大池化层构成的第三层、以及由三层卷积层构成的第四层。可选地，在本专利技术提供的上述检测装置中，所述处理器可以进一步配置成：在2D障碍物识别的深度学习框架的图像整体深度特征层针对每个2D图像区执行ROI池化操作以生成每个2D图像区对应的2D特征向量。可选地，在本专利技术提供的上述检测装置中，所述处理器可以进一步配置成：将该3D特征向量和2D特征向量的对应维度求取平均数以生成平均特征向量以作为所述融合本文档来自技高网...

【技术保护点】
1.一种用于3D障碍物的检测方法，用于基于3D点云和2D图像执行3D障碍物检测，所述检测方法包括：对所述2D图像执行2D障碍物识别以获得所述2D图像中至少一个潜在障碍物的2D边界框；对每个2D边界框在所述3D点云中对应的每个3D点云子集执行几何分析以确定多个潜在障碍物的3D边界框；对各个3D边界框所含的点云数据执行特征计算以提取每一3D边界框所对应的3D特征向量；对每个3D边界框在所述2D图像中对应的每个2D图像区执行特征提取以生成各2D图像区所对应的2D特征向量；将各个3D边界框和对应2D图像区的相应3D特征向量和2D特征向量融合以生成融合特征向量；以及基于所述融合特征向量执行3D障碍物识别以获得各3D边界框的分类信息。

【技术特征摘要】
1.一种用于3D障碍物的检测方法，用于基于3D点云和2D图像执行3D障碍物检测，所述检测方法包括：对所述2D图像执行2D障碍物识别以获得所述2D图像中至少一个潜在障碍物的2D边界框；对每个2D边界框在所述3D点云中对应的每个3D点云子集执行几何分析以确定多个潜在障碍物的3D边界框；对各个3D边界框所含的点云数据执行特征计算以提取每一3D边界框所对应的3D特征向量；对每个3D边界框在所述2D图像中对应的每个2D图像区执行特征提取以生成各2D图像区所对应的2D特征向量；将各个3D边界框和对应2D图像区的相应3D特征向量和2D特征向量融合以生成融合特征向量；以及基于所述融合特征向量执行3D障碍物识别以获得各3D边界框的分类信息。2.如权利要求1所述的检测方法，其特征在于，所述对所述2D图像执行2D障碍物识别包括基于R-Cnn深度学习框架或MS-Cnn深度学习框架执行所述2D障碍物识别。3.如权利要求1所述的检测方法，其特征在于，所述针对每个3D点云子集执行几何分析包括：在该点云子集中确定垂直于地面且包含最多点云数据的平面；以及在所述平面两侧根据检测目标的尺寸设置多个所述3D边界框，其中每个3D边界框的底与该点云子集的最低点在同一水平面且具有与所述平面重合的竖直面。4.如权利要求1所述的检测方法，其特征在于，所述对各个3D边界框所含的点云数据执行特征计算包括：将该3D边界框所含的点云数据输入3D特征提取卷积神经网络以生成该3D边界框的深度特征层；以及对该3D边界框的深度特征层执行ROI池化操作以生成该3D边界框的3D特征向量。5.如权利要求4所述的检测方法，其特征在于，所述3D特征提取卷积神经网络包括分别由两层卷积层和一层最大池化层构成的第一层和第二层、由三层卷积层和一层最大池化层构成的第三层、以及由三层卷积层构成的第四层。6.如权利要求1所述的检测方法，其特征在于，对每个2D图像区执行特征提取包括：在2D障碍物识别的深度学习框架的图像整体深度特征层针对每个2D图像区执行ROI池化操作以生成每个2D图像区对应的2D特征向量。7.如权利要求1所述的检测方法，其特征在于，所述将3D特征向量和2D特征向量融合包括将该3D特征向量和2D特征向量的对应维度求取平均数以生成平均特征向量以作为所述融合特征向量。8.如权利要求1所述的检测方法，其特征在于，所述基于所述融合特征向量执行3D障碍物识别包括将所述融合特征向量输入融合卷积神经网络以获得各3D边界框的分类信息。9.如权利要求8所述的检测方法，其特征在于，所述基于融合卷积神经网络包括两层串联的全联层以及另外两层并联的全联层。10.如权利要求8所述的检测方法，其特征在于，每个3D边界框的分类信息包括该3D边界框为何种障碍物及其概率。11.一种用于3D障碍物的检测装置，用于基于3D点云和2D图像执行3D障碍物检测，所述检测装置包括：存储器；以及耦接至所述存储器的处理...

【专利技术属性】
技术研发人员：杜新新，
申请(专利权)人：苏州风图智能科技有限公司，
类型：发明
国别省市：江苏,32