一种障碍物检测方法及装置、存储介质、终端，方法包括：获取当前时刻待处理的图像，记为当前图像，当前图像是由拍摄装置采集到的，当前图像包括障碍物的影像；对当前图像进行特征提取，以得到图像特征图，并根据图像特征图确定障碍物的边界框；读取初始点云特征，其中，初始点云特征是预先根据当前图像对应的点云数据生成的，点云数据是由雷达采集到的，雷达和拍摄装置设置于同一车辆上；根据初始点云特征和障碍物的边界框，生成点云特征图；根据融合特征图确定当前时刻的检测结果，其中，融合特征图是对图像特征图和点云特征图进行融合得到的。本发明专利技术提供的障碍物检测方法，能够在保证识别结果准确性的情况下提高检测效率。证识别结果准确性的情况下提高检测效率。证识别结果准确性的情况下提高检测效率。
【技术实现步骤摘要】
障碍物检测方法及装置、存储介质、终端
[0001]本专利技术涉及目标检测
，尤其涉及一种障碍物检测方法及装置、存储介质、终端。
技术介绍
[0002]障碍物检测技术是自动驾驶
中的关键技术之一，障碍物检测的可靠性、实时性和准确性是衡量自动驾驶车辆性能的重要指标。传统的障碍物检测技术是基于图像的，通常利用神经网络提取图像的特征，然后根据图像特征进行回归和分类，即可得到检测结果。但由于图像是二维数据，提供的信息十分有限，例如，无法得到精准的速度信息，因此，基于图像的障碍物检测算法的准确率仍然有待提高。
[0003]为了提高传统检测算法的准确率，现有技术中采用雷达和摄像头进行传感器融合，这样的方案需要融合雷达采集的点云数据和摄像头采集的图像数据，计算复杂度较高，耗时较长，无法满足对于实时性要求较高的应用场景的需求。
[0004]因此，亟需一种障碍物检测方法，能够在保证识别结果准确性的情况下提高检测效率。
技术实现思路
[0005]本专利技术解决的技术问题是如何在保证识别结果准确性的情况下，提高障碍物检测的效率，从而提高障碍物检测的实时性。
[0006]为解决上述技术问题，本专利技术实施例提供一种障碍物检测方法，所述方法包括：获取当前时刻待处理的图像，记为当前图像，所述当前图像是由拍摄装置采集到的，所述当前图像包括障碍物的影像；对所述当前图像进行特征提取，以得到图像特征图，并根据所述图像特征图确定所述障碍物的边界框；读取初始点云特征，其中，所述初始点云特征是预先根据所述当前图像对应的点云数据生成的，所述点云数据是由雷达采集到的，所述雷达和所述拍摄装置设置于同一车辆上；根据所述初始点云特征和所述障碍物的边界框，生成点云特征图；根据融合特征图确定当前时刻的检测结果，其中，所述融合特征图是对所述图像特征图和所述点云特征图进行融合得到的。
[0007]可选的，所述点云数据包括：多个点的位置信息，所述初始点云特征包括：每个点对应的柱体区域的位置信息，其中，所述柱体区域是对所述点进行支柱拓展得到的。
[0008]可选的，所述初始点云特征还包括：每个点的特征信息，根据所述初始点云特征和所述障碍物的边界框，生成点云特征图包括：将所述边界框映射至三维空间，以得到所述边界框对应的三维区域；根据所述柱体区域的位置信息，筛选出处于所述三维区域内的柱体区域，以得到与所述边界框关联的目标柱体区域；将所述目标柱体区域映射至所述当前图像所在的二维平面，以得到所述点云特征图。
[0009]可选的，将所述边界框映射至三维空间，以得到所述边界框对应的三维区域之前，所述方法还包括：在所述多个点中确定最远点和最近点，所述最远点为距离所述二维平面
最远的点，所述最近点为距离所述二维平面最近的点；根据所述最远点与所述二维平面之间的距离以及所述最近点与所述二维平面之间的距离，确定所述三维区域的高度。
[0010]可选的，所述图像特征图包括多个尺度不同的图像特征子图，对所述图像特征图和所述点云特征图进行融合包括：对所述点云特征图进行尺度变换，以得到多个点云特征子图，所述点云特征子图与所述图像特征子图一一对应；在通道方向上将具有对应关系的点云特征子图和图像特征子图进行融合，以得到多尺度的融合特征图。
[0011]可选的，所述图像特征图是由特征提取模块对所述当前图像进行特征提取得到的，所述边界框是由第一预测模块对所述图像特征图进行计算得到的，所述检测结果是由第二预测模块对所述融合特征图进行计算得到的，获取当前时刻待处理的图像之前，所述方法还包括：获取样本图像，采用样本图像对预设模型进行训练，以得到检测模型，所述检测模型包括所述特征提取模块、第一预测模块和第二预测模块；其中，所述采用样本图像对预设模型进行训练之前，所述方法还包括：获取所述样本图像对应的样本点云数据；根据所述样本点云数据和所述样本图像中的边界框，生成样本点云特征图，其中，所述样本图像中的边界框是预先标注的。
[0012]为了解决上述技术问题，本专利技术实施例还提供一种障碍物检测装置，所述装置包括：图像获取模块，用于获取当前时刻待处理的图像，记为当前图像，所述当前图像是由拍摄装置采集到的，所述当前图像包括障碍物的影像；第一计算模块，用于对所述当前图像进行特征提取，以得到图像特征图，并根据所述图像特征图确定所述障碍物的边界框；特征读取模块，用于读取初始点云特征，其中，所述初始点云特征是预先根据所述当前图像对应的点云数据生成的，所述点云数据是由雷达采集到的，所述雷达和所述拍摄装置设置于同一车辆上；第二计算模块，用于根据所述初始点云特征和所述障碍物的边界框，生成点云特征图；第三计算模块，用于根据融合特征图确定当前时刻的检测结果，其中，所述融合特征图是对所述图像特征图和所述点云特征图进行融合得到的。
[0013]本专利技术实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的障碍物检测方法的步骤。
[0014]本专利技术实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的障碍物检测方法的步骤。
[0015]本专利技术实施例提供一种车辆，所述车辆配置有拍摄装置和雷达，所述车辆包括：终端，所述终端用于执行上述的障碍物检测方法。
[0016]与现有技术相比，本专利技术实施例的技术方案具有以下有益效果：
[0017]在本专利技术实施例的方案中，一方面，根据初始点云特征和基于图像特征图得到的边界框进行关联，以得到点云特征图，再将点云特征图与图像特征图进行融合，以根据融合特征图得到检测结果，采用这样的方案可以提高障碍物检测的准确性。另一方面，在得到障碍物的边界框之后，直接从存储器读取初始点云特征，也即，在对当前图像进行处理之前，预先生成了对应的初始点云特征，相较于在计算图像特征图和边界框的同时生成初始点云特征的方案，本专利技术实施例的方案能够减少内存的占用，提高处理效率；相较于在得到图像特征图和边界框之后生成初始点云特征的方案，本专利技术实施例的方案能够大幅减少处理时间，也能够提高处理效率。因此，采用本专利技术实施例的方案，能够在确保准确性的前提下提
高检测的实时性。
[0018]进一步，本专利技术实施例的方案中，在通道方向上将具有对应关系的图像特征子图和点云特征子图进行融合处理，以得到多尺度的融合特征图，然后根据多尺度的融合特征图得到检测结果。相较于根据单一尺度的融合特征图确定检测结果，采用这样的方案能够进一步提高障碍物检测的准确性，尤其是可以提高对小尺寸的障碍物的检测的准确性。
[0019]进一步，本专利技术实施例的方案中，对预先模型进行训练之前，预先生成样本点云特征图，在采用样本图像对预设模型进行训练时，可以直接读取样本点云特征。采用这样的方案可以减少训练过程中的计算量和内存占用，从而可以缩短训练的时长，提高训练效率。
附图说明
[0020]图1是本专利技术实施例中一种障碍物检测方法的流程示意图；
[0021]图2本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种障碍物检测方法，其特征在于，所述方法包括：获取当前时刻待处理的图像，记为当前图像，所述当前图像是由拍摄装置采集到的，所述当前图像包括障碍物的影像；对所述当前图像进行特征提取，以得到图像特征图，并根据所述图像特征图确定所述障碍物的边界框；读取初始点云特征，其中，所述初始点云特征是预先根据所述当前图像对应的点云数据生成的，所述点云数据是由雷达采集到的，所述雷达和所述拍摄装置设置于同一车辆上；根据所述初始点云特征和所述障碍物的边界框，生成点云特征图；根据融合特征图确定当前时刻的检测结果，其中，所述融合特征图是对所述图像特征图和所述点云特征图进行融合得到的。2.根据权利要求1所述的障碍物检测方法，其特征在于，所述点云数据包括：多个点的位置信息，所述初始点云特征包括：每个点对应的柱体区域的位置信息，其中，所述柱体区域是对所述点进行支柱拓展得到的。3.根据权利要求2所述的障碍物检测方法，其特征在于，所述初始点云特征还包括：每个点的特征信息，根据所述初始点云特征和所述障碍物的边界框，生成点云特征图包括：将所述边界框映射至三维空间，以得到所述边界框对应的三维区域；根据所述柱体区域的位置信息，筛选出处于所述三维区域内的柱体区域，以得到与所述边界框关联的目标柱体区域；将所述目标柱体区域映射至所述当前图像所在的二维平面，以得到所述点云特征图。4.根据权利要求3所述的障碍物检测方法，其特征在于，将所述边界框映射至三维空间，以得到所述边界框对应的三维区域之前，所述方法还包括：在所述多个点中确定最远点和最近点，所述最远点为距离所述二维平面最远的点，所述最近点为距离所述二维平面最近的点；根据所述最远点与所述二维平面之间的距离以及所述最近点与所述二维平面之间的距离，确定所述三维区域的高度。5.根据权利要求1所述的障碍物检测方法，其特征在于，所述图像特征图包括多个尺度不同的图像特征子图，对所述图像特征图和所述点云特征图进行融合包括：对所述点云特征图进行尺度变换，以得到多个点云特征子图，所述点云特征子图与所述图像特征子图一一对应；在通道方向上将具有对应关系的点云特征子图和图像特征子图...
【专利技术属性】
技术研发人员：黄超，姚为龙，蔡创，
申请(专利权)人：上海仙途智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。