本发明专利技术实施例提供了一种多目BEV视角的环境感知方法、装置、设备及存储介质，涉及智能驾驶技术领域。其中，该方法包括：将预处理生成的待感知图像输入环境感知模型；将多目传感器的内参数据、外参数据以及环境感知模型训练过程中表征线上数据增强策略的数据，输入环境感知模型；通过环境感知模型，对待感知图像编码生成编号后的待感知图像，对多目传感器的内参数据、外参数据以及环境感知模型训练过程中表征线上数据增强策略的数据进行矩阵变换生成热力图，对编号后的待感知图像和热力图进行矩阵变换，求出基于自车坐标系的体素特征，将体素特征分别输入3D目标检测头、可行驶区域分割头及车道线分割头，输出推理结果。实现多任务环境感知。境感知。境感知。
【技术实现步骤摘要】
多目BEV视角的环境感知方法、装置、设备及存储介质
[0001]本说明书涉及智能驾驶
，具体涉及一种多目BEV（Bird
‑
Eye
‑
View，鸟瞰图）视角的环境感知方法、装置、设备及存储介质。
技术介绍
[0002]智能驾驶是指在汽车上搭载先进的传感器等装置，运用人工智能等新技术，使汽车具备智能驾驶的能力，旨在辅助驾驶员安全、便捷地完成驾驶任务。而智能驾驶的核心问题一般分为环境感知、决策规划以及控制执行三大部分。环境感知是实现智能驾驶的第一环节，也是车辆与外界信息交互的必要条件，智能驾驶车辆通过各类传感器（如摄像头、毫米波雷达、超声波雷达、激光雷达等）获取车辆周边信息，产生图片数据、视频数据、点云图像、电磁波等信息，再通过深度学习感知算法等策略，实现2D/3D目标检测、语义分割、深度估计等功能。
[0003]目前，自动驾驶领域的深度学习算法在快速更新迭代，不仅有各式新颖的算法在车辆/行人/红绿灯/交通标识目标检测、车道线识别、目标跟踪、语义分割、动态目标轨迹预测等细分领域不断被提出，而且有大量的研究集中在多任务学习上。
[0004]例如，2020年，提出了一种实现多目BEV视角的目标语义分割功能的深度学习算法：Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by Implicitly Unprojecting to 3D。但是，Lift, Splat, Shoot模型仅仅解决了多目BEV视角下的语义分割任务，同时精度无法满足自动驾驶功能对模型感知精度的需求。
[0005]2021年，提出了一种实现激光点云数据的3D目标检测及跟踪功能的深度学习算法，即CenterPoint深度学习模型，此模型将激光雷达点云数据作为模型输入进行训练及推理，在实际自动驾驶解决方案中，激光雷达传感器的价格远高于摄像头传感器的价格，CenterPoint深度学习模型3D目标检测精度虽然高，但是无法读取摄像头传感器采集的图像信息实现3D目标检测功能。
[0006]2021年，提出了一种全景式驾驶预测模型
‑‑
YOLOP，一个单目深度学习模型，实现了2D的目标检测、可行驶区域（Driveable Area，简称D.A.）和车道线（Lane Line,简称L.L.）的语义分割功能。但是，该YOLOP模型针对的是单目2D场景的感知任务，无法解决多目或3D场景的感知任务。
技术实现思路
[0007]有鉴于此，本说明书实施例提供一种多目BEV视角的环境感知方法，以解决现有技术中无法实现多目BEV视角下多任务的环境感知的问题。该方法包括：通过多目传感器采集车辆周边环境的纯视觉的图像，对所述图像预处理生成待感知图像，并将所述待感知图像输入环境感知模型；将所述多目传感器的内参数据、外参数据以及所述环境感知模型训练过程中表征线上数据增强策略的数据，输入所述环境感知模型；
通过所述环境感知模型，对所述待感知图像进行编码生成编号后的待感知图像，对所述多目传感器的内参数据、外参数据以及所述环境感知模型训练过程中表征线上数据增强策略的数据进行矩阵变换生成热力图，再对编号后的待感知图像和所述热力图进行矩阵变换，求出基于自车坐标系的体素特征，将所述体素特征分别输入给3D目标检测头、可行驶区域分割头以及车道线分割头，输出3D目标检测的推理结果、可行驶区域BEV分割的推理结果以及车道线BEV分割的推理结果。
[0008]本说明书实施例还提供了一种多目BEV视角的环境感知装置，以解决现有技术中无法实现多目BEV视角下多任务的环境感知的问题。该装置包括：图像预处理模块，用于对图像预处理生成待感知图像，其中，所述图像是通过多目传感器采集的车辆周边环境的纯视觉的图像；第一数据接收模块，设置于环境感知模型中，用于接收输入的所述待感知图像；第二数据接收模块，设置于所述环境感知模型中，用于接收输入的所述多目传感器的内参数据、外参数据以及所述环境感知模型训练过程中表征线上数据增强策略的数据；图像编码器模块，设置于所述环境感知模型中，用于对所述待感知图像进行编码生成编号后的待感知图像；第一矩阵变换模块，设置于所述环境感知模型中，用于对所述多目传感器的内参数据、外参数据以及所述环境感知模型训练过程中表征线上数据增强策略的数据进行矩阵变换生成热力图；第二矩阵变换模块，设置于所述环境感知模型中，用于对编号后的待感知图像和所述热力图进行矩阵变换，求出基于自车坐标系的体素特征；3D目标检测头模块，设置于所述环境感知模型中，用于接收并对所述体素特征进行3D目标检测，输出3D目标检测的推理结果；可行驶区域分割头模块，设置于所述环境感知模型中，用于接收并对所述体素特征进行可行驶区域分割，输出可行驶区域BEV分割的推理结果；车道线分割头模块，设置于所述环境感知模型中，用于接收并对所述体素特征进行车道线分割，输出车道线BEV分割的推理结果。
[0009]本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的多目BEV视角的环境感知方法，以解决现有技术中无法实现多目BEV视角下多任务的环境感知的问题。
[0010]本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的多目BEV视角的环境感知方法的计算机程序，以解决现有技术中无法实现多目BEV视角下多任务的环境感知的问题。
[0011]与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：通过上述环境感知模型可以实现3D目标检测、多目BEV视角下的可行驶区域分割以及车道线分割，即用单个模型实现了多任务的环境感知；此外，环境感知模型引入了多目传感器的内参数据、外参数据以及线上数据增强策略，有利于提高模型的鲁棒性及精度；环境感知模型基于多目传感器采集的纯视觉的图像进行环境感知，与采用雷达数据进
行环境感知的方案相比，可以避免使用雷达设备采集数据，进而可以有效降低环境感知的成本。
附图说明
[0012]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0013]图1是本专利技术实施例提供的一种多目BEV视角的环境感知方法的流程图；图2是本专利技术实施例提供的一种图像预处理的示意图；图3是本专利技术实施例提供的一种环境感知模型的数据流示意图；图4是本专利技术实施例提供的一种计算机设备的结构框图；图5是本专利技术实施例提供的一种多目BEV视角的环境感知装置的结构框图。
具体实施方式
[0014]下面结合附图对本申请实施例进行详细描述。
[0015]以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多目BEV视角的环境感知方法，其特征在于，包括：通过多目传感器采集车辆周边环境的纯视觉的图像，对所述图像预处理生成待感知图像，并将所述待感知图像输入环境感知模型；将所述多目传感器的内参数据、外参数据以及所述环境感知模型训练过程中表征线上数据增强策略的数据，输入所述环境感知模型；通过所述环境感知模型，对所述待感知图像进行编码生成编号后的待感知图像，对所述多目传感器的内参数据、外参数据以及所述环境感知模型训练过程中表征线上数据增强策略的数据进行矩阵变换生成热力图，再对所述编号后的待感知图像和所述热力图进行矩阵变换，求出基于自车坐标系的体素特征，将所述体素特征分别输入给3D目标检测头、可行驶区域分割头以及车道线分割头，输出3D目标检测的推理结果、可行驶区域BEV分割的推理结果以及车道线BEV分割的推理结果。2.如权利要求1所述多目BEV视角的环境感知方法，其特征在于，对所述图像预处理生成待感知图像，包括：根据所述环境感知模型训练过程中表征线上数据增强策略的数据对所述图像预处理生成待感知图像，其中，所述环境感知模型训练过程中表征线上数据增强策略的数据包括：随机比例缩放矩阵、随机裁剪矩阵、随机镜像矩阵、随机旋转矩阵、色度空间随机变化的矩阵以及增加随机噪声的矩阵，所述色度空间随机变化的矩阵包括随机更改色度空间中的色调、色饱和度以及明度值的矩阵。3.如权利要求1所述多目BEV视角的环境感知方法，其特征在于，对所述待感知图像进行编码生成编号后的待感知图像，包括：通过基于卷积神经网络的图像编码器，对所述待感知图像进行编码生成编号后的待感知图像。4.如权利要求1至3中任一项所述多目BEV视角的环境感知方法，其特征在于，还包括：在训练所述环境感知模型的过程中，向所述环境感知模型中输入与图像帧对齐的激光点云数据；针对所述与图像帧对齐的激光点云数据中的当前帧激光点云数据，采用运动补偿后的历史激光点云数据来增强所述当前帧激光点云数据，得到增强后的所述当前帧激光点云数据，其中，所述历史激光点云数据包括预设时间间隔的数据；将增强后的所述当前帧激光点云数据作为真值，对所述编号后的待感知图像中推理的三维深度信息和所述3D目标检测的推理结果进行监督学习。5.如权利要求4所述多目BEV视角的环境感知方法，其特征在于，还包括：在训练所述环境感知模型的过程中，向所述环境感知模型中输入地图数据，其中，所述地图数据包括车辆周围环境的语义信息；将所述地图数据作为真值，对所述可行驶区域BEV分割的推理结果和所述车道线BEV分割的推理结果进行监督学习。6.如权利要求1至3中任一项所述多目BEV视角的环境感知方法，其特征在于，还包括：在训练所述环境感知模型的过程中，先采用ImageNet数据集，训练所述环境感知模型中对所述待感知图像进行编码的图像编码器，然后，将训练后的图像编码器的权重作为初始权重，来训练所述环境感知模型。
7.如权利要求1至3中任一项所述多目BEV视角的环境感知方法，其特征在于，还包括：在训练所述环境感知模型的过程中，随着训...
【专利技术属性】
技术研发人员：王汝卓，田良宇，王雅儒，程建伟，
申请(专利权)人：武汉极目智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。