本发明专利技术涉及自动驾驶技术领域，具体提供一种基于环视相机的深度估计方法、装置、存储介质及车辆，旨在解决如何在确保低成本、高鲁棒的前提下，对近距离环境进行有效的深度估计的问题。为此目的，本发明专利技术基于环视相机采集的连续帧图像数据，应用深度估计模型对输入的多帧图像数据进行深度估计，以获得图像数据的深度估计结果。由于深度估计模型是基于连续帧图像样本之间的像素关系训练获得的，能够充分利用前后帧之间的像素关系作为监督，且仅应用环视相机采集的图像数据获得深度估计结果，能够有效的降低成本，由于环视相机能够对自车的近距离环境进行感知，使得本发明专利技术的深度估计方法能够实现对车辆附近的近距离范围内的深度感知。够实现对车辆附近的近距离范围内的深度感知。够实现对车辆附近的近距离范围内的深度感知。
【技术实现步骤摘要】
基于环视相机的深度估计方法、装置、存储介质及车辆
[0001]本专利技术涉及自动驾驶
，具体提供一种基于环视相机的深度估计方法、装置、存储介质及车辆。
技术介绍
[0002]近几年，随着深度学习技术的不断发展，越来越多基于深度学的自动驾驶方案落地在我们的实际应用中。自动驾驶技术中，深度估计是非常重要的一环。虽然激光雷达能够提供比较好的距离信息和深度值信息。但是，其成本比较高且对感知环境状态也存在一定的限制，容易受到天气等环境因素的影响。因而，单目深度估计的纯视觉方案也被重视起来。
[0003]单目相机中，针孔相机需要对前方感知的环境作等三角焦距的成像，才能够得到其感知的环境图像。这就决定了针孔相机的感知范围比较远，不适用于自车附近的近距离环境感知。
[0004]相应地，本领域需要一种新的深度估计方案来解决上述问题。
技术实现思路
[0005]为了克服上述缺陷，提出了本专利技术，以提供解决或至少部分地解决如何在确保低成本、高鲁棒的前提下，对近距离环境进行有效的深度估计的问题。
[0006]在第一方面，本专利技术提供一种基于环视相机的深度估计方法，所述方法包括：
[0007]将环视相机采集的连续帧图像数据输入至训练好的深度估计模型得到深度估计结果，其中所述训练好的深度估计模型基于连续帧图像样本之间的像素关系训练得到。
[0008]在上述基于环视相机的深度估计方法的一个技术方案中，所述方法还包括根据以下步骤对所述深度估计模型进行训练：
[0009]对所述连续帧图像样本中的当前帧图像样本进行深度预测，得到所述当前帧图像样本的预测深度图；
[0010]根据所述环视相机与雷达之间的标定参数以及所述当前帧图像样本对应的点云数据样本，得到点云真值图；
[0011]根据所述当前帧图像样本的预测深度图和所述点云真值图的差值，获取第一损失；
[0012]获取所述当前帧图像样本与相邻帧图像样本的预测深度图的像素的光度误差，作为第二损失；
[0013]基于所述第一损失和所述第二损失，训练所述深度估计模型。
[0014]在上述基于环视相机的深度估计方法的一个技术方案中，所述根据所述环视相机与雷达之间的标定参数以及所述当前帧图像样本对应的点云数据样本，得到点云真值图，包括：
[0015]根据所述标定参数，将所述点云数据样本投影到环视相机的像素坐标系，得到初
始深度真值图；
[0016]将所述初始深度真值图进行去障碍物遮挡算法处理，获得所述点云真值图。
[0017]在上述基于环视相机的深度估计方法的一个技术方案中，所述将所述初始深度真值图进行去障碍物遮挡算法处理，获得所述点云真值图，包括：
[0018]将所述初始深度真值图的深度值按照预设间隔划分为N个深度区间；
[0019]针对第n个深度区间，对所在深度区间中的点云数据分配对应的深度值；
[0020]针对第n+1个深度区间，将所在深度区间中的点云数据与第n个深度区间中的点云数据进行比较，若所在深度区间中的点云数据具有与所述第n个深度区间中的点云数据相同的深度值，将所述第n+1个深度区间中对应所述深度值的像素过滤掉，以获取所述点云真值图；
[0021]其中n从1遍历到N
‑
1，并且第n+1个深度区间的深度值较第n个深度区间的深度值大。
[0022]在上述基于环视相机的深度估计方法的一个技术方案中，所述获取所述当前帧图像样本与相邻帧图像样本的预测深度图的像素的光度误差，包括：
[0023]获取所述相邻帧图像样本到所述当前帧图像样本的姿态矩阵；
[0024]根据所述姿态矩阵，将所述相邻帧图像样本对应的预测深度图投影至所述当前帧图像样本对应的预测深度图上；
[0025]根据所述投影，计算在所述当前帧图像样本对应的预测深度图上的重叠区域；
[0026]计算所述重叠区域中的像素的光度误差。
[0027]在上述基于环视相机的深度估计方法的一个技术方案中，所述相邻帧图像样本为所述当前帧图像样本的前一帧图像样本和后一帧图像样本。
[0028]在上述基于环视相机的深度估计方法的一个技术方案中，所述计算在所述当前帧图像样本对应的预测深度图上的重叠区域，包括：
[0029]若一像素在所述前一帧图像样本对应的预测深度图和后一帧图像样本对应的预测深度图中均存在，但在当前帧图像样本对应的预测深度图中只出现一次，则将该像素在前一帧图像样本对应的预测深度图和后一帧图像样本对应的预测深度图中的最小像素值作为其对应像素在当前帧图像样本对应的预测深度图中的值。
[0030]在上述基于环视相机的深度估计方法的一个技术方案中，所述方法还包括：
[0031]根据速度标定文件，估计所述相邻帧图像样本对应的预测深度图在所述当前帧图像样本对应的预测深度图中的位置；
[0032]根据估计结果，对所述投影进行补偿。
[0033]在第二方面，提供一种控制装置，该控制装置包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述基于环视相机的深度估计方法的技术方案中任一项技术方案所述的基于环视相机的深度估计方法。
[0034]在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述基于环视相机的深度估计方法的技术方案中任一项技术方案所述的基于环视相机的深度估计方法。
[0035]在第四方面，提供一种车辆，所述车辆包括环视相机和上述控制装置技术方案中
所述的控制装置。
[0036]本专利技术上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0037]在实施本专利技术的技术方案中，本专利技术基于环视相机采集的连续帧图像数据，应用深度估计模型对输入的多帧图像数据进行深度估计，以获得图像数据的深度估计结果。通过上述配置方式，由于深度估计模型是基于连续帧图像样本之间的像素关系训练获得的，能够充分利用前后帧之间的像素关系作为监督，使得深度估计模型具有更好的鲁棒性。且仅应用环视相机采集的图像数据，就能够获得深度估计结果，不需要再依赖于激光雷达，能够有效的降低成本，且不容易受到天气等环境因素的影响。同时，由于环视相机能够对自车的近距离环境进行感知，使得本专利技术的深度估计方法能够实现对车辆附近的近距离范围内的深度感知，具有低成本，高鲁棒性的特点。
[0038]方案1.一种基于环视相机的深度估计方法，其特征在于，所述方法包括：
[0039]将环视相机采集的连续帧图像数据输入至训练好的深度估计模型得到深度估计结果，其中所述训练好的深度估计模型基于连续帧图像样本之间的像素关系训练得到。
[0040]方案2.根据方案1所述的基于环视相机的深度估计方法，其特征在于，所述方法还包括根据以下步骤对所述深度估计模型进行训练：
[0041]对所述连续帧图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于环视相机的深度估计方法，其特征在于，所述方法包括：将环视相机采集的连续帧图像数据输入至训练好的深度估计模型得到深度估计结果，其中所述训练好的深度估计模型基于连续帧图像样本之间的像素关系训练得到。2.根据权利要求1所述的基于环视相机的深度估计方法，其特征在于，所述方法还包括根据以下步骤对所述深度估计模型进行训练：对所述连续帧图像样本中的当前帧图像样本进行深度预测，得到所述当前帧图像样本的预测深度图；根据所述环视相机与雷达之间的标定参数以及所述当前帧图像样本对应的点云数据样本，得到点云真值图；根据所述当前帧图像样本的预测深度图和所述点云真值图的差值，获取第一损失；获取所述当前帧图像样本与相邻帧图像样本的预测深度图的像素的光度误差，作为第二损失；基于所述第一损失和所述第二损失，训练所述深度估计模型。3.根据权利要求2所述的基于环视相机的深度估计方法，其特征在于，所述根据所述环视相机与雷达之间的标定参数以及所述当前帧图像样本对应的点云数据样本，得到点云真值图，包括：根据所述标定参数，将所述点云数据样本投影到环视相机的像素坐标系，得到初始深度真值图；将所述初始深度真值图进行去障碍物遮挡算法处理，获得所述点云真值图。4.根据权利要求3所述的基于环视相机的深度估计方法，其特征在于，所述将所述初始深度真值图进行去障碍物遮挡算法处理，获得所述点云真值图，包括：将所述初始深度真值图的深度值按照预设间隔划分为N个深度区间；针对第n个深度区间，对所在深度区间中的点云数据分配对应的深度值；针对第n+1个深度区间，将所在深度区间中的点云数据与第n个深度区间中的点云数据进行比较，若所在深度区间中的点云数据具有与所述第n个深度区间中的点云数据相同的深度值，将所述第n+1个深度区间中对应所述深度值的像素过滤掉，以获取所述点云真值图；其中n从1遍历到N
‑
1，并且第n+...
【专利技术属性】
技术研发人员：黄俊杰，陈均炫，
申请(专利权)人：安徽蔚来智驾科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。