单目视觉深度估计方法及计算机可读存储介质技术

本发明专利技术提供一种单目视觉深度估计方法及计算机可读存储介质，包括如下步骤：针对预先设定距离序列D中的每一个距离值D

【技术实现步骤摘要】
单目视觉深度估计方法及计算机可读存储介质


[0001]本专利技术涉及视觉图像处理
，具体涉及一种单目视觉深度估计方法及计算机可读存储介质。

技术介绍

[0002]在矿山场景下的无人驾驶应用中，激光雷达和毫米波雷达常常无法有效感知小尺寸石头，在远距离障碍物的识别中，尤其如此。此外，由于探测距离、障碍物表面材质和天气等原因，激光雷达和毫米波雷达对特定障碍物存在检出率较低的问题。基于以上这些问题，目前可行且通用的解决方案是通过视觉增强的方式弥补激光雷达与毫米波雷达的上述不足。
[0003]需要注意的是摄像头采集的图像数据无法包括障碍物的深度信息，因此即使能够在图像数据中通过机器学习等方式获取障碍物目标框，也不足以提供有效的供自动驾驶系统决策的辅助信息。因此如何获取摄像头采集的图像数据中障碍物的深度信息是在自动驾驶系统中利用图像数据需要解决的关键问题之一。需要注意的是当我们在讨论图像数据的深度信息时，这通常与世界坐标系下的三维坐标是等价的。在矿山的应用场景下，铲装区由于经过了大范围的挖掘作业，地面是相对平整的，除了局部有较小的起伏外，整体平坦且几乎没有坡度。
[0004]目前图像数据的深度估计常用的方法有基于相似三角形的单目视觉深度估计、基于双目视觉视差的深度估计和基于深度学习的视觉深度估计等。上述方法中，基于相似三角形的单目视觉深度估计方法中估计的深度信息精度不高，难以满足实际需要；基于双目视觉视差的深度估计方法对双目摄像头之间的位置精度要求较高，且软件算法复杂，消耗较高算力；基于深度学习的视觉深度估计方法计算量大、过程复杂，较难实现。普遍而言，当前的深度估计方法或者工程量大，耗时耗力，效率低下；或者方法复杂，计算耗时，难以满足无人驾驶要求的实时性；或者深度估计精度较差，难以满足无人驾驶的精度要求，均对无人驾驶的安全性具有重大挑战。

技术实现思路

[0005]针对现有的视觉深度估计方法难以同时满足无人驾驶场景下精度与效率需求的问题，本专利技术提供一种单目视觉深度估计方法及计算机可读存储介质。
[0006]本专利技术的技术方案提供一种基于激光雷达的单目视觉深度估计方法，包括如下步骤：
[0007]S1.准备步骤：
[0008]在世界坐标系下，预先设定距离序列D，其中每一个距离值记作D
i
，i为计数量。以每一距离值D
i
选取多个到基准点距离相等的地面点构成点集
[0009]对每一点集解算出其中的所有点在像素坐标系下的二维坐标W
i,j
(u
j
,v
j
)，其中j为该点集中点的计数。对每一点集中所有点在像素坐标系下的二维坐标W
i,j
(u
j
,v
j
)进行
曲线拟合得到曲线序列f
i
(u,v)，i为拟合曲线的计数；
[0010]S2.确定障碍物接地点步骤：
[0011]在图像数据中识别出障碍物的目标框，将目标框的下边缘中点作为障碍物的接地点，其坐标记为B(u
b
,v
b
)；
[0012]S3.坐标插值步骤
[0013]对于接地点为B(u
b
,v
b
)的障碍物，在曲线序列f
i
(u,v)找到与接地点为B(u
b
,v
b
)相邻的两条拟合曲线f
k
(u,v)与f
k+1
(u,v)；
[0014]通过在拟合曲线f
k
(u,v)与拟合曲线f
k+1
(u,v)间做距离插值得到接地点B(u
b
,v
b
)的距离值
[0015]优选地，所述S1准备步骤包括：
[0016]S12.取点步骤：
[0017]预定一个距离序列D，对于其中的每一个距离序列D
i
，在世界坐标系下确定点集P
Di
使得对于任一地面点均有L
p
＝D
i
，其中L
p
为点p到基准点的距离。
[0018]S13.点集映射步骤：
[0019]对于每一个点集通过第一外参矩阵将其中的每一地面点映射到激光雷达坐标系下得到其在激光雷达坐标系下的对应点的坐标，通过第二外参矩阵以及相机的内参矩阵得到激光雷达坐标系下的对应点的坐标在像素坐标系下的坐标W
i,j
(u
j
,v
j
)，其中j为该点集中点的计数。
[0020]S14.曲线拟合步骤
[0021]对从属于同一点集下的所有点对应于像素坐标系下的坐标W
i,j
(u
j
,v
j
)，通过拟合得到所有像素坐标的一条拟合曲线f
i
(u,v)，进而对应于前述的距离序列D得到一组拟合曲线序列f(u,v)。
[0022]优选地，所述S13点集映射步骤中的第一外参矩阵通过标定激光雷达与世界坐标系得到；第二外参矩阵通过联合标定激光雷达与单目摄像头得到。
[0023]优选地，所述S14曲线拟合步骤中的所述拟合曲线为多项式曲线，所述S3坐标插值步骤中的插值方式为线性插值。
[0024]优选地，所述S12取点步骤中的所述地面点在相机指向的左右90度范围内的半圆形区域内选定。
[0025]优选地，所述距离序列D
i
的步长为10m，所述点集中地面点的取点间隔为0.01m。
[0026]本专利技术的技术方案还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行上述任一项所述的基于激光雷达的单目视觉深度估计方法。
[0027]本专利技术的基于激光雷达的单目视觉深度估计方法采用了先拟合然后实时插值的计算方法，由于大计算量的拟合过程是在运行前进行的，该部分的计算时间并不影响系统的实时性，在运行过程中只需要找到两条相邻曲线做简单的距离插值即可，因此其实时计算量小，方法简单，易于实现，能够极大的提升系统运行时的深度估计速度。
附图说明
[0028]图1为本专利技术的系统原理示意图；
[0029]图2为本专利技术的系统控制流程图。
具体实施方式
[0030]以下结合附图和具体实施例，对本专利技术进行详细说明，在本说明书中，附图尺寸比例并不代表实际尺寸比例，其只用于体现各部件之间的相对位置关系与连接关系，名称相同或标号相同的部件代表相似或相同的结构，且仅限于示意的目的。
[0031]现有的无人驾驶系统需要获取环境的障碍物信息作为自动驾驶系统的决策依据之一。虽然可以使用激光雷达或者毫米波雷达等传感器进行障碍物识别，但是对于特定的障碍物，仍然存在检出率低的问题。因此可以考虑通过机器视觉辅助进行障碍物识别。单目摄像头系统简单，方便安装维护。而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光雷达的单目视觉深度估计方法，其特征在于，包括如下步骤：S1.准备步骤：在世界坐标系下，预先设定距离序列D，其中每一个距离值记作D
i
，i为计数量，以每一距离值D
i
选取多个到基准点距离相等的地面点构成点集对每一点集解算出其中的所有点在像素坐标系下的二维坐标W
i,j
(u
j
,v
j
)，其中j为该点集中的点的计数；对每一点集中所有点在像素坐标系下的二维坐标W
i,j
(u
j
,v
j
)进行曲线拟合得到曲线序列f
i
(u,v)，i为拟合曲线的计数；S2.确定障碍物接地点步骤：在图像数据中识别出障碍物的目标框，将目标框的下边缘中点作为障碍物的接地点，其坐标记为B(u
b
,v
b
)；S3.坐标插值步骤：对于接地点为B(u
b
,v
b
)的障碍物，在曲线序列f
i
(u,v)找到与接地点为B(u
b
,v
b
)相邻的两条拟合曲线f
k
(u,v)与f
k+1
(u,v)；通过在拟合曲线f
k
(u,v)与拟合曲线f
k+1
(u,v)间做距离插值得到接地点B(u
b
,v
b
)的距离值2.如权利要求1所述的基于激光雷达的单目视觉深度估计方法，其特征在于，所述S1准备步骤包括：S12.取点步骤：预定一个距离序列D，对于其中的每一个距离D
i
，在世界坐标系下确定点集使得对于任一地面点均有L

【专利技术属性】
技术研发人员：张帅乾，张保俊，袁广驰，王炜杰，占也，
申请(专利权)人：安徽海博智能科技有限责任公司，
类型：发明
国别省市：