用立体图像进行深度图估计制造技术

一种车辆可以配置为在自主驾驶和乘员驾驶两种模式下操作。当在任一模式下操作时，可使用包括立体摄像机和3D传感器的传感器阵列来驾驶车辆。立体摄像机和3D传感器也可用于在乘员驾驶车辆时辅助乘员。深度卷积神经网络可以用于在自主和乘员驾驶模式下从车辆实时视景的立体图像确定估计的深度图。

【技术实现步骤摘要】
用立体图像进行深度图估计
本专利技术大体上涉及车辆安全驾驶领域，以及更具体地涉及一种用立体图像进行深度图估计的方法和装置。
技术介绍
车辆可以配置为在自主驾驶和乘员驾驶两种模式下操作。当在自主模式下操作时，可以使用包括可产生3D距离或深度图的传感器的传感器阵列来驾驶车辆。深度图也可以用于乘员驾驶模式，以协助乘员驾驶车辆。例如，可以通过处理成对的立体图像来获取深度图。
技术实现思路
根据本专利技术，提供一种方法，其包含：用一个或多个深度神经网络最大池化层处理第一和第二立体图像；用一个或多个深度神经网络上采样层处理立体图像；确定一个或多个深度图；和基于一个或多个深度图来驾驶车辆。根据本专利技术的一个实施例，该方法中深度神经网络最大池化层是卷积神经网络层。根据本专利技术的一个实施例，该方法中深度神经网络上采样层是去卷积神经网络层。根据本专利技术的一个实施例，该方法中深度神经网络最大池化层和深度神经网络上采样层是用训练立体图像和相关联的地面实况输出深度图来进行训练。根据本专利技术的一个实施例，该方法中训练立体图像是在多个基线距离和立体摄像机调准上获取的。根据本专利技术的一个实施例，该方法中深度神经网络最大池化层和深度神经网络上采样层是用LIDAR数据来进行训练。根据本专利技术的一个实施例，该方法中深度神经网络最大池化层和深度神经网络上采样层基于互相关。根据本专利技术的一个实施例，该方法中一个或多个深度神经网络最大池化层包括至少四个深度神经网络最大池化层。根据本专利技术的一个实施例，该方法中一个或多个深度神经网络上采样层包括至少四个深度神经网络上采样层。根据本专利技术的一个实施例，该方法还包含：其中车辆在乘员驾驶模式下操作；和基于一个或多个深度图驾驶车辆包括用增强现实显示辅助乘员驾驶员。根据本专利技术，提供一种装置，其包含：处理器，和存储器，存储器包括要由处理器执行的指令，该指令用于：用一个或多个深度神经网络最大池化层处理第一和第二立体图像；用一个或多个深度神经网络上采样层处理立体图像；确定一个或多个深度图；和基于一个或多个深度图来驾驶车辆。根据本专利技术的一个实施例，该装置中深度神经网络最大池化层是卷积神经网络层。根据本专利技术的一个实施例，该装置中深度神经网络上采样层是去卷积神经网络层。根据本专利技术的一个实施例，该装置中深度神经网络最大池化层和深度神经网络上采样层是用训练立体图像和相关联的地面实况输出深度图来进行训练。根据本专利技术的一个实施例，该装置中训练立体图像是在多个基线距离和立体摄像机调准上获取的。根据本专利技术的一个实施例，该装置中深度神经网络最大池化层和深度神经网络上采样层是用LIDAR数据来进行训练。根据本专利技术的一个实施例，该装置中深度神经网络最大池化层和深度神经网络上采样层基于互相关。根据本专利技术的一个实施例，该装置中一个或多个深度神经网络最大池化层包括至少四个深度神经网络最大池化层。根据本专利技术的一个实施例，该装置中一个或多个深度神经网络上采样层包括至少四个深度神经网络上采样层。根据本专利技术的一个实施例，该装置还包括：其中车辆在乘员驾驶模式下操作；和基于一个或多个深度图驾驶车辆包括用增强现实显示辅助乘员驾驶员。附图说明图1是根据所公开的实施方式的车辆的示意图；图2是使用立体匹配的现有技术的深度图估计的示意图；图3是立体图像中的极线306、308上的立体匹配过程的示意图；图4是不同窗口大小的传统立体匹配算法的敏感性示意图；图5是由人脑执行的深度图估计的示意图，示出了用于深度图估计的深度神经网络能力；图6是根据所公开的实施方式的方面的用于深度图估计的卷积深度神经网络(CDNN)系统的示意图；图7是根据所公开的实施方式的方面的用于深度图估计的CDNN系统的示意图；图8是根据所公开的实施方式的方面通过CDNN确定用于驾驶车辆的深度图的过程的流程图；和图9是根据所公开的实施方式的方面的训练CDNN以确定用于驾驶车辆的深度图的过程的流程图。具体实施方式最先进的深度图估计算法，例如，立体匹配，依靠立体图像来计算到视景中周围物体的距离。立体匹配算法提取一对立体图像中的特征，检测该对图像中的相应特征，并且最后通过计算特征的立体视差来估计特征的深度或距离。图2是使用立体视差200的现有技术深度图估计的示意图。立体视差是诸如点X202的物体在两个立体图像210、212上的投影点214、220之间的水平距离量。图2包括由一对立体摄像机——摄像机1206和摄像机2208——所拍摄的视景204中的点X202。点X202被投射在摄像机1206的成像器(imagedetector)210上以形成左侧点214和被投射在摄像机2208的成像器212上以形成右侧点220。摄像机1206还具有距成像器210焦距f处的光学中心C216，而摄像机2208具有距成像器212焦距f处的光学中心C'222。光学中心C和C'形成基线B。光学中心C216在成像器210上的投影形成左侧中心点218，并且光学中心C'222在成像器212上的投影形成右侧中心点224。距离u和u'可以根据左侧点214距左侧中心点218的位移和右侧点220距右侧中心点224的位移来确定。立体视差SD，定义为SD＝u-u'，可以通过等式(1)与点X202距光学中心C、C'的距离Z相关：例如，可以匹配以计算立体视差，并且从而计算距离或深度的特征可以包括立体图像对中的视觉边缘。可以检测多个特征，并且为每个特征对计算立体视差以及进行插值以确定深度。用于从立体图像估计深度的其他技术，例如块匹配算法，包括将每个立体图像对划分成块或窗口对，并且匹配每对窗口以确定立体视差。图3示出了使用一对立体图像302、304的用于深度图估计300的现有技术。可以在逐像素基础上沿着通过两个立体图像302、304的极线(epipolarline)306、308来计算立体视差。极线306、308是在分别通过光学中心C216、C'222和要估计的点X202之间的线的在每个立体图像302、304上的投影。要估计的每个像素将具有在其他立体图像302、304中的极线306、308。可以通过比较来自第一立体图像302的每个像素和来自第二立体图像304的极线308上的像素来确定立体视差，以确定匹配，并且反之亦然。确定匹配可以包括最小化像素之间的损失或差异函数。确定立体图像302、304中的沿极线306、308的像素的位移可以确定像素的立体视差。用于使用一对立体图像302、304的深度图估计300的另一种已知技术使用窗口310、312。可以在立体图像302、304之间匹配相似的窗口310、312，并且匹配的窗口310、312之间的位移用于确定立体视差。例如，匹配窗口可以提供比匹配像素更准确的立体视差测量，这是由于匹配多个像素而不是单个像素改进了统计特性。匹配算法可以使用基于相关性的技术或平方差的和来确定立体视差。匹配一对立体图像302、304之间的窗口310、312可以包括确定窗口310、312之间的相似性。确定相似性可以包括使用不同的相似性测量值的块匹配，例如，根据方程(2)求平方差的和，E(x，y；d)＝∑(x′，y′)∈N(x，y)[IL(x′+d，y′)-IR(x′，y′)]2,(2)其中相似性测量值E是以点(x，y)为中心的窗口N和两个立体图像302、304中的两个本文档来自技高网...

【技术保护点】
一种方法，包含：用一个或多个深度神经网络最大池化层处理第一和第二立体图像；用一个或多个深度神经网络上采样层处理所述立体图像；确定一个或多个深度图；和基于所述一个或多个深度图来驾驶车辆。

【技术特征摘要】
2016.09.01 US 15/254,2121.一种方法，包含：用一个或多个深度神经网络最大池化层处理第一和第二立体图像；用一个或多个深度神经网络上采样层处理所述立体图像；确定一个或多个深度图；和基于所述一个或多个深度图来驾驶车辆。2.根据权利要求1所述的方法，其中所述深度神经网络最大池化层是卷积神经网络层。3.根据权利要求1所述的方法，其中所述深度神经网络上采样层是去卷积神经网络层。4.根据权利要求1所述的方法，其中所述深度神经网络最大池化层和所述深度神经网络上采样层是用训练立体图像和相关联的地面实况输出深度图来进行训练。5.根据权利要求4所述的方法，其中所述训练立体图像是在多个基线距离和立体摄像机调准上获取的。6.根据权利要求4所述的方法，其中所述深度神经网络最大池化层和所述深度神经网络上采样层是用LIDAR数据来进行训练。7.根据权利要求1所述的方法，其中所述深度神经网络最大池化层和所述深度神经网络上采样层基于互相关。8.根据权利要求1所述的方法，其中所述一个或多个深度神经网络最大池化层包括至少四个深度神经网络最大池化层。9.根据权利要求1所述的方法，其中所述一个或多个深度神经网络上采样层包括至少四个深度神经网络上采样层。10.根据权利要求1所述的方法，还包含：其中所述车辆在乘员驾驶模式下操作；和基于所述一个或多个深度图驾驶车辆包括用增强现实显示来辅助乘员驾驶员。11....

【专利技术属性】
技术研发人员：瓦希德·泰穆里，米歇尔·科登尼尔，李京敏，布莱恩·罗杰·古德曼，吉恩特·普什科留斯，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国,US