基于深度学习的参数化周围视觉制造技术

描述了用于生成由物理摄像头捕获的场景的虚拟视图的系统和方法。物理摄像头捕获具有多个像素的输入图像。设置用于显示虚拟视图的虚拟摄像头的期望姿态。确定物理摄像头的实际姿态，并且定义物理摄像头的实际姿态和虚拟摄像头的期望姿态之间的对级几何结构。输入图像和输入图像的像素的深度数据在对级坐标中被重新采样。控制器执行输入图像像素的视差估计，深度神经网络DNN针对虚拟摄像头的期望姿态校正输出图像中的视差伪影。通过使用对级几何结构，由DNN校正输出图像中的视差伪影的复杂性被降低。杂性被降低。杂性被降低。

【技术实现步骤摘要】
基于深度学习的参数化周围视觉


[0001]本专利技术一般涉及基于由一个或多个物理摄像头捕获的图像数据生成虚拟视图。具体而言，该描述涉及基于物理摄像头(一个或多个)捕获的图像来校正针对虚拟摄像头的预定视点创建的图像中的视差伪影(disparity artifacts)。更具体地，本专利技术涉及用于生成由物理摄像头捕获的场景的虚拟视图的系统和方法。

技术介绍

[0002]现代车辆通常配备有一个或多个光学摄像头，其被配置为向车辆乘员提供图像数据。例如，图像数据显示车辆周围环境的预定视角。
[0003]在某些条件下，可能希望将视角改变到由光学摄像头提供的图像数据上。为此，使用所谓的虚拟摄像头，并且修改由一个或多个物理摄像头捕获的图像数据，以从另一个期望的视角显示捕获的风景；修改后的图像数据可以被称为虚拟场景或输出图像。虚拟场景上的期望视角可以根据乘员的愿望而改变。虚拟场景可以基于从不同视角捕获的多个图像来生成。然而，针对位于期望视点的虚拟摄像头生成输出图像或者合并来自位于不同位置的图像源的图像数据可能在虚拟摄像头的输出图像中导致不期望的伪影。这种不希望的伪影尤其可能是深度不确定性造成的。
[0004]因此，期望提供用于生成由物理摄像头捕获的场景的虚拟视图的系统和方法，该系统和方法具有虚拟场景的改进质量，保持捕获的场景的三维结构，并且能够改变观察虚拟场景的视角。
[0005]此外，结合附图和前述
和
技术介绍
，从随后的详细描述和所附权利要求中，本专利技术的其他期望特征和特性将变得易于理解。

技术实现思路

[0006]提供了一种用于生成由物理摄像头捕获的场景的虚拟视图的方法。在一个实施例中，该方法包括以下步骤:由物理摄像头捕获具有多个像素的输入图像；由控制器确定用于显示虚拟视图的输出图像的虚拟摄像头的期望姿态；由控制器确定物理摄像头的实际姿态；由控制器定义物理摄像头的实际姿态和虚拟摄像头的期望姿态之间的对级几何结构；由控制器将输入图像和输入图像的多个像素的深度数据在对级几何结构的对级坐标中重新采样；由控制器通过将输入图像的多个像素的深度数据在对级几何结构的对级坐标中重新投影到输出图像上来执行输入图像的多个像素的视差估计；针对虚拟摄像头的期望姿态，通过深度神经网络DNN校正输出图像中的视差伪影；以及基于重新采样的输入图像和输入图像的多个像素的深度数据、通过将输入图像的多个像素的深度数据重新投影到输出图像上所作的视差估计以及经校正的视差伪影，通过控制器生成输出图像。
[0007]在一个实施例中，该方法还包括，在通过DNN校正虚拟摄像头的视点位置的输出图像中的视差伪影之后，在对级坐标中从输入图像合成输出图像。
[0008]在一个实施例中，该方法还包括，在对级坐标中从输入图像合成输出图像之后，将
输出图像转换成选定的虚拟摄像头模型。
[0009]在一个实施例中，所选择的虚拟摄像头模型定义了输出图像的呈现模式。例如，呈现模式是透视图、圆柱视图和鱼眼视图之一。然而，这些示例性呈现模式不应被理解为限制本专利技术，并且可以使用被认为适合于特定虚拟摄像头视角或用户偏好的其他呈现模式。
[0010]在一个实施例中，该方法还包括定义用于显示输出图像的虚拟摄像头的多个期望姿态；其中通过DNN对输出图像中的视差伪影进行校正是针对虚拟摄像头的多个期望姿态中的两个或更多个来执行的。优选地，针对虚拟摄像头的所有期望姿态来校正视差伪影，使得用户可以选择所定义的多个姿态之一，并且输出图像几乎即时地显示在位于车辆10中的显示器上。
[0011]在一个实施例中，输入图像是静止图像。
[0012]在一个实施例中，输入图像是运动图像。
[0013]在一个实施例中，该方法还包括:由多个物理摄像头捕获各自的输入图像，每个输入图像包括多个像素；由控制器定义每个物理摄像头的实际姿态和虚拟摄像头的期望姿态之间的对级几何结构；由控制器将每个输入图像和输入图像的多个像素的深度数据在对级几何结构的对级坐标中重新采样；由控制器通过将每个输入图像的多个像素的深度数据在对级几何结构的对级坐标中重新投影到输出图像上来执行每个输入图像的多个像素的视差估计；和基于多个物理摄像头的输入图像，由DNN校正输出图像中虚拟摄像头的期望姿态的视差伪影。
[0014]在一个实施例中，DNN是残差学习神经网络。
[0015]在一个实施例中，该方法还包括在显示器上显示生成的输出图像。
[0016]提供了一种车辆，其被配置成生成场景的虚拟视图。该车辆包括：物理摄像头，被配置为捕获具有多个像素的输入图像和控制器。所述控制器被配置成:确定用于显示虚拟视图的输出图像的虚拟摄像头的期望姿态；确定物理摄像头的实际姿态；定义物理摄像头的实际姿态和虚拟摄像头的期望姿态之间的对级几何结构；在对级几何结构的对级坐标中对输入图像和输入图像的多个像素的深度数据进行重采样；通过在对级几何结构的对级坐标中将输入图像的多个像素的深度数据重新投影到输出图像上来执行输入图像的多个像素的视差估计；通过由控制器实施的深度神经网络DNN，针对虚拟摄像头的期望姿态校正输出图像中的视差伪影；和基于重新采样的输入图像和输入图像的多个像素的深度数据、通过将输入图像的多个像素的深度数据重新投影到输出图像上而得到的视差估计以及校正的视差伪影，生成输出图像。
[0017]在一个实施例中，控制器被配置成在通过由控制器实现的DNN校正虚拟摄像头的视点位置的输出图像中的视差伪影之后，从输入图像合成对级坐标中的输出图像。
[0018]在一个实施例中，控制器被配置成在从输入图像合成对级坐标中的输出图像之后，将输出图像转换成选定的虚拟摄像头模型。
[0019]在一个实施例中，控制器被配置为定义所选虚拟摄像头模型的输出图像的呈现模式。
[0020]在一个实施例中，控制器被配置成定义用于显示输出图像的虚拟摄像头的多个期望姿态；控制器还被配置为通过由控制器实现的DNN来执行对虚拟摄像头的多个期望姿态中的两个或更多个的输出图像中的视差伪影的校正。
[0021]在一个实施例中，物理摄像头被配置成捕获静止图像作为输入图像。
[0022]在一个实施例中，物理摄像头被配置成捕获运动图像作为输入图像。
[0023]在一个实施例中，车辆包括多个物理摄像头，每个物理摄像头被配置成捕获相应的输入图像，每个输入图像包括多个像素；其中所述控制器被配置成定义每个物理摄像头的实际姿态和虚拟摄像头的期望姿态之间的核几何结构；在对级几何结构的对级坐标中对每个输入图像和输入图像的多个像素的深度数据重新采样；通过在对级几何结构的对级坐标中将每个输入图像的多个像素的深度数据重新投影到输出图像上，来执行每个输入图像的多个像素的视差估计；并且通过由控制器实现的DNN，基于多个物理摄像头的输入图像，针对虚拟摄像头的期望姿态，校正输出图像中的视差伪影。
[0024]在一个实施例中，控制器被配置为实现残差学习神经网络作为DNN。
[0025]在一个实施例中，车辆还包括显示器，该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成由物理摄像头捕获的场景的虚拟视图的方法，该方法包括以下步骤:由物理摄像头捕获具有多个像素的输入图像；由控制器确定用于显示虚拟视图的输出图像的虚拟摄像头的期望姿态；由控制器确定物理摄像头的实际姿态；由控制器定义物理摄像头的实际姿态和虚拟摄像头的期望姿态之间的对级几何结构；由控制器将输入图像和输入图像的多个像素的深度数据在对级几何结构的对级坐标中重新采样；由控制器通过将输入图像的多个像素的深度数据在对级几何结构的对级坐标中重新投影到输出图像上来执行输入图像的多个像素的视差估计；针对虚拟摄像头的期望姿态，通过深度神经网络DNN校正输出图像中的视差伪影；和基于重新采样的输入图像和输入图像的多个像素的深度数据、通过将输入图像的多个像素的深度数据重新投影到输出图像上所作的视差估计以及经校正的视差伪影，通过控制器生成输出图像。2.根据权利要求1所述的方法，进一步包括:在通过DNN校正了虚拟摄像头的视点位置的输出图像中的视差伪影之后:在对级坐标中从输入图像合成输出图像。3.根据权利要求2所述的方法，进一步包括:在对级坐标中从输入图像合成输出图像之后:将输出图像转换成选定的虚拟摄像头模型。4.根据权利要求3所述的方法，其中所选择的虚拟摄像头模型定义了输出图像的呈现模式。5.根据权利要求1所述的方法，进一步包括定义用于显示输出图像的虚拟摄像头的多个期望姿态；其中通过DNN对输出图像中的视差伪影进行校正是针对虚拟摄像头的多个期望姿态中的两个或更多个来执行的。6.根据权利要求1所述的方法，其中输入图像是静止图像或运动图像。7.根据权利要求1...

【专利技术属性】
技术研发人员：M斯卢茨基，A沙鲁莫夫，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：