使用极重投影进行虚拟视图视角改变制造技术

描述了用于基于输入场景生成虚拟相机的虚拟视图的系统和方法。捕获设备通常包括物理相机和深度传感器，并且捕获输入场景。控制器确定捕获设备的实际姿态和用于显示虚拟视图的虚拟相机的期望姿态。控制器定义捕获设备的实际姿态和虚拟相机的期望姿态之间的极几何。控制器基于捕获设备的实际姿态、输入场景和虚拟相机的期望姿态之间的极关系，为虚拟相机生成输出图像。成输出图像。成输出图像。

【技术实现步骤摘要】
使用极重投影进行虚拟视图视角改变


[0001]
总体涉及基于捕获的图像数据生成虚拟视图。特别地，描述涉及虚拟视图视角改变。更具体地，描述涉及用于基于由捕获设备捕获的输入场景来生成虚拟相机的虚拟视图的系统和方法，该捕获设备包括物理相机与位于同一位置或在空间上分离的深度传感器。

技术介绍

[0002]现代车辆通常配备有一个或多个光学相机，其配置为向车辆乘员提供图像数据。例如，图像数据显示车辆周围环境的预定视角。
[0003]在某些条件下，可能希望将视角改变到由光学相机提供的图像数据上。为此，使用所谓的虚拟相机，并且修改由一个或多个物理相机捕获的图像数据，以从另一个期望的视角显示捕获的场景；修改后的图像数据可被称为虚拟场景或输出图像。虚拟场景上的期望视角可以根据乘员的愿望而改变。虚拟场景可以基于从不同视角捕获的多个图像来生成。然而，合并来自位于不同位置的图像源的图像数据可能会在虚拟图像中造成不期望的伪像。
[0004]因此，期望提供用于生成由物理相机捕获的场景的虚拟视图的系统和方法，具有虚拟场景的改进质量，保持捕获的场景的三维结构，并且能够改变观看虚拟场景的视角。
[0005]此外，结合附图和前述
和
技术介绍
，从随后的详细描述和所附权利要求中，本专利技术的其他期望特征和特性将变得显而易见。

技术实现思路

[0006]提供了一种用于基于输入场景生成虚拟相机的虚拟视图的方法。在一实施例中，该方法包括：由捕获设备捕获输入场景；由控制器确定捕获设备的实际姿态；由控制器确定用于显示虚拟视图的虚拟相机的期望姿态；由控制器定义捕获设备的实际姿态和虚拟相机的期望姿态之间的极几何；由控制器基于捕获设备的实际姿态、输入场景和虚拟相机的期望姿态之间的极关系，为虚拟相机生成输出图像。
[0007]在一实施例中，该方法包括由物理相机与位于同一位置的深度传感器捕获输入场景。由捕获设备捕获输入场景包括由物理相机捕获输入图像；由深度传感器将深度信息分配给输入图像的像素；由控制器确定捕获设备的实际姿态包括由控制器确定物理相机的实际姿态；由控制器定义捕获设备的实际姿态和虚拟相机的期望姿态之间的极几何包括由控制器定义物理相机的实际姿态和虚拟相机的期望姿态之间的极几何；并且由控制器为虚拟相机生成输出图像包括：由控制器以极坐标对输入图像的像素的深度信息进行重采样；由控制器识别物理相机的输入极线上的目标像素；由控制器为虚拟相机的一条或多条输出极线生成视差图；以及由控制器基于一条或多条输出极线生成输出图像。
[0008]在一实施例中，由控制器识别物理相机的输入极线上的目标像素包括由控制器最小化方向成本函数以识别目标像素。
[0009]在另一实施例中，对于一条或多条输出极线中的每一条的每个输出像素执行由控制器最小化方向成本函数以识别目标像素。
[0010]在另一实施例中，该方法还包括由控制器通过最小化方向成本函数来为每个输出像素确定沿输出极线的视差。
[0011]在另一实施例中，由控制器基于一条或多条输出极线生成输出图像包括由控制器通过以确定的视差获取像素来生成输出图像。
[0012]在另一实施例中，方向成本函数被定义为：
[0013][0014]并且根据以下来进行最小化方向成本函数：
[0015][0016]其中：
[0017]DC是方向成本函数；
[0018]m是沿着物理相机的输入极线的像素；
[0019]是从虚拟相机中心指向虚拟相机的输出极线上的像素方向的单位向量，对于该单位向量，沿着物理相机的输入极线上的对应物理像素m将被识别；
[0020]是物理相机中心和虚拟相机中心之间的向量；
[0021]是对应于像素m的3D点位置；
[0022]是对于给定的对应于DC最小值的输入极线上的物理像素。
[0023]在另一实施例中，由深度传感器将深度信息分配给输入图像的像素包括由深度传感器将深度信息分配给由物理相机捕获的每个像素。
[0024]在另一实施例中，由深度传感器将深度信息分配给输入图像的像素包括由深度传感器基于输入图像确定由物理相机捕获的每个像素的深度信息。
[0025]在另一实施例中，该方法包括由物理相机和与物理相机空间分离的深度传感器捕获输入场景。由捕获设备捕获输入场景包括由物理相机捕获输入图像，以及由深度传感器捕获与输入图像相关的深度数据。由控制器确定捕获设备的实际姿态包括由控制器确定物理相机的实际姿态，以及由控制器确定深度传感器的实际姿态；由控制器定义捕获设备的实际姿态和虚拟相机的期望姿态之间的极几何包括由控制器定义深度传感器的实际姿态和虚拟相机的期望姿态之间的极几何；并且由控制器为虚拟相机生成输出图像包括：由控制器为虚拟相机的期望姿态生成密集深度数据；由控制器将对于虚拟相机的期望姿态的密集深度数据投影到输入图像上；以及由控制器基于投影到输入图像上的密集深度数据生成虚拟相机的输出图像。
[0026]在一实施例中，由控制器为虚拟相机的期望姿态生成密集深度数据包括由控制器最小化方向成本函数以估计像素的深度。
[0027]在另一实施例中，对于输出图像的一条或多条输出极线中的每一条的每个输出像素执行由控制器最小化方向成本函数以估计像素的深度。
[0028]在另一实施例中，该方法还包括，当深度传感器是密集深度传感器时，由深度传感器将深度信息分配给输入图像的像素，并且由控制器以极坐标对输入图像的像素的深度信息进行重采样。
[0029]在另一实施例中，该方法还包括，当深度传感器是稀疏深度传感器时，建立查找表并将输出图像的极线映射到深度传感器的相应极线附近的点云集。
[0030]在另一实施例中，该方法还包括由控制器最小化点云的一组相关点上的方向成本函数。优选地，通过三角测量或Voronoi镶嵌将点云转换成密集深度图。
[0031]在另一实施例中，方向成本函数被定义为：
[0032][0033]并且根据以下来进行最小化方向成本函数：
[0034][0035]其中：
[0036]DC是方向成本函数；
[0037]m是沿着物理相机的输入极线的像素；
[0038]是从虚拟相机中心指向虚拟相机的输出极线上的像素方向的单位向量，对于该单位向量，沿着物理相机的输入极线上的对应物理像素m将被识别；
[0039]是物理相机中心和虚拟相机中心之间的向量；
[0040]是对应于像素m的3D点位置；
[0041]是对于给定的对应于DC最小值的输入极线上的物理像素。
[0042]提供了一种用于基于输入场景生成虚拟相机的虚拟视图的系统。该系统包括具有物理相机和深度传感器的捕获设备以及控制器。捕获设备配置为捕获输入场景。控制器配置为确定捕获设备的实际姿态，确定用于显示虚拟视图的虚拟相机的期望姿态，定义捕获设备的实际姿态和虚拟相机的期望姿态之间的极几何，以及基于捕获设备的实际姿态、输入场景和虚拟相机的期望姿态之间的极关系为虚拟相机生成输出图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于基于输入场景生成虚拟相机的虚拟视图的方法，该方法包括：由捕获设备捕获输入场景；由控制器确定捕获设备的实际姿态；由控制器确定用于显示虚拟视图的虚拟相机的期望姿态；由控制器定义捕获设备的实际姿态和虚拟相机的期望姿态之间的极几何；由控制器基于捕获设备的实际姿态、输入场景和虚拟相机的期望姿态之间的极关系，为虚拟相机生成输出图像。2.根据权利要求1所述的方法，包括：由物理相机与位于同一位置的深度传感器捕获输入场景；其中，由捕获设备捕获输入场景包括由物理相机捕获输入图像；由深度传感器将深度信息分配给输入图像的像素；其中，由控制器确定捕获设备的实际姿态包括由控制器确定物理相机的实际姿态；其中，由控制器定义捕获设备的实际姿态和虚拟相机的期望姿态之间的极几何包括由控制器定义物理相机的实际姿态和虚拟相机的期望姿态之间的极几何；并且其中，由控制器为虚拟相机生成输出图像包括：由控制器以极坐标对输入图像的像素的深度信息进行重采样；由控制器识别物理相机的输入极线上的目标像素；由控制器为虚拟相机的一条或多条输出极线生成视差图；以及由控制器基于一条或多条输出极线生成输出图像。3.根据权利要求2所述的方法，其中，由控制器识别物理相机的输入极线上的目标像素包括：由控制器最小化方向成本函数以识别目标像素。4.根据权利要求3所述的方法，其中，对于一条或多条输出极线中的每一条的每个输出像素执行由控制器最小化方向成本函数以识别目标像素；其中，该方法还包括：由控制器通过最小化方向成本函数来为每个输出像素确定沿输出极线的视差；其中，由控制器基于一条或多条输出极线生成输出图像包括：由控制器通过以确定的视差获取像素来生成输出图像。5.根据权利要求3所述的方法，其中，所述方向成本函数被定义为：并且根据以下来进行最小化方向成本函数：其中：DC是方向成本函数；m是沿着物理相机的输入极线的像素；
是从虚...

【专利技术属性】
技术研发人员：M斯卢茨基，A沙卢莫夫，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：