车辆全景可视摄像机投影的失真校正制造技术

本公开提供了“车辆全景可视摄像机投影的失真校正”。公开了用于车辆全景可视摄像机投影的失真校正的方法和设备。示例性车辆包括用于捕获车辆周围的周边的图像的摄像机；和处理器。所述处理器使用所述图像生成所述车辆周围区域的合成图像，并生成定义所述车辆与所述车辆周围对象之间的空间关系的深度图。所述处理器还使用所述深度图生成投影表面。另外，所述处理器呈现用于基于投影到所述投影表面上的所述合成图像生成视图图像的界面。

Distortion correction of vehicle panoramic camera projection

The present disclosure provides \distortion correction of vehicle panoramic visual camera projection\. A method and apparatus for distortion correction of vehicle panoramic video camera projection are disclosed. The exemplary vehicle includes a camera for capturing an image of the surroundings around the vehicle; and a processor. The processor uses the image to generate a composite image of the area around the vehicle, and generates a depth map defining the spatial relationship between the vehicle and the objects around the vehicle. The processor also generates a projection surface using the depth map. In addition, the processor presents an interface for generating a view image based on the composite image projected onto the projected surface.

【技术实现步骤摘要】
车辆全景可视摄像机投影的失真校正
本公开总体涉及车辆的摄像机系统，并且更具体地，涉及车辆全景可视摄像机投影的失真校正。
技术介绍
车辆包括将在车辆周围捕获的图像拼接在一起以形成车辆周围区域的伪三维图像的摄像机系统。为了创建该视图，这些摄像机系统将拼接在一起的图像投影到投影表面上，该投影表面假设车辆周围的表面是无限平面。然而，当对象与该投影表面的边界相交时，该对象在伪三维图像中变得明显失真。在这种情况下，驾驶员难以从伪三维图像获得有用信息。
技术实现思路
本申请受所附权利要求的限定。本公开总结了实施例的各方面，而不应当用于限制权利要求。根据本文所述的技术也可以设想其他实现方式，这将通过研究附图和具体实施方式部分对本领域普通技术人员变得显而易见，并且这些实现方式意图落入本申请的范围内。公开了用于车辆全景可视摄像机投影的失真校正的示例性实施例。示例性车辆包括用于捕获车辆周围的周边的图像的摄像机；和处理器。处理器使用图像生成车辆周围区域的合成图像，并生成定义车辆与车辆周围对象之间的空间关系的深度图。处理器还使用深度图生成投影表面。另外，处理器呈现用于基于投影到投影表面上的合成图像生成视图图像的界面。从不能由车辆的摄像机直接观察的视角生成车辆周围区域的图像的示例性方法包括利用摄像机捕获车辆周围的周边的图像。该方法还包括使用图像，(a)生成车辆周围区域的合成图像，以及(b)生成定义车辆与车辆周围对象之间的空间关系的深度图。该方法包括使用深度图生成投影表面。另外，该方法包括呈现用于基于投影到投影表面上的合成图像生成视图图像的界面。示例性车辆包括：第一组摄像机，其用于捕获车辆周围的周边的第一图像；以及第二组摄像机，其用于捕获车辆周围的周边的第二图像。示例性车辆还包括处理器。处理器使用第一图像生成车辆周围区域的合成图像，并使用第二图像生成定义车辆与车辆周围对象之间的空间关系的深度图。然后处理器使用深度图生成投影表面。处理器还呈现用于基于投影到投影表面上的合成图像生成视图图像的界面。附图说明为了更好地理解本专利技术，可以参考以下附图中所示的实施例。附图中的部件不一定按比例绘制，并且可以省略相关元件，或者在一些情况下可能夸大了比例以便强调和清楚地示出本文所述的新颖特征。另外，如本领域中所已知的，系统部件可以不同地布置。另外，在附图中，相同的附图标记在全部几个视图中表示对应的零件。图1示出了根据本公开的教导内容操作的车辆。图2A示出了用于使用标准投影表面生成图1的车辆周围的三维区域的等距图像的虚拟摄像机。图2B示出了图2A的标准投影表面的表示。图3A示出了用于使用改变的投影表面生成图1的车辆周围的三维区域的等距图像的虚拟摄像机，其中车辆周围区域的部分变暗以表示未被摄像机捕获的区域。图3B示出了用于使用改变的投影表面生成图1的车辆周围的三维区域的等距图像的虚拟摄像机，其中车辆周围区域的部分被建模以表示未被摄像机捕获的区域。图3C示出了图3A和图3B的示例性改变的投影表面的表示。图4示出了失真的三维图像的示例。图5示出了校正的三维图像的示例。图6是图1的车辆的电子部件的框图。图7是生成校正的三维图像的方法的流程图，其可以由图6的电子部件实现。具体实施方式虽然本专利技术可以以各种形式体现，但是在附图中示出并且将在下文中描述一些示例性和非限制性实施例，应理解本公开应被认为是本专利技术的示例而不意图将本专利技术限制于所示出的具体实施例。越来越多的车辆包括摄像机系统，其生成车辆周围的三维区域的虚拟等距视图或俯视图。这些图像被发送到计算装置(例如，车辆显示器和信息娱乐发动机控制模块(ECU)、台式计算机、移动装置等)以便于用户监视车辆周围区域。通常，用户可以与图像交互以移动虚拟摄像机的视口以在不同角度查看车辆及其周围环境。然而，这些摄像机系统使用由摄像机(例如，360度摄像机系统、定位于车辆外围的超广角摄像机等)捕获的图像基于车辆周围的三维区域的特征生成这些等距图像，将它们拼接在一起，并将拼接的图像投影到投影表面上。这个“标准”投影表面基于从摄像机向外朝向无限平坦地平面的光线跟踪建模，然后投射三维表面以使摄像机像素光线与虚拟车辆在三维视图中以“合理”距离相交。结果，该投影表面的形状像平滑的碗状物，其在车辆的虚拟位置附近变平。投影表面限定围绕车辆的虚拟对象的形状，并且图像的像素被映射到虚拟对象上。这样，投影表面表示车辆周围的虚拟边界。将图像投影到碗状投影表面上会产生失真，但是当对象离车辆相对较远时，这些失真是可控的。然而，当对象接近投影表面或与投影表面相交(例如，穿过虚拟边界)时，对象变得越来越失真，最终导致生成的等距图像不可理解。因为该车辆特征通常用于预期相邻车辆或对象在投影表面附近或内部的停车情况，所以三维场景的等距视图经常具有显示给用户的车辆周围区域的显著失真。如本文所述，车辆从不同于车辆的单个摄像机视角的视角(例如，在车辆上方的不同的旋转和倾斜、俯视等的等距视角)生成车辆周围区域的图像，其通常包括来自附接到车辆的多个摄像机的视觉信息。该车辆使用产生点云信息的传感器(例如，超声波传感器、雷达、激光雷达等)和/或产生二维图像的摄像机(例如，360度摄像机系统、超广角摄像机、全景摄像机、标准摄像机、来自光度立体摄像机系统的各个摄像机图像等)和/或产生深度图的摄像机(例如，飞行时间摄像机、光度立体摄像机系统)以检测和定义车辆周围的三维结构(有时深度图被称为“视差图”)。在一些示例中，车辆使用传感器和/或图像数据以及经训练的神经网络来创建体素深度图或像素深度图。在一些这样的示例中，基于图像的深度信息与来自传感器的深度信息组合(有时称为“传感器融合”)。在一些示例中，车辆使用传感器和/或图像数据识别车辆周围的三维结构，并基于已知结构的数据库确定每个检测到的结构的尺寸和取向。在一些示例中，当车辆处于运动中时(例如，当最初停车时)，车辆使用运动结构技术来确定车辆附近的对象的三维结构和/或深度。当检测到的对象与投影表面相交时，车辆改变投影表面以考虑对象穿过投影表面的部分。为了考虑“更近”的对象，本公开的系统改变车辆周围的投影表面与对象的位置相对应的径向距离，以减小失真。该改变使得投影表面朝向投影表面的原点(例如，车辆的中心质心)具有减小的半径，该半径具有对象的穿过投影表面的部分的近似形状。以这种方式，当拼接的图像被投影到改变的投影表面上时，等距视图图像不会失真，因为虚拟摄像机的光线跟踪与附接到捕获图像的车辆的摄像机的光线跟踪基本上相同。车辆使用虚拟摄像机来便于用户查看车辆周围区域(例如，投影到投影表面上的拼接图像的不同部分)。由虚拟摄像机的视角生成的图像被传输到内部车辆显示器或远程装置，诸如移动装置(例如，智能电话、智能手表等)和/或计算装置(例如，台式计算机、膝上型计算机、平板电脑等)。图1示出了根据本公开的教导内容操作的车辆100。车辆100可以是标准汽油动力车辆、混合动力车辆、电动车辆、燃料电池车辆和/或任何其他移本文档来自技高网...

【技术保护点】
1.一种车辆，其包括：/n摄像机，所述摄像机用于捕获所述车辆周围的周边的图像；/n处理器，所述处理器用于：/n使用所述图像：/n生成所述车辆周围区域的合成图像，和/n生成深度图，所述深度图定义所述车辆与所述车辆周围对象之间的空间关系；/n使用所述深度图生成投影表面；以及/n呈现用于基于投影到所述投影表面上的所述合成图像生成视图图像的界面。/n

【技术特征摘要】
20180511 US 15/977,3291.一种车辆，其包括：
摄像机，所述摄像机用于捕获所述车辆周围的周边的图像；
处理器，所述处理器用于：
使用所述图像：
生成所述车辆周围区域的合成图像，和
生成深度图，所述深度图定义所述车辆与所述车辆周围对象之间的空间关系；
使用所述深度图生成投影表面；以及
呈现用于基于投影到所述投影表面上的所述合成图像生成视图图像的界面。


2.如权利要求1所述的车辆，其中所述摄像机是光度立体摄像机。


3.如权利要求1所述的车辆，其中为了生成所述投影表面，所述处理器用于基于在所述深度图中定义的所述空间关系来改变标准投影表面，以考虑所述对象的与所述标准投影表面的虚拟边界相交的部分。


4.如权利要求1所述的车辆，其中为了生成所述投影表面，所述处理器用于确定在所述深度图中定义的所述空间关系是否指示所述对象与标准投影表面的虚拟边界相交。


5.如权利要求4所述的车辆，其中所述处理器用于：
当在所述深度图中定义的所述空间关系指示所述对象与所述虚拟边界相交时，基于所述空间关系改变所述标准投影表面，以考虑所述对象的与所述虚拟边界相交的部分；以及
当在所述深度图中定义的所述空间关系未指示所述对象与所述虚拟边界相交时，选择所述标准投影表面。


6.一种从车辆的摄像机不能直接观察的视角生成所述车辆周围区域的图像的方法，所述方法包括：
用所述摄像机捕获所述车辆周围的周边的图像；
使用所述图像，(a)由车辆处理器生成所述车辆周围区域的合成图像，以及(b)由所述车辆处理器生成定义所述车辆与所述车辆周围对象之间的空间关系的深度图；
利用所述车辆处理器，使用所述深度图生成投影表面；以及
呈现用于基于投影到所述投影表面上的所述合成图像生成视图图像的界面。


7.如权利要求6所述的方法，其中所述摄像机是光度立体摄像机。


8.如权利要求6所述的方法，其中生成所述投影表面包括基于在所述深度图中定义的所述空间关系来改变标准投影表面，以考虑所述对象的与所述标准投影表面的虚拟边界相交的部分。

【专利技术属性】
技术研发人员：大卫·迈克尔·赫尔曼，农西奥·德西亚，大卫·约瑟夫·奥里斯，小斯蒂芬·杰伊·奥里斯，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国;US