对鱼眼镜头生成具有畸变的图像的新方法技术

本申请公开了对鱼眼镜头生成具有畸变的图像的方法，属于自主车辆的技术领域，用于从合成的无畸变源立体图图像生成目标畸变图像。生成合成的无畸变源立方体图图像。为目标畸变图像的每个像素，确定对应于目标畸变图像的像素的源立方体图图像的像素。为目标畸变图像上的每个像素，确定源立方体图图像上对应像素的颜色。之后，在目标畸变图像的每个像素处填充与源立方体图图像的对应像素的确定颜色相同的颜色。

【技术实现步骤摘要】
对鱼眼镜头生成具有畸变的图像的新方法
本公开的实施例总体上涉及操作自主车辆。更具体地，本公开的实施例涉及生成镜头畸变的合成图像，用于训练用于自主驾驶的感知模块。
技术介绍
以自主模式(例如，无人驾驶)操作的车辆可以减轻乘员(特别是驾驶员)免于某些与驾驶有关的责任。当以自主模式运行时，车辆可以使用车载传感器导航到各个位置，从而允许车辆可以在最少的人机交互、或者在某些情况下无乘客的情况下行驶。运动规划和控制是自主驾驶的关键操作。然而，常规的运动规划操作主要从其曲率和速度来估计完成给定路径的难度，而不考虑不同类型车辆的特征差异。相同的运动规划和控制应用于所有类型的车辆，这在某些情况下可能不准确且不平稳。感知模块是自动驾驶堆栈中的关键组件。感知模块中使用的人工智能(ArtificialIntelligence，AI)算法需要大量标记的图像进行训练。手动标签既费时又昂贵，而且可能不准确。因此，在本领域中使用合成数据(例如，由诸如统一引擎或虚拟引擎的游戏引擎生成的数据)用于生成标记的数据。标记的数据用于感知模块的训练，以帮助改善其性能。在使用物理相机拍摄的图像中，镜头畸变(例如，径向畸变)是不可避免的。因此，理想地，应该使用体现真实世界镜头畸变的图像来训练感知模块，以便训练的感知模块可以正确地处理由真实相机捕获的图像。因此，生成待在感知模块训练中使用的合成图像的仿真系统应该包含正确的镜头畸变。存在用于从无畸变图像生成适当畸变的图像的已知技术。然而，生成鱼眼镜头的畸变仍然是挑战。在下文中，鱼眼镜头是指可以帮助创建具有强烈视觉畸变的宽全景或半球形图像的超广角镜头。从无畸变图像生成鱼眼镜头的畸变图像是一个挑战，因为鱼眼镜头通常具有非常大的视场(fieldofview,FOV)：鱼眼镜头的FOV可能接近甚至大于180°。大FOV意味着利用常规技术需要具有非常大的分辨率的无畸变图像来生成鱼眼镜头的畸变图像。随着镜头的FOV向180°增加，所需的分辨率接近无穷大。不存在FOV大于180°的无畸变图像。
技术实现思路
在一个实施例中，本申请涉及一种用于生成畸变图像的计算机实施的方法。该方法包括：生成合成的无畸变源立方体图图像；以及为目标畸变图像的每个像素，确定对应于目标畸变图像的像素的源立方体图图像的像素，确定源立方体图图像的对应像素的颜色，以及填充与源立方体图图像的对应像素的确定颜色相同的颜色。在一些实施例中，为目标畸变图像的每个像素，确定对应于目标畸变图像的像素的源立方体图图像的像素包括：将目标畸变图像的像素从像平面投影到归一化平面；使用逆畸变确定无畸变归一化平面上对应像素的位置；以及将无畸变归一化平面上的对应像素投影到单位球。在一些实施例中，该方法还包括：确定单位球上的投影像素的三维(3D)矢量；以及将与3D矢量对应的源立方体图图像上的像素确定为与目标畸变图像的像素对应的源立方体图图像的像素。在一些实施例中，目标畸变图像体现鱼眼镜头的径向镜头畸变。在一些实施例中，鱼眼镜头的视场(FOV)超过180度。在一些实施例中，源立方体图图像的对应像素的颜色在红绿蓝(RGB)颜色空间中。在一些实施例中，该方法还包括：使用目标畸变图像训练用于自主驾驶的感知模块。在另一个实施例中，本申请还涉及一种非暂时性机器可读介质，其中存储有指令。当指令由处理器执行时使得处理器执行上述操作上述用于生成畸变图像的计算机实施的方法。在另一个实施例中，本申请还涉及一种数据处理系统。该数据处理系统包括：处理器；以及存储器，耦接到处理器以存储指令，指令在由处理器执行时使处理器执行上述用于生成畸变图像的计算机实施的方法。在另一个实施例中，本申请还涉及一种用于生成畸变图像的装置。该装置包括：立方体图图像生成模块，用于生成合成的无畸变源立方体图图像；以及像素确定模块，用于为目标畸变图像的每个像素，确定对应于所述目标畸变图像的像素的所述源立方体图图像的像素；颜色确定模块，用于为目标畸变图像的每个像素，确定所述源立方体图图像的对应像素的颜色，以及颜色填充模块，用于为目标畸变图像的每个像素，填充与源立方体图图像的对应像素的确定颜色相同的颜色。附图说明在附图的图中以示例而非限制的方式示出本公开的实施例，在附图中，相似的附图标记指示相似的元件。图1是示出根据一个实施例的联网系统的框图。图2是示出根据一个实施例的自主车辆的示例的框图。图3A-3B是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的框图。图4是示出常规镜头畸变模型的图。图5A-5C是示出用于从无畸变图像生成畸变图像的常规方法的图。图6A-6D是示出根据一个实施例的统一投影模块的图。图7是示出根据一个实施例的合并立方体图图像的投影模块的图。图8A-C是示出根据一个实施例的用于从无畸变立方体图图像生成具有大FOV的相机(例如，鱼眼镜头)的畸变图像的方法的图。图9是示出了根据一个实施例的用于从无畸变立方体图图像生成目标畸变图像的示例方法的流程图。图10是示出根据一个实施例的示例设备的框图。具体实施方式将参考下面讨论的细节来描述本公开的各种实施例和方面，并且附图将示出各种实施例。以下描述和附图是本公开的说明，并且不应被解释为限制本公开。许多具体细节被描述以提供对本公开的各种实施例的全面理解。然而，在某些情况下，为提供对本公开的实施例的简要讨论，没有描述公知的或常规的细节。在说明书中对“一个实施例”或“实施例”的引用是指结合该实施例描述的特定特征、结构或特性可以被包含在本公开的至少一个实施例中。说明书中各个地方出现的短语“在一个实施例中”不一定都指相同的实施例。根据一些实施例，公开了一种用于从合成的无畸变的源立方体图图像生成目标畸变图像的方法，装置和系统。生成合成的无畸变的源立方体图图像。对于目标畸变图像的每个像素，确定与目标畸变图像的像素对应的源立方体图图像的像素。对于目标畸变图像的每个像素，确定源立方体图图像的对应像素的颜色。之后，在目标畸变图像的每个像素处填充与源立方体图图像的对应像素的确定颜色相同的颜色。在一个实施例中，对于目标畸变图像上的每个像素，为确定与目标畸变图像的像素对应的源立方体图图像的像素，将目标畸变图像的像素从图像平面投影到归一化平面。使用逆畸变来确定无畸变归一化平面上的对应像素的位置。然后无畸变归一化平面上的对应像素被投影到单位球上。确定单位球上的投影像素的三维(3D)矢量。将与3D矢量对应的源立方体图图像的像素确定为与目标畸变图像的像素对应的源立方体图图像的像素。在一个实施例中，目标畸变图像体现鱼眼镜头的径向镜头畸变。在一个实施例中，鱼眼镜头具有超过180度的视场(FOV)。在一个实施例中，源立方体图图像的对应像素的颜色在红绿蓝(RGB)颜色空间中。在一个实施例中，目标畸变图像用于训练用于自动驾驶的感知模块。图1是示出根据本公开的一个实施例的自主本文档来自技高网...

【技术保护点】
1.一种用于生成畸变图像的计算机实施的方法，所述方法包括：/n生成合成的无畸变源立方体图图像；以及/n为目标畸变图像的每个像素，/n确定对应于所述目标畸变图像的像素的所述源立方体图图像的像素，/n确定所述源立方体图图像的对应像素的颜色，以及/n填充与源立方体图图像的对应像素的确定颜色相同的颜色。/n

【技术特征摘要】
20191122 US 16/693,0701.一种用于生成畸变图像的计算机实施的方法，所述方法包括：
生成合成的无畸变源立方体图图像；以及
为目标畸变图像的每个像素，
确定对应于所述目标畸变图像的像素的所述源立方体图图像的像素，
确定所述源立方体图图像的对应像素的颜色，以及
填充与源立方体图图像的对应像素的确定颜色相同的颜色。


2.根据权利要求1所述的方法，其中，为目标畸变图像的每个像素，确定对应于所述目标畸变图像的像素的所述源立方体图图像的像素包括：
将所述目标畸变图像的像素从像平面投影到归一化平面；
使用逆畸变确定无畸变归一化平面上对应像素的位置；以及
将所述无畸变归一化平面上的对应像素投影到单位球。


3.根据权利要求2所述的方法，还包括：
确定所述单位球上的投影像素的三维(3D)矢量；以及
将与所述3D矢量对应的源立方体图图像上的像素确定为与所述目标畸变图像的像素对应的所述源立方体图图像的像素。


4.根据权利要求3所述的方法，其中所述目标畸变图像体现鱼眼镜头的径向镜头畸变。


5.根据权利要求4所述的方法，其中...

【专利技术属性】
技术研发人员：荣国栋，赵培涛，郑在源，
申请(专利权)人：百度美国有限责任公司，
类型：发明
国别省市：美国;US