多视图汽车和机器人系统中的图像合成技术方案

在各种示例中，汽车环视系统中的两个或更多个相机生成两个或更多个输入图像以拼接或组合成单个拼接图像。在一个实施例中，为了提高拼接图像的质量，反馈模块计算表示拼接图像和一个或更多个输入图像之间的误差的两个或更多个分数。如果计算的分数指示拼接图像中的结构误差，则反馈模块计算并应用一个或更多个几何变换以应用于一个或更多个输入图像。如果计算的分数指示拼接图像中的颜色误差，则反馈模块计算并应用一个或更多个光度变换以应用于一个或更多个输入图像。于一个或更多个输入图像。于一个或更多个输入图像。

【技术实现步骤摘要】
多视图汽车和机器人系统中的图像合成

技术介绍

[0001]汽车系统越来越多地采用可视化解决方案来协助驾驶员、提供信息并提高安全性。在汽车应用中提供可视化的各种技术都有各种缺点。例如，相机通常无法捕获可能发生安全问题的所有区域，或观看者可能感兴趣的所有区域。由于固有的相机限制或特性(例如位置、方向和内在参数)，尝试提供更宽的视野可能导致图像失真和/或具有伪影。汽车可视化中的任何失真的可视化或伪影增加了驾驶员、其他汽车用户、安全监视器和传统图像处理技术处理汽车可视化系统提供的信息的难度，因为这些伪影和/或失真的可视化不反映现实世界。这些失真和/或伪影可能会通过提供不准确或不完整的信息来降低驾驶员的安全性。

技术实现思路

[0002]本公开的实施例涉及使用质量评估反馈改进汽车或机器人系统中的图像合成。公开了构建在汽车系统或机器人系统或平台中生成的改进的全景图像以促进用户安全和诊断能力的系统和方法。图像合成包括组合来自两个或更多个源(例如相机)的图像数据，以在单个可视化引擎中显示。也就是说，组合或拼接来自每个单独相机的捕获图像数据，以呈现全景观视图。传统的合成过程通常会导致单个图像之间的不正确对齐，产生伪影和异常模糊整个景观视图，这在车辆应用中尤其成问题，因为伪影可能出现在安全关键区域。
[0003]传统的汽车可视化系统是开环的，仅限于成对组合，并且可能利用简单的图像组合技术，例如单应性估计，这需要估计两个单独图像的图像数据之间识别的特征点之间的对应关系。然而，由于特征点仅在场景中存在不同对象时才会出现，因此这种方法对于某些场景无效并产生几何失真，其中拼接图像在重叠部分之间包含未对齐的边缘。此外，单应性估计会在具有深度的场景中产生几何失真。
[0004]与传统系统(例如上述那些系统)相比，汽车系统中改进的图像合成利用闭环合成质量优化模块中的质量评估反馈来指导每个图像的各种调整，从而最大限度地减少伪影和其他失真。合成质量优化模块从两个或更多个相机接收校准参数以及图像数据作为输入，并且还可以可选地从其他车辆传感器接收数据。合成质量优化模块计算每个图像对的重叠区域，并基于该重叠区域，计算一个或更多个合成质量分数。如果任何合成质量分数低于阈值，则合成质量优化模块计算并应用一个或更多个几何变换或光度变换以在输入图像数据的子集上执行。基于变换的图像数据，合成质量优化模块循环直到一个或更多个合成质量分数都高于或等于阈值。在每个循环期间，合成质量优化模块计算一个或更多个合成质量分数并应用一个或更多个几何变换或光度变换。
附图说明
[0005]下面参考附图详细描述了使用质量评估反馈来改进汽车系统中的图像合成的本系统和方法，其中：
[0006]图1是示出了根据本公开的一些实施例的合成管线的框图；
[0007]图2A是根据本公开的一些实施例的使用两个图像的合成的图示；
[0008]图2B是根据一些实施例的优化之前和之后的碗投影图像合成的图示；
[0009]图3是示出了根据本公开的一些实施例的合成引擎管线的框图；
[0010]图4是示出了根据本公开的一些实施例的用于执行改进的图像合成的合成模块的框图；
[0011]图5是示出了根据本公开的一些实施例的合成质量优化模块的框图；
[0012]图6是示出了根据本公开的一些实施例的质量评估模块的框图；
[0013]图7示出了根据本公开的一些实施例的使用合成质量优化来执行改进合成的过程；
[0014]图8A是根据本公开的一些实施例的示例自主车辆的图示；
[0015]图8B是根据本公开的一些实施例的图8A的示例自主车辆的相机位置和视野的示例；
[0016]图8C是根据本公开的一些实施例的图8A的示例自主车辆的示例系统架构的框图；
[0017]图8D是根据本公开的一些实施例的基于云的服务器和图8A的示例自主车辆之间的通信的系统图；
[0018]图9是适用于实现本公开的一些实施例的示例计算设备的框图。
具体实施方式
[0019]公开了与改进的图像合成管线相关的系统和方法，其利用由汽车系统和平台或具有环视能力的机器人系统和平台使用的质量评估反馈。
[0020]在多视图系统中，例如在环视车辆系统中使用的那些，单独的相机捕获与景观的一部分相对应的图像。从每个单独的相机捕获的图像数据被组合或拼接，以便通过两个或更多个图像的合成在单个图像中呈现完整的景观视图。使用合成引擎或合成管线作为环视车辆系统或其中必须组合多个重叠图像的任何其他系统的组件来执行合成。
[0021]当如本文进一步描述的环视车辆系统拼接由车载相机捕获的两个或更多个图像时，所得一个或更多个图像通常不正确对齐，包含遮蔽或破坏整个景观视图的伪影和异常。这种情况的示例将在下面结合图2A进一步描述。合成图像的传统方法侧重于单应性估计以对齐未拼接的图像。
[0022]使用单应性估计，传统的开环环视汽车系统通过估计单个图像数据中识别的特征点之间的对应关系来组合重叠图像。即，实现单应性估计以进行图像合成的系统识别待组合的两个图像中的每一个中的特征点，并估计每个图像中的特征点彼此如何对应。使用该对应关系，识别重叠区域并组合图像。然而，由于特征点仅在场景中存在不同对象时才会出现，因此传统方法(例如单应性估计)对某些场景无效并且会产生几何失真，这在拼接包含重叠部分之间未对齐的边缘的图像时表现出来。此外，单应性估计会在具有深度的场景中为整个景观视图产生几何失真。
[0023]传统方法的适用性也很有限，只能用于成对组合。这些传统方法不能用于使用多于两个相机的多视图系统。除了单应性估计的限制之外，多视图系统引入了光度失真，其中各个相机具有不同的曝光水平，导致拼接的整个景观视图中的颜色值不一致，如下面结合图2A进一步描述。
[0024]相比之下，在汽车系统和平台或具有环视功能的机器人系统和平台中执行图像合成的基于闭环反馈的方法可用于在单应估计不可用或引入大量伪影的设置中合成两个或更多个图像。此外，基于反馈的方法在面对光度失真时是鲁棒的，能够执行颜色校正以匹配用作汽车系统和平台的输入的图像，或具有环视能力的机器人系统和平台，实现所述基于反馈的方法。
[0025]一种基于反馈的图像合成方法，用于汽车系统和平台，或具有环视功能的机器人系统和平台，以及其他需要图像合成的系统，利用闭环合成质量优化模块来指导两个或更多个拼接图像之间的几何调整和光度对齐。该合成质量优化模块，如下面结合图4
‑
6所描述的，从汽车系统和平台或具有环视能力的机器人系统和平台中的两个或更多个相机接收作为输入图像数据以及内在和外在校准参数，并且可以选择性地从其他车辆传感器接收数据，如本文进一步描述的。
[0026]一对图像中的每个图像首先从鱼眼空间转换到合成空间，如从本文结合图8B进一步描述的每个相机捕获的。组合引擎或模块，如下面结合图1和图4所描述的，然后通过将每个图像投影到虚拟相机的图像坐标上来拼接合成空间中的两个或更多个单独图像，其中虚拟相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：确定与第一图像和第二图像之间的重叠对应的重叠区域；确定所述重叠区域中所述第一图像和所述第二图像之间的差异；以及至少部分地基于所述差异来变换至少所述第一图像。2.如权利要求1所述的方法，还包括：作为所述差异低于阈值的结果，计算一个或更多个变换；以及将所述一个或更多个变换应用于所述第一图像或所述第二图像之一。3.如权利要求1所述的方法，还包括至少部分地基于所述重叠区域将所述第一图像和所述第二图像组合成第三图像。4.如权利要求1所述的方法，其中确定差异包括：计算指示所述重叠区域中的所述第一图像和所述第二图像之间的差异的至少一个分数，至少一个计算的分数至少部分地基于所述重叠区域中的所述第一图像和所述第二图像之间的一个或更多个几何差异；以及作为所述一个或更多个几何差异的结果，将一个或更多个几何变换应用于所述第一图像或所述第二图像。5.如权利要求1所述的方法，其中确定差异包括：计算指示所述重叠区域中的所述第一图像和所述第二图像之间的差异的至少一个分数，所述至少一个计算的分数至少部分地基于所述重叠区域中的所述第一图像和所述第二图像之间的一个或更多个光度差异；以及作为所述一个或更多个光度差异的结果，将一个或更多个光度变换应用于所述第一图像或所述第二图像。6.如权利要求1所述的方法，其中，确定差异包括计算指示所述重叠区域中所述第一图像和所述第二图像之间的几何差异的至少一个第一分数，其中：作为变换至少所述第一图像的结果，计算指示所述重叠区域中所述第一图像和所述第二图像之间的光度差异的至少一个第二分数；以及至少部分地基于所述至少一个第二分数计算要应用于至少所述第一图像的一个或更多个变换。7.如权利要求1所述的方法，其中确定差异包括：计算指示所述重叠区域中所述第一图像和所述第二图像之间的差异的至少一个分数；确定所述至少一个分数是否高于阈值；以及作为所述至少一个分数高于阈值的结果，至少部分地基于所述重叠区域将所述第一图像和所述第二图像组合成第三图像。8.一种车辆或机器人，其实现如权利要求1所述的方法，包括：第一图像捕获设备，用于捕获所述第一图像；第二图像捕获设备，用于捕获所述第二图像；显示设备，用于显示至少部分地基于至少所述变换的第一图像生成的拼接图像；一个或更多个处理器；以及存储器，其包括可由所述一个或更多个处理器执行以使所述一个或更多个处理器执行权利要求1的所述方法的指令。
9.一种车辆系统，包括：一个或更多个处理器；以及存储器，其包括指令，当由所述一个或更多个处理器执行所述指令时，使所述车辆系统至少：确定与第一图像和第二图像之间的重叠对应的重叠区域；计算指示所述重叠区域中所述第一图像和所述第二图像之间的差异的分数；以及至少部分地基于所述分数变换至少所述第一图像。10.如权利要求9所述的车辆系统，其中，所述存储器还包括指令，响应于由所述一个或更多个处理器执行所述指令，使所述车辆系统：作为所述分数低于阈值的结果，计算一个或更多个变换；以及将所述一个或更多个变换应用于所述第一图像或所述第二图像之一。11.如权利要求10所述的车辆系统，其中：所述第一图像与第一时间相关联，并且第三图像与第二时间相关联；以及所述分数表示所述第一图像和所述第三图像之间的差异。12.如权利要求9所述的车辆系统，其中所述存储器还包括指令，响应于由所述一个或更多个处理器执行所述指令，使所述车辆系统：至少部分地基于可用于促进所述重叠区域中所述第一图像和所述第二图像之间的一个或更多个差异的识别的光流向量来计算所述分数；以及作为所述一个或更多个对象差异的结果，将一个或更多个几何变换应用于至少所述第一图像。13.如权利要求9所述的车辆系统，其中，所述存储器还包括指令，响应于由所述一个或更多个处理器执行所述指令，使所述车辆系统：至少部分地基于所述重叠区域中所述第一图像和所述第二图像的每个颜色通道之间的一个或更多个颜色差异计算所述分数；以及作为所述一个或更多个颜色差异的结果，将一个或更多个光度变换应用于所述第一图像或所述第二图像。14.如权利要求9所述的车辆系统，其中，所述存储器还包括指令，响应于由所述一个或更多个处理器执行所述指令，使所述车辆系统：使用一个或更多个神经网络根据所述分数推理出第二分数...

【专利技术属性】
技术研发人员：任育卓，N，
申请(专利权)人：辉达公司，
类型：发明
国别省市：