立体成像的混合解决方案制造技术

混合匹配方法可用于平衡准确度与速度和资源消耗的计算机视觉。可以对立体图像数据进行校正和下采样，然后使用半全局匹配(SGM)过程进行分析。使用下采样图像大大减少了时间和带宽要求，同时提供了高准确度的视差结果。这些视差结果可以作为外部提示提供给快速模块，该快速模块可以在诸如实时导航等应用程序所需的时间内执行稳健的匹配过程。可以使用外部提示以及可能的其他提示来定义快速模块使用的搜索空间，这可以导致在指定的时序约束和有限的资源内获得更高质量的视差结果。视差结果可用于确定与各种对象的距离，这对于车辆导航或机器人任务性能可能很重要。或机器人任务性能可能很重要。或机器人任务性能可能很重要。

【技术实现步骤摘要】
【国外来华专利技术】立体成像的混合解决方案

技术介绍

[0001]计算机视觉正被用于越来越多的任务，这些任务伴随着不断增加的性能需求。对于自动驾驶或辅助驾驶等应用，除了对象识别之外，深度信息也很重要，立体视觉等技术通常用于获取可用于确定深度或距离的视差数据。虽然存在高度准确的立体算法，但这些算法的实现通常不够快或不够轻巧，无法用于许多这些目标应用程序。例如，如果在计算或处理能力有限的车辆中将立体算法用于前向碰撞警告(FCW)或行人检测(PD)，则几乎没有错误余地，并且计算机视觉确定中的延迟或不准确可能带来灾难性的后果。
附图说明
[0002]根据本公开的各种实施例将参考附图进行描述，其中:
[0003]图1示出了根据至少一个实施例的可利用的车辆的一组相机；
[0004]图2A、图2B和图2C示出了根据至少一个实施例的可被分析的附近环境中的对象的图像；
[0005]图3示出了根据至少一个实施例的图像处理管线；
[0006]图4示出了根据至少一个实施例的可用于图像处理的模块的组件；
[0007]图5示出了根据至少一个实施例的可以利用的示例立体和光流处理引擎；
[0008]图6A、6B、6C和6D示出了根据至少一个实施例的与图像分析一起使用的提示的视图；
[0009]图7示出了根据至少一个实施例的用于分析捕获的立体图像数据的过程；
[0010]图8示出了根据至少一个实施例的用于分析图像数据的过程；
[0011]图9示出了根据至少一个实施例的可以利用的图像处理硬件的组件；
[0012]图10示出了根据至少一个实施例的输入图像、地面实况以及可以生成的对应视差图和置信度图；
[0013]图11A示出了根据至少一个实施例的推理和/或训练逻辑；
[0014]图11B示出了根据至少一个实施例的推理和/或训练逻辑；
[0015]图12示出了根据至少一个实施例的示例数据中心系统；
[0016]图13示出了根据至少一个实施例的计算机系统；
[0017]图14示出了根据至少一个实施例的计算机系统；
[0018]图15和图16示出了根据一个或更多个实施例的图形处理器的至少一部分；
[0019]图17A示出了根据至少一个实施例的自主车辆的示例；
[0020]图17B示出了根据至少一个实施例的图17A中的自主车辆的示例系统架构；以及
[0021]图17C示出了根据至少一个实施例的一个或更多个基于云服务器和图17A中的自主车辆之间的通信系统。
具体实施方式
[0022]计算机视觉通常涉及分析图像数据(例如，一个或更多个图像或视频内容)的一个
或更多个计算设备，以尝试确定或提取关于该图像中表示的对象的信息。例如，这可以包括分析从捕获的图像数据中提取的高维数据，以尝试识别图像数据中表示的对象，并生成识别这些对象的人类可读描述或标签。对于面部识别或安全监控等应用，与某些对象的距离可能并不重要，二维图像数据可能就足够了。然而，在某些应用中，识别对象的距离信息可能很重要，甚至很关键。这些可以包括各种导航应用或对象回避应用，例如可以在车辆(有人驾驶或无人驾驶)或机器人技术中使用。对于这些利用距离信息的应用，可以利用立体成像等技术。立体成像通常包括使用一对匹配的相机或具有双传感器的立体相机从稍微不同的位置或视点捕获对象或场景的一对图像。靠近相机的对象会在两个图像之间出现更多的横向偏移，而远离相机的对象可能会出现在图像中的相同位置。这种作为距离函数的横向图像位置的差异通常被称为视差。通过精确校准立体图像捕获系统，可以通过计算相应图像对或图像数据流对中这些对象的位置之间的差异来确定到使用计算机视觉识别的对象的距离。
[0023]图1示出了一个示例车辆100，该车辆100可以利用此处所呈现的各种实施例的各个方面。如图所示，车辆100包括在车辆的不同位置处的多个相机或成像传感器，以便捕获代表车辆所在环境的图像数据。这些可以包括至少两个立体相机组件，包括前置和后置立体相机168。这些相机捕获的立体数据可以用于识别车辆100前面和后面的对象，其中这些对象可以包括其他车辆、行人、路标等。虽然来自任何一个相机的图像数据都可以使用计算机视觉进行分析以识别这些对象的类型，但是数据的立体方面使得能够确定车辆100到那些对象的距离。这对于诸如行人检测和碰撞避免等任务或应用很重要。在这个例子中，专用立体相机可以支持视差估计，而这些相机中的任何一个都可以支持光流确定。
[0024]图2A和图2B示出了从车辆的前置立体相机捕获的立体图像对的左图像202和对应的右图像204。可以分析单个图像以识别图像中的对象，例如其他车辆、车道标记和街道标志。图像202、图像204中这些对象的位置差距或从前置相机到这些对象的距离可用于确定视差。在一些实施例中，视差信息可以用于创建深度图206，如图2C所示，其中各种对象的距离用不同的颜色或阴影表示，在这个例子中，颜色较浅的对象比颜色深的对象更靠近相机。当与计算机视觉数据结合时，这种深度数据不仅可以提供附近对象的标识，还可以提供与这些对象的相对距离。通过随时间监控此信息，还可以确定其他信息，例如相对速度和航向，这对于导航等任务很重要。
[0025]如所提到的，诸如碰撞避免之类的应用可能需要以最小的延迟或处理时间实时做出这样的对象识别和距离确定。在许多情况下，使用检测的车辆将具有有限的处理能力。可提供所需准确度水平的常规立体分析算法通常还需要在处理能力、存储器或带宽等方面的显著能力，以及其他此类因素。例如，半全局匹配(SGM)算法在使用帧率30fps的高清视频时所需的带宽为126GB/秒，这超过了许多现有车辆的容量。未来的迭代可能会捕获更高分辨率的图像，这将有更高的带宽要求。
[0026]因此，根据各种实施例的方法利用提供诸如SGM之类的过程的效率和准确度但具有显著较低的性能或容量要求的混合方法。如图。图3示出了可以用于这种处理的示例处理管线300或系统。该示例管线300提供了利用SGM的扩展版本的混合解决方案。该系统包括专用的高性能光流/立体视差估计模块，可用于光流计算和立体视差估计。估计算法引擎可以是基于提示的，其中这些提示可能来自空间或时间邻居，或者可能是外部配置的。该解决方
案的混合特性来自于首先在按比例缩小的图像上运行SGM，这可以降低系统的SGM部分在全分辨率分析方面的性能要求。然后，估计模块可以将SGM分析的结果作为一组外部提示，用于确定图像数据中表示的各种对象的距离或视差信息。估计模块可以分析全分辨率图像数据，但可以通过使用按比例缩小的图像获得的性能和带宽优势来获得准确的SGM提示。实验表明，与不使用这些扩展的SGM提示的方法相比，有显著的改进，并证明了与其他SGM方法相当的准确性。然而，如前所述，对于诸如用于多流、实时高清立体声应用的HD SGM等应用而言，带宽减少可能非常显著，例如相对于传统SGM解决方案减少90％或更多。
[0027]在图3的示例处理管线300中，提供一对立体图像作本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：接收包括至少一个对象的表示的立体图像对；使用第一图像匹配过程来分析所述立体图像对的下采样版本以产生密集视差图；使用第二图像匹配过程来处理所述立体图像对，所述密集视差图提供一组外部提示，用于确定用于所述第二图像匹配过程的初始搜索空间；以及使用由所述第二图像匹配过程产生的视差数据来确定所述至少一个对象的距离信息。2.根据权利要求1所述的计算机实现的方法，其中所述第一图像匹配过程是半全局匹配(SGM)过程。3.根据权利要求2所述的计算机实现的方法，其中所述第一图像匹配过程在专用硬件上执行，所述专用硬件包括用于对所述下采样版本执行所述SGM过程的可编程视觉加速器(PVA)。4.根据权利要求1所述的计算机实现的方法，还包括：在为所述第一图像匹配过程生成所述下采样版本之前校正所述立体图像对，将未经下采样的校正图像对连同所述密集视差图一起作为输入提供给所述第二图像匹配过程。5.根据权利要求1所述的计算机实现的方法，还包括：获得用于确定所述初始搜索空间的至少一种附加类型的提示，所述至少一种附加类型的提示包括时间提示、空间提示、内部提示或恒定提示。6.根据权利要求5所述的计算机实现的方法，还包括：部分地基于用于提示类型中的至少一种的运动向量来确定所述初始搜索空间的形状。7.根据权利要求1所述的计算机实现的方法，还包括：产生与所述密集视差图相对应并可用于确定后续视差确定中的错误的置信度图。8.根据权利要求1所述的计算机实现的方法，还包括：至少部分地基于所述至少一个对象的距离信息来确定要采取的动作，所述动作与车辆的导航或机器人设备的操纵有关。9.根据权利要求1所述的计算机实现的方法，其中所述第二图像匹配过程使用一组相似性度量在若干输入范围上执行局部匹配，并且部分地基于所述一组外部提示和作为输入所提供的任何附加提示来选择获胜视差值。10.一种系统，包括：至少一个处理器；以及存储器，其包括指令，当所述指令由所述至少一个处理器执行时，使所述系统：接收包括至少一个对象的表示的立体图像对；使用半全局匹配(SGM)过程来分析所述立体图像对的下采样版本以产生密集视差图；使用第二图像匹配过程来处理所述立体图像对，所述密集视差图提供一组外部提示，用于确定用于所述第二图像匹配过程的初始搜索空间；以及使用由所述第二图像匹配过程产生的视差数据来确定所述至少一个对象的距离信息。11.根据权利要求10所述的系统，其中所述指令在被执行时进一步使所述系统：利用可编程视觉加速器(PVA)对所述下采样版本执行SGM过程。12.根据权利要求10所述的系统，其中所述指令在被执行时进一步使所述系统：在为所述...

【专利技术属性】
技术研发人员：张东，E，
申请(专利权)人：辉达公司，
类型：发明
国别省市：