一种图像处理系统包括图像处理器，所述图像处理器被配置为获得具有第一帧速率的第一图像流和具有第二帧速率的第二图像流，所述第二帧速率低于所述第一帧速率，基于所述第一图像流和第二图像流的现有帧恢复所述第二图像流的附加帧，以及使用附加帧来为第二图像流提供增加的帧速率。基于所述第一图像流和第二图像流的现有帧为所述第二图像流恢复附加帧包括确定用于在各自的迭代中插入第二图像流中的连续现有帧的相应的对之间的一个或多个附加帧的集合。
【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】一种图像处理系统包括图像处理器，所述图像处理器被配置为获得具有第一帧速率的第一图像流和具有第二帧速率的第二图像流，所述第二帧速率低于所述第一帧速率，基于所述第一图像流和第二图像流的现有帧恢复所述第二图像流的附加帧，以及使用附加帧来为第二图像流提供增加的帧速率。基于所述第一图像流和第二图像流的现有帧为所述第二图像流恢复附加帧包括确定用于在各自的迭代中插入第二图像流中的连续现有帧的相应的对之间的一个或多个附加帧的集合。【专利说明】使用至少一个较高帧速率图像流提高图像流帧速率的方法 和装置
领域总的来说涉及图像处理，并且更具体地，涉及具有不同帧速率的多个图像流 的处理。
技术介绍
图像处理在许多不同机器视觉应用中是重要的，并且这样的处理可能涉及从许 多不同的图像源获得的多个不同类型的图像，可能包括二维（2D)图像和三维（3D)图像。 例如，由诸如视频摄像机的图像源提供2D图像，以及由诸如结构光（SL)摄像机或飞行时 (ToF)摄像机的深度成像器提供3D图像。因此，传统的图像处理技术经常需要处理来自多 个不同源的图像流。然而，当不同的源以不同的帧速率产生图像时会产生问题。 概述 在一个实施例中，一种图像处理系统包括图像处理器，该图像处理器被配置来获 得具有第一帧速率的第一图像流和具有低于所述第一帧速率的第二帧速率的第二图像流， 基于所述第一和第二图像流的现有帧为第二图像流恢复附加帧，以及利用附加帧为所述第 二图像流提供增加的帧速率。仅作为示例，基于所述第一和第二图像流的现有帧为第二图 像流恢复附加帧可以示例性地包括：确定用于插入第二图像流中的相应对的连续现有帧之 间的一个或多个附加帧的集合。 本专利技术的其它实施例包括（但不限于）方法、装置、系统、处理设备、集成电路和其 中嵌入有计算机程序代码的计算机可读存储介质。 【专利附图】【附图说明】 图1是在一个实施例中的图像处理系统的框图。 图2示出了将恢复的附加帧插入到低帧速率图像流中以增加图1的系统中的图像 流的帧速率。 图3是用于增加图1系统中的低帧速率图像流的帧速率的示例性处理的流程图。 图4是用于增加图1系统中的低帧速率图像流的帧速率的另一示例性处理的流程 图。 图5至图7是示出图1系统中的图像处理器的簇（cluster)对应模块的操作的流 程图。 【具体实施方式】 在此将结合包括图像处理器或其它类型的处理设备的示例图像处理系统，以及用 于使用至少一个较高速率的图像流提高深度图像流或其它类型图像流的帧速率的实现技 术，说明本专利技术的实施例。然而，应理解，本专利技术的实施例更一般地适用于涉及处理具有不 同帧速率的多个图像流的任何图像处理系统或相关的设备或技术。 图1示出了本专利技术的一个实施例中的图像处理系统100。图像处理系统100包括 图像处理器102,其通过网络104与多个处理设备106通信。图像处理器102从相应的图像 源107接收至少两个不同的图像流。更具体地，图像处理器102从高速率图像源107-1接 收具有第一帧速率的第一图像流F Sl，并从低速率图像源107-2接收具有比第一帧速率低的 第二帧速率的第二图像流Fs2。可以不受限制构思图像源107提供从给定场景的相同或相 似视点获得的图像流，使得可以在高帧速率图像流和低帧速率图像流中都呈现相似的像素 簇或其它图像分段。在本文中应用到帧速率的术语"高"和"低"是相对术语，并且不应解 释为需要任何特定绝对的帧速率。 例如，高帧速率图像源107-1可以包括提供2D图像序列的视频摄像机或其它视频 源，而低帧速率图像源107-2可以包括提供深度图像序列的深度成像器，例如SL摄像机或 ToF摄像机。 在其它实施例中，可以使用许多其它类型的图像源生成多个图像流，包括配置为 产生2D红外图像、灰度图像、彩色图像或其它类型的2D图像的2D成像器以及3D成像器 (例如，SL和ToF摄像机），其可以任意组合。 示例性地，图像源107可以包括各自的图像源，每一个产生单独的图像流。可以单 独地安装传感器并将其布置为相互分开，或者，传感器可以包括一体的传感器的不同的部 分，其中所述一体的传感器具有用于产生第一图像流的第一组传感器和用于产生第二图像 流的第二组传感器。因此，可以从配置为对给定场景成像的相应的不同图像传感器获得第 一和第二图像流。此处，通常假定这样不同的图像传感器基本上捕获相同的场景，但是以不 同的帧速率捕获。 尽管由分开的图像源107-1和图像源107-2提供图1的实施例中的第一图像流 FSl和第二图像流Fs2，但是在其它实施例中，可以仅仅使用单一的成像器或其它类型的图 像源来提供不同帧速率的多个图像流。因此，例如，第一和第二图像源107-1和107-2可以 代表单一的多流成像器的不同部分，例如，如上所示的不同的传感器。作为此处广泛使用的 术语，给定的图像源可以包括存储之前捕获的图像流以供图像处理器102或代表图像处理 器102的取回的存储器和其它存储设备。又例如，图像源可以包括提供一个或多个图像流 到图像处理器102用于处理的服务器。 另外，在图1中仅处理两个输入图像流以提高其中一个图像流的帧速率，但是，在 其它实施例中，可以不止使用第一和第二图像流。例如，可以处理每一个都具有不同帧速率 的三个或更多个图像流，以恢复附加帧，来提高至少一个图像流的帧速率。 在本实施例中，图像处理器102被配置为基于第一图像流FSl和第二图像流Fs 2的 现有帧为第二图像流Fs2恢复附加帧，并被配置为使用所述附加帧为第二图像流Fs 2提供增 加的帧速率。例如，图像处理器102可以增加第二图像流的帧速率，直到其基本上等于第一 图像流的帧速率，使得第一和第二图像流可以更容易地由一个或多个目标设备处理。 更具体地，图像处理器102可以被配置为确定一个或多个附加帧的集合以用于插 入在第二图像流中相应对的连续现有帧之间。每一这样的确定可以认为是将要结合图3和 图4的流程图描述的示例性处理过程之一的迭代。对于给定的这样的迭代，基于第一图像 流中的多个对应的现有帧和第二图像流中的连续现有帧对中的对应的连续现有帧对，确定 一个或多个附加帧的特定集合，以用于插入在第二图像流中的连续现有帧对中对应的对之 间。 在图2中示出了该技术，其中图2示出了第一图像流FSl的现有帧和第二图像流 Fs2的现有帧之间的对应的一个例子。在这一例子中，假定第二图像流是包括深度图像流的 深度流。由于第一图像流具有比第二图像流高的帧速率，所以第一图像流在图中示出的时 间段上包括比第二图像流多的帧。图中标为未知的第二图像流的帧是由图像处理器102为 第二图像流Fs 2恢复的以为第二图像流Fs2提供增加的帧速率的附加帧的例子。 第二图像流Fs2中的两个连续现有帧对应于第一图像流FSl中的R+1个连续现有 帧，从而第一图像流F Sl中的第N现有帧对应于第二图像流中的第Μ现有帧，并且第一图像 流中的第（N+R)现有帧对应于第二图像流中的第（Μ+1)现有帧。如此，对于在该例子中的 第一图像流中的每R+1个连续现有帧，在第二图像序列中仅有两个连续现有帧。 本文档来自技高网...
【技术保护点】
一种方法，包括：获得具有第一帧速率的第一图像流和具有比所述第一帧速率低的第二帧速率的第二图像流；基于所述第一图像流和第二图像流的现有帧为所述第二图像流恢复附加帧；以及使用所述附加帧来为所述第二图像流提供增加的帧速率；其中在至少一个包括耦接到存储器的处理器的处理设备中执行所述获得、恢复和使用。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：D·V·帕克霍门库，I·L·马祖雷恩库，P·A·阿里塞切克，D·N·巴比恩，D·V·扎伊特塞弗，
申请(专利权)人：LSI公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。