实时视频帧预处理硬件制造技术

一种动态可重配置异质脉动阵列被配置成处理第一图像帧，从该图像帧产生图像处理基元，以及在存储器存储装置中存储该基元和相应图像帧。确定图像帧的特性。基于该特性，将该阵列重配置成处理后续图像帧。

【技术实现步骤摘要】
【国外来华专利技术】实时视频帧预处理硬件优先权本申请权利要求于2010年12月2日提交的美国专利申请序列号12/959,281和2010年7月7日提交的美国临时专利申请序列号61/362,247的优先权。
技术介绍
在通过数字成像系统内的图像传感器获取图像之后，典型地在设备上显示或存储之前，对图像进行处理。图1中示出了典型的图像处理链或图像处理管线或IPP。图1中示出的示例IPP包括曝光和白平衡模块2、去马赛克块、颜色校正块6、伽玛校正块8、颜色转换块10和下采样模块12。当希望实现实时视频成像系统时，通常在使用这种IIPP时存在明显的约束，因为图像数据典型地在IPP的每一级上从存储器读取且然后在一些操作之后被写回。对于HD视频，存储器带宽经受巨大挑战。因而，希望在视频获取设备的硬件实施例中直接实现IPP的元件。这将是有利的：IPP的元件避免了在每一级处理之后向存储器写入图像数据以及读回用于每个后续IPP操作的数据的挑战。然而，它暗示着在IPP的每一级应用的方法将具有较差适应性，因为整个IPP链将在从单个图像帧输入数据之前配置。与用在图1的一些示例块所示出的基本IPP可以提供的图像和场景分析相比，现代数字静态照相机(DSC)实现了更复杂的图像和场景分析。具体而言，图像获取设备可以检测且跟踪图像场景中的面部区域(见美国专利7,620,218、7,460,695、7,403,643、7,466,866和7,315,631以及美国公布的申请序列号2009/0263022、2010/0026833、2008/0013798、2009/0080713、2009/0196466和2009/0303342以及美国序列号12/374,040和12/572,930，它们全都转让给相同的受让人且此处通过引用而结合于此)，且这些设备可以分析和检测这些区域中的瑕疵和缺陷并动态地(onthefly)校正这些疵点(见上面的专利以及此处通过引用而结合的美国专利7,565,030和美国专利公布申请序列号2009/0179998)。诸如灰尘瑕疵或“小瑕疵”之类的全局缺陷可以被检测和校正(例如见美国专利序列号12/710,271和12/558,227以及美国专利7,206,461、7,702,236、7,295,233和7,551,800，它们全都转让给相同的受让人且此处通过引用结合于此)。可以应用面部增强。可以确定并补偿图像模糊和图像移动、平移和旋转(例如见此处通过引用而结合的7,660,478和美国专利公布申请序列号2009/0303343、2007/0296833、2008/0309769、2008/0231713和2007/0269108以及WO/2008/131438)。面部区域可以被识别且与已知人相关联(例如见此处通过引用而结合的美国专利7,567,068、7,515,740和7,715,597和US2010/0066822、US2008/0219517和US2009/0238419以及美国专利序列号12/437,464)。所有这些技术和其他技术(例如见美国专利6,407,777、7,587,085、7,599,577、7,469,071、7,336,821、7,606,417和2009/0273685、2007/0201725、2008/0292193、2008/0175481、2008/0309770、2009/0167893、2009/0080796、2009/0189998、2009/0189997、2009/0185753、2009/0244296、2009/0190803、2009/0179999以及美国专利申请序列号12/636,647，它们全都转让给相同的受让人且此处通过引用而结合于此)依赖于对图像场景的分析。典型地，这涉及从存储器存储装置(memorystore)读取图像数据块且接着是该数据的各种处理阶段。中间数据结构可以临时存储在图像存储装置中以方便每个场景分析算法。在一些情况中，这些数据专用于单个算法，而在其他情况中，数据结构可以在若干不同场景分析算法上保持。在这些情况中，图像数据在图像存储器存储装置和CPU之间移动以执行各种图像处理操作。在应用多个算法的情况中，图像数据典型地被读取若干次，以针对每个图像执行不同的图像和场景处理操作。对于大多数上述技术而言，分析可以涉及先前图像流，该先前图像流是通过大多数数码相机捕获的相对低分辨率的流且用于在照相机显示器上提供实时显示。因而，为了适当地分析主图像场景，使得基本相同的场景的至少两个图像可用是有用的。在一个或多个先前图像也被存储的情况中，在许多时候还典型地存在与主获取(全分辨率)图像的组合的读取。另外，处理可能涉及临时存储预览图像的未采样拷贝或主获取图像的下采样拷贝，以便于各种场景分析算法。在数字照相机内，图像典型地被分别获取且在用于场景分析的图像获取和各个图像的后处理之间有典型地一秒或更多秒量级的基本时间间隔可用。即使在时间十分靠近地获取多个图像的情况中，例如，在专业DSC的突发模式中，由于受限的存储器，可以获取有限数目的图像。再者，这些图像不能在突发获取期间被处理，而是通常一直等待直到它在可以实现更复杂的基于场景的处理之前完成。在现代视频设备中，数据通常以30fps或更快的帧速率处理，且由于存储器约束，数据被数字压缩且被或快或慢地立即写入到长期存储器存储装置。再者，在DSC的情况中，低分辨率预览流一般不可用。最后，处理全HD视频流的需求暗示着存储器带宽在这种设备中是挑战性的。为了获得诸如目前在用于HD视频获取设备的DSC内可用的现代场景分析技术的益处，我们因而可以意识到若干关键挑战。首先，难以在视频帧获取之间可用的时间内存储和执行关于完整HD的复杂场景分析。这并不简单地是CPU功率的问题，而更重要的可能是数据带宽的问题。完整HD图像的大小暗示着简单地通过IPP移动这种图像且移动到长期存储装置上的视频压缩单元是十分挑战性的。尽管通过向IPP添加硬件可以实现一些有限的场景分析，但是这将很可能涉及在开始视频流的实时获取之前固定的很多设置和配置，这使得它们将并不响应于进行的场景分析而动态调适。其次，没有余地来在场景分析算法之间共享图像处理数据基元(primative)而不向IPP引入极大的共享存储器缓冲器。这将导致不合理且有效模仿单个IC内(图2中示出)的现有技术的硬件设计需求。图2示出用于实现IPP和软件中的其他高级功能的常规硬件。存储器14被示出为包括图像和数据缓存器16以及长期数据存储装置18。缓存器16可以存储原始数据20、RGB格式化数据22和RGB处理数据24，而长期数据存储装置18可以保存MPEG图像26和/或JPEG图像28。传感器32向存储器14和IPP34通信传送原始数据。IPP34还从存储器14接收数据。IPP34还向存储器14、16提供RGB数据22。RGB数据22、24也被CPU36检索，该CPU36向存储器14提供已处理RGB数据24，且向译码模块38提供RGB数据22。译码模块38向存储器14、18提供数据且从存储器14、18检索数据。译码模块还提供例如将在LCD/TFT显示器40上显示的数据。由于各种实际原因，这不提供最佳图像处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.07.07 US 61/362,247;2010.12.02 US 12/959,2811.一种动态可重配置异质脉动阵列，被配置成：在动态可重配置异质脉动阵列中，处理第一图像帧，以从所述第一图像帧产生多个图像处理基元，其中所述多个图像处理基元包括至少一个图像图；将所述多个图像处理基元和所述第一图像帧存储在存储器存储装置中；至少部分基于所述多个图像处理基元，确定所述第一图像帧的一个或多个特性；基于针对所述第一图像帧确定的所述一个或多个特性，重配置所述动态可重配置异质脉动阵列；以及使用重配置的所述动态可重配置异质脉动阵列，基于所述一个或多个特性来处理第二图像帧。2.根据权利要求1所述的动态可重配置异质脉动阵列，其中确定所述第一图像帧的一个或多个特性是在所述脉动阵列的外部执行的。3.根据权利要求1所述的动态可重配置异质脉动阵列，其中所述第一图像帧和所述第二图像帧是视频帧。4.根据权利要求3所述的动态可重配置异质脉动阵列，其中所述多个图像处理基元中的图像处理基元是通过识别所述第一图像帧的子区域且从所述子区域产生该图像处理基元而生成的。5.根据权利要求3所述的动态可重配置异质脉动阵列，其中所述动态可重配置异质脉动阵列可重配置为接收所述图像帧的格式化图像数据且基于所述图像数据提供场景处理基元。6.一种图像获取和处理设备，包括：处理器；用于获取数字图像帧的透镜和图像传感器；动态可重配置异质脉动阵列，被配置成：在动态可重配置异质脉动阵列中，处理第一图像帧，以从所述第一图像帧产生多个图像处理基元，其中所述多个图像处理基元包括至少一个图像图；将所述多个图像处理基元和所述第一图像帧存储在存储器存储装置中；至少部分基于所述多个图像处理基元，确定所述第一图像帧的一个或多个特性；基于针对所述第一图像...

【专利技术属性】
技术研发人员：P·比吉奥伊，C·弗洛雷亚，P·科尔科朗，
申请(专利权)人：数字光学欧洲有限公司，
类型：
国别省市：