图像处理流水线中对图像数据的多速率处理制造技术

一种图像处理流水线可以多种速率处理图像数据。可通过图像信号处理器的一个或多个流水线级处理从图像传感器收集的用于图像帧的原始像素数据流。然后可将原始像素数据流转换到全色域中并缩放到小于针对图像帧的初始数据大小的数据大小。可通过一个或多个其他流水线级处理转换的像素数据并输出转换的像素数据以用于存储、进一步处理或显示。在一些实施方案中，后端接口可被实施为图像信号处理器的部分，经由该后端接口可接收从图像传感器之外的源收集的图像数据并通过图像信号处理器处的各流水线级处理该图像数据。

【技术实现步骤摘要】
【国外来华专利技术】图像处理流水线中对图像数据的多速率处理
技术介绍
图像传感器捕获的图像数据通常初始作为图像处理流水线的部分而被处理，以便使捕获的图像数据准备好进一步处理或消耗。通过这种方式，可以进行实时校正或增强而无需消耗其他系统资源。例如，可以对原始图像数据进行校正、过滤或其他方式的修改，以便为诸如视频编码器的后续部件提供经适当缩放的图像数据进行编码和后续显示，减少要在视频编码器处对图像数据执行的后续操作数量。为了为捕获的图像数据实施这些校正或增强，可以使用各种不同的设备、部件、单元或其他模块实施作为图像处理流水线部分而执行的变化的操作。例如，图像信号处理器可以包括多个不同单元或级，可以在多个不同单元或级处对从图像传感器获得的图像数据进行不同的图像修改或增强。考虑到许多不同产品中的图像传感器的普遍性，作为图像处理流水线部分高效地处理图像数据可能在这些产品上释放受约束的资源用于执行额外的任务。
技术实现思路
在一些实施方案中，包括相机或其他能够捕获图像数据的图像传感器的设备、装置或计算系统的图像信号处理器可被配置为以不同速率处理图像数据。一些图像处理流水线级可以初始速率(例如，以每个时钟周期X个像素)处理所捕获图像帧的像素数据流。例如，可在一个或多个流水线级处以初始速率执行各种原始图像数据处理技术。后端图像处理流水线级然后可以降低的速率(例如，以每个时钟周期Y个像素，其中Y<X)处理像素数据流。考虑以上实施例中处理的原始图像数据。可将原始图像数据转换成全色域，缩放到更小图像大小，并通过后端全色流水线级以降低的速率处理。还可包括接口，其允许从存储器获得图像数据并通过后端图像处理流水线级进行处理(即使图像数据不是由相机收集的，像从远程设备或服务器接收的视频)。附图说明图1是逻辑框图，根据一些实施方案示出了示例系统，该系统可以实施在多个速率下处理图像数据的图像处理流水线。图2是逻辑框图，根据一些实施方案示出了系统中的示例数据路径，该系统可以实施在多个速率下处理图像数据的图像处理流水线。图3是逻辑框图，根据一些实施方案示出了示例图像信号处理器。图4是逻辑框图，根据一些实施方案示出了图像信号处理器中的重采样处理级。图5是高级流程图，根据一些实施方案示出了用于在图像处理流水线中以多种速率处理图像数据的各种方法和技术。图6是高级流程图，根据一些实施方案示出了用于处理经由用于图像信号处理器的后端接口接收的图像数据的各种方法和技术。本说明书包括参考“一个实施方案”(“oneembodiment”或“anembodiment”)。出现短语“在一个实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何适当的方式组合。“包括”。该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。考虑列举：“一种包括一个或多个处理器单元的装置……”的权利要求。此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实施操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的(f)款。此外，“被配置为”可包括由软件和/或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实施或执行一项或多项任务的设备(例如，集成电路)。“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。“基于”或“取决于。”如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可以影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他情况下，可仅基于B来确定A。具体实施方式图像信号处理器或其他图像处理流水线可实施很多不同技术或部件以校正或增强图像传感器捕获的图像数据。然而，图像传感器捕获的图像数据不是始终用于相同的目的。例如，图像传感器可以提供图像数据流，以便显示图像传感器可能在更高分辨率静止图像中所捕获的或可能在视频中所记录的内容的预览图。取决于可以处理图像传感器捕获的图像数据所依据的期望效果或格式，处理图像数据的图像处理流水线的不同部分可能被过度利用或利用不足。例如，对于作为更低分辨率视频文件的部分而被记录的由高分辨率图像传感器捕获的图像数据，图像处理流水线的一些部分可能被过度利用(例如，为了针对低分辨率视频缩放图像，处理最终可能被丢弃的完整分辨率图像数据的流水线的那些部分)。在各种实施方案中，图像信号处理器可以在图像处理流水线中以多种速率处理图像数据，以便更有效地利用图像处理流水线的处理能力。例如，在至少一些实施方案中，一个或多个前端流水线级可以在初始速率，诸如每个时钟周期2个像素(ppc)，处理图像数据。通过这种方式，大量图像数据(例如，大的个体图像帧或高速率图像帧，诸如可能在记录慢速运动视频时捕获的)可接收初始处理，以减少或校正可能因为收集和处理图像数据而带来的图像信号噪声、伪影和其他图像缺陷。图像数据然后可在一个或多个后端流水线级被缩小到期望尺寸并以不同速率，诸如1ppc处理，以对图像帧执行其他操作，以便减少图像信号噪声，校正色彩和图像缺陷，以及应用各种特殊效果，从而不对可能丢弃的图像数据进行处理。在至少一些实施方案中，通过前端流水线级捕获和处理的图像数据可以原始或全色格式被存储到存储器，而图像数据的缩放版本可继续通过图像处理流水线的后端流水线级被处理。通过这种方式，经过某种图像处理的图像帧的高分辨率版本可被捕获，同时对图像帧的低分辨率版本继续处理(例如，捕获也在低分辨率视频中记录的高分辨率静止图像帧)。在至少一些实施方案中，可以实施后端接口允许通过图像处理流水线的后端流水线级处理从不同于图像传感器的源收集的图像数据。例如，在实施图像处理流水线的设备(例如，移动计算设备)处从远程设备(例如，内容提供方的内容服务器，诸如基于网络的视频服务)接收的图像数据可经由后端接口被接收并通过后端流水线级被处理，以便执行操作，以减少图像信号噪声，校正色彩和图像缺陷，或应用各种特殊效果。通过这种方式，可以利用图像处理流水线的专用图像处理部件为从很多其他源接收的图像数据高效地执行图像处理。可以根据采用它们的示例系统进一步例示本文描述的用于在图像处理流水线中以多种速率处理图像数据的技术本文档来自技高网...

【技术保护点】
一种装置，包括：图像信号处理器，所述图像信号处理器包括：一个或多个前端流水线级，所述一个或多个前端流水线级以每时钟周期像素数的初始速率处理像素；缩放器；以及一个或多个后端流水线级，所述一个或多个后端流水线级以小于所述每时钟周期像素数的初始速率的每时钟周期像素数的不同速率处理像素，其中所述一个或多个后端流水线级在所述一个或多个前端流水线级之后处理所述像素；所述图像信号处理器被配置为：根据针对图像帧的初始数据大小接收在图像传感器处收集的像素数据流；通过所述图像信号处理器的所述一个或多个前端流水线级处理所述像素数据流；由所述缩放器将所述像素数据流缩放到小于所述像素数据流的所述初始数据大小的数据大小；通过所述一个或多个后端流水线级处理经缩放的像素数据流；以及提供通过所述一个或多个后端流水线级处理的经缩放的像素数据流以用于显示所述图像帧。

【技术特征摘要】
【国外来华专利技术】2015.08.26 US 14/836,9151.一种装置，包括：图像信号处理器，所述图像信号处理器包括：一个或多个前端流水线级，所述一个或多个前端流水线级以每时钟周期像素数的初始速率处理像素；缩放器；以及一个或多个后端流水线级，所述一个或多个后端流水线级以小于所述每时钟周期像素数的初始速率的每时钟周期像素数的不同速率处理像素，其中所述一个或多个后端流水线级在所述一个或多个前端流水线级之后处理所述像素；所述图像信号处理器被配置为：根据针对图像帧的初始数据大小接收在图像传感器处收集的像素数据流；通过所述图像信号处理器的所述一个或多个前端流水线级处理所述像素数据流；由所述缩放器将所述像素数据流缩放到小于所述像素数据流的所述初始数据大小的数据大小；通过所述一个或多个后端流水线级处理经缩放的像素数据流；以及提供通过所述一个或多个后端流水线级处理的经缩放的像素数据流以用于显示所述图像帧。2.根据权利要求1所述的装置，其中所述图像信号处理器被进一步配置为向存储器写入通过所述一个或多个前端流水线级处理的所述像素数据流，使得根据所述初始数据大小向所述存储器写入所述图像帧。3.根据权利要求1所述的装置，其中所述图像信号处理器还包括去马赛克单元；其中在所述图像传感器处收集的所述像素数据流是原始像素数据；其中所述图像信号处理器被进一步配置为：由所述去马赛克单元将通过所述一个或多个前端流水线级处理的所述像素数据流转换到全色域中，其中经转换的像素数据流包括亮度分量和一个或多个色度分量；以及由所述缩放器对经转换的像素数据流重采样以减少所述一个或多个色度分量而不减少所述亮度分量；以及将重采样的像素数据流写入到存储器。4.根据权利要求3所述的装置，其中所述图像信号处理器被进一步配置为：访问所述存储器以获得所述重采样的像素数据流；转换所述重采样的像素数据流以增加所述一个或多个色度分量；以及通过所述一个或多个后端流水线级处理具有增加的所述一个或多个色度分量的重采样的像素数据流。5.根据权利要求1所述的装置，其中所述图像信号处理器还包括用于所述一个或多个后端流水线级的图像处理接口，其中所述一个或多个后端流水线级根据特定色彩格式处理像素；其中所述图像信号处理器被进一步配置为：经由所述图像处理接口以不同于所述特定色彩格式的色彩格式接收其他像素数据流；由所述图像处理接口将所述其他像素数据流转换成所述特定色彩格式；以及通过所述一个或多个后端流水线级处理被转换成所述特定格式的所述其他像素数据流。6.根据权利要求5所述的装置，其中所述装置包括所述图像传感器，并且其中所述其他像素数据流不在所述图像传感器处收集。7.根据权利要求1所述的装置，其中所述装置包括移动计算设备。8.一种方法，包括：在图像信号处理器处接收根据初始数据大小为图像帧收集的像素数据流；由所述图像信号处理器通过所述图像信号处理器中以每个时钟周期像素数的初始速率处理像素的一个或多个前端流水线级处理所述像素数据流；由所述图像信号处理器将所述像素数据流缩放到小于所述初始数据大小的不同数据大小；通过所述图像信号处理器处以每个时钟周期像素数的不同速率处理像素的一个或多个后端流水线级处理经缩放的像素数据流，其中每个时钟周期像素数的所述不同速率小于每个时钟周期像素数的所述初始速率；以及提供通过所述一个或多个后端流水线级处理的经缩放的像素数据流以用于显示所述图像帧。9.根据权利要求8所述的方法，还包括由所述图像信号处理器将通过所述一个或...

【专利技术属性】
技术研发人员：林石焕，C·L·米尔斯，D·A·西尔弗斯坦，D·R·波普，林昇，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US