用于图像生成器的数据片生成器制造技术

本文描述了一种数据片生成器电路。所述数据片生成器包括电子电路以从图像数据帧接收包括多行数据的图像数据的线组。所述多行在数量上足以包含多个相邻的重叠模版。所述电子电路将所述线组解析成较小尺寸的数据片。所述电子电路将所述数据片加载到具有被耦合至处理器阵列的二维移位阵列结构的数据计算单元中。

A data sheet generator for image generator

In this paper, a circuit of a data chip generator is described. The data sheet generator includes electronic circuit to receive image data including a plurality of rows of data from the quad image data frame. The plurality of rows is sufficient in quantity to contain a plurality of adjacent overlapped templates. The electronic circuit of the group into smaller pieces of data analysis. The electronic circuit loads the data sheet into a data calculation unit with a two-dimensional shift array structure coupled to the processor array.

【技术实现步骤摘要】
【国外来华专利技术】用于图像生成器的数据片生成器
本专利技术的领域一般涉及图像处理，特别涉及用于图像生成器的数据片生成器。
技术介绍
图像处理通常涉及对组织成阵列的像素值的处理。在此，经空间组织的二维阵列捕捉图像的二维性质(另外的维度可以包括时间(例如，二维图像的序列)和数据类型(例如，色彩)。在典型情景下，排列的像素值由已经生成静态图像或者帧序列的相机提供，以捕捉运动的图像。传统的图像处理器通常会落入两种极端之一。第一种极端作为在通用处理器或者通用类处理器(例如，具有向量指令增强的通用处理器)上执行的软件程序执行图像处理任务。尽管第一种极端通常提供高度通用的应用软件开发平台，但其结合相关开销(例如，指令提取和解码、处理片上和片外数据、推测执行)使用更细粒度的数据结构会最终导致在执行程序代码期间每单位数据消耗的能量较多。第二种相反的极端将固定功能的硬布线电路应用于大得多的数据块。使用更大的(相对于更细粒度的)数据块直接应用于定制设计的电路，大大降低每单位数据的功耗。然而，使用定制设计的固定功能电路通常会导致处理器只能执行一组有限的任务。这样，在第二种极端中缺乏广泛通用的编程环境(其与第一极端相关联)。提供高度通用的应用软件开发机会结合改进的每单位数据的功率效率的技术平台仍是理想但缺失的解决方案。
技术实现思路
描述一种数据片生成器电路。数据片生成器包括电子电路用于从图像数据帧接收包括多行数据的图像数据的线组。所述多行在数量上足以包含多个相邻的重叠模版。电子电路将线组解析为较小尺寸的数据片。电子电路把数据片加载到具有被耦合至处理器阵列的二维移位阵列结构的数据计算单元中。描述一种设备，该设备具有用于从图像数据的帧接收包括多行数据的图像数据的线组的装置。所述多行在数量上足以包含多个相邻的重叠模版。所述设备还包含用于把线组解析成较小尺寸的数据片的装置。该设备还包括用于把数据片加载到被耦合到处理器的阵列的二维移位阵列结构的装置。该设备还包括用于在处理器的阵列上执行程序代码以在所述数据片上处理多个邻近的重叠模板的装置。附图说明以下描述和附图用于说明本专利技术的实施例。在图中：图1示出图像处理器硬件架构的实施例；图2a、图2b、图2c、图2d和图2e描绘出通过重叠模板将图像数据解析成线群、将线群解析成数据片以及对数据片执行操作；图3a示出模板处理器的实施例；图3b示出模板处理器的指令字的实施例；图4示出模板处理器内的数据计算单元的实施例；图5a、图5b、图5c、图5d、图5e、图5f、图5g、图5h、图5i、图5j和图5k描绘出通过重叠模板使用二维移位阵列和执行道阵列来确定一对相邻输出像素值的示例；图6示出用于集成的执行道阵列和二维移位阵列的单位胞元的实施例；图7涉及由数据片生成器执行的第一操作；图8涉及由数据片生成器执行的第二操作；图9涉及由数据片生成器执行的第三操作；图10涉及由数据片生成器执行的第四操作；图11涉及由数据片生成器执行的第五操作；图12涉及由数据片生成器执行的第六操作；图13示出数据片生成器的实施例；图14示出计算系统的实施例。具体实施方式a.图像处理器硬件架构和操作图1示出用于以硬件实现的图像处理器的架构100的实施例。图像处理器可以例如作为编译器的目标，该编译器将为模拟环境内的虚拟处理器编写的程序代码转换成由硬件处理器实际执行的程序代码。如图1所示，架构100包括多个线缓存器单元101_1至101_M，线缓存器单元101_1至101_M通过网络104(例如，片上网络(NOC)，包括片上交换网络、片上环形网络或者其他类型的网络)互连到多个模版处理器单元102_1至102_N和对应的数据片生成器单元103_1至103_N。在一个实施例中，任何线缓存器单元都可以通过网络104连接到任何数据片生成器和对应的模板处理器。在一个实施例中，程序代码被编译并加载到对应的模板处理器102上以执行由软件开发者早先定义的图像处理操作(程序代码也可以被加载到模板处理器的相关数据片生成器103上，例如，这取决于设计和实现)。在至少一些实例中，图像处理流水线可以通过将用于第一流水线级的第一内核程序加载到第一模板处理器102_1中、将用于第二流水线级的第二内核程序加载到第二模板处理器102_2中等来实现，其中第一内核执行流水线的第一级的功能，第二内核执行流水线的第二级的功能等，并且安装附加的控制流方法，以将输出图像数据从流水线的一级转换到流水线的下一级。在其他配置中，图像处理器可以被实现为具有操作相同内核程序代码的两个或两个以上模板处理器102_1、102_2的并行机。例如，图像数据的高密度和高数据速率流可以通过跨其中每个均执行相同功能的多个模板处理器扩展帧来处理。在又一些其他配置中，基本上内核的任何DAG都可以被加载到硬件处理器上，这是通过在DAG设计中，配置具有其各自的相应程序代码内核的相应模板处理器，以及将适当的控制流钩子配置到硬件中以将输出图像从一个内核引导到下一个内核的输入。作为一般流程，图像数据的帧由宏I/O单元105接收并且逐帧传送到线缓存器单元101中的一个或多个。特定的线缓存器单元将其图像数据的帧解析成图像数据的更小区域，称作“线群(linegroup)”，然后通过网络104将线群传送到特定的数据片生成器。完整或“完全”的单线群可以例如由一帧的多个连续完整的行或列的数据组成(简明起见，本说明书主要是指连续的行)。数据片生成器进一步将图像数据的线群解析成图像数据的更小区域，称作“数据片(sheet)”，并且将数据片提供给其对应的模板处理器。在具有单个输入的图像处理流水线或者DAG流的情况下，通常，输入帧被引导至相同的线缓存器单元101_1，该线缓存器单元将图像数据解析成线群并且将线群引导到数据片生成器103_1，其对应的模板处理器102_1正执行流水线/DAG中的第一内核的代码。在模板处理器102_1对其处理的线群完成操作后，数据片生成器103_1将输出线群发送到“下游”的线缓存器单元101_2(在某些用例中，输出线群可以被发回到早先已发送输入线群的相同线缓存器单元101_1)。然后，一个或多个“消费者”内核从下游的线缓存器单元101_2接收由第一模板处理器102_1生成的图像数据，“消费者”表示在各自其他数据片生成器和模板处理器(例如，数据片生成器103_2和模板处理器102_2)上执行的流水线/DAG中的下一级/操作。通过这种方式，在第一模板处理器上运行的“生产者”内核将其输出数据转发到在第二模板处理器上运行的“消费者”内核，其中消费者内核在生产者内核之后执行下一组任务，这与总体流水线或DAG的设计相符。模板处理器102被设计成同时对图像数据的多个重叠模板(stencil)进行操作。模板处理器的多个重叠模板和内部硬件处理能力有效地确定数据片的尺寸。在此，在模板处理器102内，执行道的阵列操作一致使得同时处理被多个重叠模板覆盖的图像数据表面区域。如下详述，在各种实施例中，图像数据的数据片被加载到模板处理器102内的二维寄存器阵列结构中。使用数据片和二维寄存器阵列结构被认为有效地提供功耗改善，这是通过将大量数据移入大量寄存器空间，例如，作为单个加载操作，紧随其后，由执行道阵列直接对数据执行处理任务。此外，使用执行道阵列和对本文档来自技高网...

【技术保护点】
一种方法，包括：从图像数据帧接收包括多行数据的图像数据的线组，所述多行在数量上足以包含多个相邻的重叠模版；把所述线组解析成较小尺寸的数据片；把所述数据片加载到被耦合至处理器阵列的二维移位阵列结构；以及在所述处理器阵列上执行程序代码，使得在所述数据片上处理所述多个相邻的重叠模版。

【技术特征摘要】
【国外来华专利技术】2015.04.23 US 14/694,8061.一种方法，包括：从图像数据帧接收包括多行数据的图像数据的线组，所述多行在数量上足以包含多个相邻的重叠模版；把所述线组解析成较小尺寸的数据片；把所述数据片加载到被耦合至处理器阵列的二维移位阵列结构；以及在所述处理器阵列上执行程序代码，使得在所述数据片上处理所述多个相邻的重叠模版。2.根据权利要求1所述的方法，其中所述相邻的重叠模版沿水平方向和垂直方向两者延伸。3.根据权利要求1所述的方法，还包括：解析来自不只一个通道的线组；解析来自不只一个通道的不只一个数据片以根据不同通道产生至少两个数据片；把所述至少两个数据片加载到所述二维移位阵列结构；在所述处理器阵列上执行程序代码，从而在所述至少两个数据片上同时地处理所述多个相邻的重叠模版。4.根据权利要求1所述的方法，还包括：解析线组，该线组的帧被结构化成阵列，该阵列在所述帧的阵列位置具有多维特征；把所述线组解析成多个数据片，使得对所述特征的不同维度中的每一维度都存在不同的数据片。5.根据权利要求1所述的方法，其中所述寄存器阵列包括第一位宽小于第二位宽的寄存器，所述处理器能够在所述寄存器处理数据，所述方法还包括：接收数据值具有第二位宽的线组；根据该线组产生第一和第二数据片，所述第一数据片具有第一大小的值并且包含所述数据值的上部分，所述第二数据片具有第一大小的值并且包含所述数据值的下部分；把所述第一和第二数据片加载到所述移位寄存器阵列中；利用所述处理器阵列同时处理所述第一和第二数据片从而以所述第二位宽处理数据。6.根据权利要求1所述的方法，其中所述方法还包括通过在所述数据片上的相应位置多次复制来自所述线组的位置的数据值而实现上采样。7.根据权利要求1所述的方法，其中所述方法还包括通过根据所述数据片产生第二数据片实现下采样，所述第二数据片的像素值密度小于所述数据片的像素值密度，其中当比较被映射至所述数据片和所述第二数据片的所述线组的内容时，没有数据损失。8.根据权利要求1所述的方法，其中所述方法还包括：确认较之所述数据片在所述模版上处理需要更多图像表面；解析来自所述线组的与所述数据片相邻的至少一个更多数据片；以及把所述至少一个更多数据片加载到耦合至所述处理器的存储空间。9.根据权利要求8所述的方法，其中所述存储空间是所述二维移位阵列。10.根据权利要求1所述的方法，其中所述方法还包括通过在处理器和/或控制器上执行程序代码而执行所述解析。11.一种含有程序代码的机器可读存储介质，当所述程序代码被处理器和/或控制器执行时引起执行方法，所述方法包括：从图像数据帧接收包括多行数据的图像数据的线组，所述多行在数量上足以包含多个相邻的重叠模版；把所述线组解析为较小尺寸的数据片；把所述数据片加载到被耦合至处理器阵列的二维移位阵列结构；以及在所述处理器阵列上执行程序代码，使得在所述数据片上处理所述多个相邻的重叠模版。12.根据权利要求11所述的机器可读存储介质，其中所述相邻的重叠模版沿水平方向和垂直方向两者延伸。13.根据权利要求11所述的机器可读存储介质，还包括：解析来自不只一个通道的线组；解析来自不只一个通道的不只一个数据片以根据不同通道产生至少两个数据片；把所述至少两个数据片加载到所述二维移位...

【专利技术属性】
技术研发人员：阿尔伯特·迈克斯纳，杰森·鲁珀特·莱德格雷夫，奥弗尔·莎查姆，朱秋玲，丹尼尔·弗雷德里克·芬舍尔施泰因，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国,US