用于广义图像处理的图像预处理制造技术

一种用于将图像数据格式化成图像样本的多个流的示例预处理器电路包括：第一缓冲器(705)，被配置成存储图像数据(802)的多个行(814)并且输出多个行中的一行；第二缓冲器(708)，耦合到第一缓冲器(705)，包括多个存储位置(709)以存储由第一缓冲器(705)输出的行(814)的相应的多个图像样本；多个移位寄存器(712)；互连网络(710)，包括多个连接(718)，每个连接(718)将多个移位寄存器(712)中的相应的一个耦合到多个存储位置(709)中的不止一个存储位置，多个存储位置(709)中的一个或多个耦合到多个连接(718)中的不止一个连接；以及控制电路(714)，被配置成基于多个连接(718)，用该多个图像样本来记载(1608)多个移位寄存器(712)，并且将多个移位寄存器(712)移位(1616)以输出图像样本的多个流。

Image preprocessing for generalized image processing

【技术实现步骤摘要】
【国外来华专利技术】用于广义图像处理的图像预处理
本公开的示例一般涉及计算系统和电子电路，并且特别地涉及用于广义图像处理的图像预处理。
技术介绍
机器学习是使计算系统在没有被明确编程的情况下行动的科学。古典机器学习包括各种聚类和分类技术，包括K-means聚类、线性和逻辑回归、随机梯度下降、关联规则学习等。深度学习是机器学习中一个较新的前沿。深度学习是一类机器学习算法，其使用多层非线性处理单元来进行特征提取和转换。深度学习算法可以是无监督的(例如模式分析)或受监督的(例如分类)。可以使用人工神经网络(ANN)(在本文中称为“神经网络”)的层来实施深度学习算法。通常，神经网络是在图中连接的节点(即“神经元”)的集合。神经网络中的节点计算加权输入的总和，并且向总和添加可选的偏差。节点的输出是最终总和的函数(被称为“激活函数”)。示例激活函数包括sigmoid函数、双曲正切(tanh)函数、整流线性单元(ReLU)函数和恒等函数。神经网络模型通常被组织成节点的层，这些层定义了特定的拓扑以及对应的权重和偏差。权重和偏差被称为网络参数。通常，神经网络包括输入层和输出层，并且可以可选地包括在输入层和输出层之间的一个或多个隐藏层。深度学习应用中使用的神经网络通常包括许多隐藏层，这引出了术语深度神经网络(DNN)。神经网络的多个层可以紧密连接(例如，一个层中的每个节点完全连接到之前的层中的所有节点)，或者可以稀疏连接(例如，一个层中的每个节点仅连接到之前层中的节点的一部分)。卷积神经网络(CNN)是一种类型的DNN，其包括一个或多个稀疏连接的层，被称为卷积层。CNN非常适合处理图像或视频数据。其他类型的DNN包括递归神经网络(RNN)，其非常适合处理语音和文本数据。可以使用多种技术来执行卷积运算，这些技术通常受到使用大量数字信号处理器(DSP)的能力、片上缓冲器的要求和/或数据访问模式的限制。一个示例卷积技术创建了样本的移位寄存器，该样本被馈送到DSP阵列中。在不能使用跨度或扩张的卷积(其中卷积窗口跳过了输入图像中的列和行)方面，该技术受到限制。这是由于使用移位寄存器来按顺序循环通过样本与略过或跳过输入图像中样本的跨度或扩张之间的冲突所致。因此，期望提供一种改进的架构以计算并行广义卷积。
技术实现思路
描述了用于图像预处理的技术。在一个示例中，一种用于将图像数据格式化成图像样本的多个流的预处理器电路包括：第一缓冲器，被配置成存储图像数据的多个行并且输出多个行中的一行；第二缓冲器，耦合到第一缓冲器，包括多个存储位置，以存储由第一缓冲器输出的行的相应的多个图像样本；多个移位寄存器；互连网络，包括多个连接，每个连接将多个移位寄存器中的相应的一个耦合到多个存储位置中的不止一个存储位置，多个存储位置中的一个或多个耦合到多个连接中的不止一个连接；以及控制电路，被配置成基于多个连接，用多个图像样本来加载多个移位寄存器，并且将多个移位寄存器移位以输出图像样本的多个流。在一些实施例中，多个连接可以是多个第一连接。互连网络可以包括多个多路复用器。每个多路复用器可以包括耦合到多个第一连接中的相应的一个的第一输入，并且包括耦合到多个移位寄存器中的相应的一个的输出。在一些实施例中，互连网络可以包括多个第二连接。每个第二连接可以将多个存储位置中的不止一个存储位置耦合到多个多路复用器中的相应的一个的第二输入。多个存储位置中的一个或多个存储位置可以耦合到多个第二连接中的不止一个第二连接。在一些实施例中，控制电路可以被配置成：设置互连网络的模式，以控制多个多路复用器来选择多个第一连接或多个第二连接中的一个。在一些实施例中，每个连接可以将多个移位寄存器中的相应的一个耦合到多个存储位置的不同模式。在一些实施例中，通过多个连接中的第一连接耦合到多个移位寄存器中的第一移位寄存器的多个存储位置的模式，可以与通过多个连接中的第二连接耦合到多个移位寄存器中的第二移位寄存器的多个存储位置的模式重叠。在一些实施例中，可以通过图像数据和滤波器之间的卷积的参数来定义多个存储位置的不同模式，该参数包括滤波器的宽度、水平跨度和水平扩张。在另一示例中，一种集成电路(IC)包括：存储器控制器，被配置成访问其中存储有图像数据的存储器；耦合到该存储控制器的图像预处理器，被配置成获取图像数据并从图像数据生成图像样本的多个流；以及耦合到图像预处理器的处理器，被配置成处理图像样本的多个流。图像预处理器包括：第一缓冲器，被配置成存储图像数据的多个行并且输出多个行中的一行；第二缓冲器，耦合到第一缓冲器，包括多个存储位置，以存储由第一缓冲器输出的行的相应的多个图像样本；多个移位寄存器；互连网络，包括多个连接，每个连接将多个移位寄存器中的相应的一个耦合到多个存储位置中的不止一个存储位置，多个存储位置中的一个或多个耦合到多个连接中的不止一个连接；以及控制电路，被配置成基于多个连接，用多个图像样本加载多个移位寄存器，并且将多个移位寄存器移位以输出图像样本的多个流。在一些实施例中，多个连接可以是多个第一连接。互连网络可以包括多个多路复用器。每个多路复用器可以包括耦合到多个第一连接中的相应的一个的第一输入，并且包括耦合到多个移位寄存器中的相应的一个的输出。在一些实施例中，互连网络可以包括多个第二连接。每个第二连接可以将多个存储位置中的不止一个存储位置耦合到多个多路复用器中的相应的一个的第二输入。多个存储位置中的一个或多个存储位置可以耦合到多个第二连接中的不止一个第二连接。在一些实施例中，控制电路可以被配置成：设置互连网络的模式，以控制多个多路复用器来选择多个第一连接或多个第二连接中的一个。在一些实施例中，每个连接可以将多个移位寄存器中的相应的一个耦合到多个存储位置的不同模式。在一些实施例中，通过多个连接中的第一连接耦合到多个移位寄存器中的第一移位寄存器的多个存储位置的模式，可以与通过多个连接中的第二连接耦合到多个移位寄存器中的第二移位寄存器的多个存储位置的模式重叠。在一些实施例中，可以通过图像数据和滤波器之间的卷积的参数来定义多个存储位置的不同模式，该参数包括滤波器的宽度、水平跨度和水平扩张。在一些实施例中，处理器可以是数据处理单元的脉动阵列。在另一示例中，一种将图像数据格式化成图像样本的多个流的方法包括：将图像数据的多个行和多个行中的输出行存储在第一缓冲器中；将由第一缓冲器输出的行的相应的多个图像样本存储在具有多个存储位置的第二缓冲器中；基于互连网络的多个连接，用多个图像样本加载多个移位寄存器，每个连接将多个移位寄存器中的相应的一个耦合到多个存储位置中的不止一个存储位置，多个存储位置中的一个或多个存储位置耦合到多个连接中的不止一个连接；以及将多个移位寄存器移位以输出图像样本的多个流。在一些实施例中，每个连接可以将多个移位寄存器中的相应的一个耦合到多个存储位置的不同模式。在一些实施例中，可以通过图像数据和滤波器之间的卷积的参数来定义多个存储位置的不同模式，该参数包括滤波器的宽度、水平跨度和水平扩本文档来自技高网...

【技术保护点】
1.一种用于将图像数据格式化成图像样本的多个流的预处理器电路，所述预处理器电路包括：/n第一缓冲器，被配置成存储所述图像数据的多个行并且输出所述多个行中的一行；/n第二缓冲器，耦合到所述第一缓冲器，包括多个存储位置，以存储由所述第一缓冲器输出的所述行的相应的多个图像样本；/n多个移位寄存器；/n互连网络，包括多个连接，每个连接将所述多个移位寄存器中的相应的一个移动寄存器耦合到所述多个存储位置中的不止一个存储位置，所述多个存储位置中的一个或多个耦合到所述多个连接中的不止一个连接；以及/n控制电路，被配置成基于所述多个连接，用所述多个图像样本来加载所述多个移位寄存器，并且将所述多个移位寄存器移位以输出所述图像样本的多个流。/n

【技术特征摘要】
【国外来华专利技术】20171017 US 15/786,2671.一种用于将图像数据格式化成图像样本的多个流的预处理器电路，所述预处理器电路包括：
第一缓冲器，被配置成存储所述图像数据的多个行并且输出所述多个行中的一行；
第二缓冲器，耦合到所述第一缓冲器，包括多个存储位置，以存储由所述第一缓冲器输出的所述行的相应的多个图像样本；
多个移位寄存器；
互连网络，包括多个连接，每个连接将所述多个移位寄存器中的相应的一个移动寄存器耦合到所述多个存储位置中的不止一个存储位置，所述多个存储位置中的一个或多个耦合到所述多个连接中的不止一个连接；以及
控制电路，被配置成基于所述多个连接，用所述多个图像样本来加载所述多个移位寄存器，并且将所述多个移位寄存器移位以输出所述图像样本的多个流。


2.根据权利要求1所述的预处理器电路，其中所述多个连接是多个第一连接，其中所述互连网络包括多个多路复用器，其中每个多路复用器包括耦合到所述多个第一连接中的相应的一个连接的第一输入，以及耦合到所述多个移位寄存器中的相应的一个移位寄存器的输出。


3.根据权利要求2所述的预处理器电路，其中所述互连网络包括多个第二连接，每个第二连接将所述多个存储位置中的不止一个存储位置耦合到所述多个多路复用器中的相应的一个多路复用器的第二输入，所述多个存储位置中的一个或多个存储位置耦合到所述多个第二连接中的不止一个第二连接。


4.根据权利要求3所述的预处理器电路，其中所述控制电路被配置成：设置所述互连网络的模式，以控制所述多个多路复用器来选择所述多个第一连接或所述多个第二连接中的一个。


5.根据权利要求1所述的预处理器电路，其中每个连接将所述多个移位寄存器中的所述相应的一个移位寄存器耦合到所述多个存储位置的不同模式。


6.根据权利要求5所述的预处理器电路，其中通过所述多个连接中的第一连接耦合到所述多个移位寄存器中的第一移位寄存器的所述多个存储位置的所述模式，与通过所述多个连接中的第二连接耦合到所述多个移位寄存器中的第二移位寄存器的所述多个存储位置的所述模式重叠。


7.根据...

【专利技术属性】
技术研发人员：E·德拉耶，A·西拉萨奥，A·吴，吴永军，J·泽杰达，
申请(专利权)人：赛灵思公司，
类型：发明
国别省市：美国;US