用于图像处理的装置制造方法及图纸

本申请提供一种用于图像处理的装置，该装置包括：第一物理计算单元，用于接收图像传感器输出的多个第一模拟信号，并对该多个第一模拟信号进行卷积运算，以得到第二模拟信号，该多个第一模拟信号与待识别图像的多个像素数据一一对应，其中，第一物理计算单元由至少一个乘法电路阵列和至少一个减法电路组成，该至少一个乘法电路阵列与该至少一个减法电路一一对应，每个乘法电路阵列中的乘法电路由差分对管构成，每个乘法电路阵列通过该多个乘法电路和所对应的减法电路实现对该多个第一模拟信号的卷积运算，其中，每个乘法电路阵列中包括的多个差分对管的差模输入电压作为该乘法电路阵列进行卷积运算的卷积核，该至少一个乘法电路阵列的卷积核互异。

Device for image processing

The present application provides an apparatus for image processing, comprising a first physical computing unit for receiving a plurality of first analog signals output by an image sensor and convoluting the plurality of first analog signals to obtain a second analog signal, the plurality of first analog signals and a plurality of images to be identified. The pixel data correspond one to one, wherein the first physical computing unit is composed of at least one multiplication circuit array and at least one subtraction circuit, the at least one multiplication circuit array corresponds to the at least one subtraction circuit one to one, and the multiplication circuit in each multiplication circuit array consists of a differential pair transistor, and each multiplication circuit array. The convolution operation of the plurality of first analog signals is realized by the plurality of multiplication circuits and the corresponding subtraction circuits, wherein the differential mode input voltages of the plurality of differential pairs included in each multiplication circuit array are convolution kernels for the convolution operation of the multiplication circuit array, and the convolution kernels of the at least one multiplication circuit array are provided. Different from each other.

【技术实现步骤摘要】
用于图像处理的装置
本申请涉及图像处理领域，并且更具体地，涉及一种用于图像处理的装置。
技术介绍
随着人工智能的发展，机器学习(MachineLearning，ML)相关算法及理论广泛应用到各个领域，并取得令人惊讶的效果。在众多的机器学习算法中，神经网络算法模仿生物神经系统的行为特征对原始信息进行处理，并提取出高维特征，在模式识别领域受到了广泛的关注。自从1957年前馈神经网络——感知机提出以来，经过半个多世纪的发展，神经算法在不同的领域发展出很多不同结构的算法。例如，深度神经网络算法(DeepNeuralNetwork，DNN)、递归神经网络(RecurrentneuralNetwork，RNN)以及卷积神经网路(ConvolutionalNeuralNetwork，CNN)等，它们各自在不同的领域发挥着越来越重要的作用。卷积神经网络算法由于其算法结构更接近于生物视觉系统的网络结构、独特的卷积运算以及良好的分类效果，已逐渐发展成为图像识别领域关注的焦点。不同的学者在不同的图像识别领域发展出了不同结构的CNN网络模型。例如，用于手写字符识别的lenet-5、用于人脸识别的CFF、用于文本识别的convNN等。它们将图片分类的精度推到了传统算法无法达到的高度。随着深度学习训练方法的不断优化改进，CNN网络深度越来越深，网络结构越来越复杂，使得CNN在各种图片分类器上的准确率越来越高。然而，随着CNN识别准确率的不断提升，其运算代价也随之不算增大。传统的运算平台已经无法满足卷积神经网络对于运算速度和功耗的要求。
技术实现思路
本申请提供一种用于图像处理的装置，能够实现卷积神经网络算法在模拟域的加速，并能够满足卷积神经网络对于运算速度和功耗的要求。第一方面，本申请提供一种识别图像的装置，该装置包括：第一物理计算单元，用于接收图像传感器输出的多个第一模拟信号，并对该多个第一模拟信号进行卷积运算，以得到第二模拟信号，该多个第一模拟信号与待识别图像的多个像素数据一一对应，其中，第一物理计算单元由至少一个乘法电路阵列和至少一个减法电路组成，该至少一个乘法电路阵列与该至少一个减法电路一一对应，每个乘法电路阵列中包括多个乘法电路，每个乘法电路由差分对管构成，每个乘法电路阵列通过该多个乘法电路和所对应的减法电路实现对该多个第一模拟信号的卷积运算，其中，每个乘法电路阵列中包括的多个差分对管的差模输入电压作为该乘法电路阵列进行卷积运算的卷积核，该至少一个乘法电路阵列的卷积核互异；识别单元，用于对第二模拟信号进行识别处理，以得到待识别图像的识别结果信息。在一种可能的实现方式中，每个差分对管包括第一金属氧化物半导体MOS管和第二MOS管，第一MOS管和第二MOS管工作在亚阈值区。在一种可能的实现方式中，该减法电路包括两个输入接口和一个输出接口，每个差分对管包括的第一MOS管的漏极作为所对应的乘法电路的第一输出接口，每个差分对管包括的第二MOS管的漏极作为所对应的乘法电路的第二输出接口，该乘法电路阵列中所有乘法电路的第一输出接口连接至该减法电路中的一个输入接口，该乘法单元阵列中的所有乘法电路的第二输出接口连接至该减法电路中的另一个输入接口，以及，该减法电路包括两个P沟道电流镜PMIR和一个N沟道电流镜NMIR，该减法电路的一个输入接口通过该两个PMIR中的一个PMIR连接至该减法电路的输出接口，该减法电路的另一个输入接口通过该两个PMIR中的另一个PMIR和该NMIR连接至该减法电路的输出接口。在一种可能的实现方式中，该装置还包括：第二物理计算单元，用于对该第二模拟信号进行池化运算，得到第三模拟信号，该第二物理计算单元由电流镜电路组成。在一种可能的实现方式中，该第二模拟信号为多个，以及，第二物理计算单元由至少一个电流镜电路组成，该至少一个电流镜电路与该至少一个乘法电路阵列一一对应，每个电流镜电路用于对所对应的乘法电路阵列输出的第二模拟信号作池进行运算。在一种可能的实现方式中，该装置还包括：第三物理计算单元，该第三物理计算单元的输入接口与该第一物理计算单元的输出接口相连接，以对该第二模拟信号进行非线性映射处理，得到第四模拟信号；第四物理计算单元，该第四物理计算单元的输入接口与该第三物理计算单元的输出接口相连接，以对该第四模拟信号进行池化运算，该第四物理计算单元由电流镜电路组成。在一种可能的实现方式中，第三物理计算单元由包括第三MOS管和第四MOS管的电路组成，第三MOS管和第四MOS管工作在亚阈值区。在一种可能的实现方式中，该装置还包括：第五物理计算单元，该第五物理计算单元输入接口与该第二物理计算单元的输出接口相连接，以对该第三模拟信号进行非线性映射处理。在一种可能的实现方式中，第五物理计算单元由包括第五MOS管和第六MOS管的电路组成，第五MOS管和第六MOS管工作在亚阈值区。在一种可能的实现方式中，该池化运算为均值池化。根据本申请实施例提供的用于图像处理的装置，通过按照卷积神经网络的结构组织而成的物理计算单元，实现了在模拟域对图像进行卷积运算、池化运算等相关处理。能够在实现对卷积神经算法加速的同时，满足卷积神经网络对实时性和低功耗的要求。附图说明图1为卷积神经网络的基本架构图。图2为卷积运算过程的示意图。图3为本申请实施例提供的第一物理计算单元的示意性框图。图4为本申请实施例提供的乘法电路阵列与减法电路的连接关系示意图。图5为本申请实施例提供的用于图像处理的装置100的示意性架构图。图6为待识别图像的像素数据构成的矩阵的示意图。图7为本申请实施例提供的乘法电路和电流镜电路的结构示意图。图8为本申请实施例提供的用于池化运算的电路结构示意图。图9为本申请实施例提供的用于非线性映射处理的电路结构示意图。具体实施方式下面将结合附图，对本申请中的技术方案进行描述。卷积神经网络(ConvolutionalNeuralNetwork，CNN)是一种深度学习的架构。由于卷积神经网络算法结构更接近于生物视觉系统的网络结构，自60年代被提出以来，已经逐渐发展成为图像识别领域的焦点。特别是在模式分类领域，由于卷积神经网络避免了对图像复杂的前期预处理，可以直接输入原始图像，因而得到了更广泛的应用。随着深度学习训练方法的不断优化改进，CNN网络的深度越来越深，网络结构越来越复杂，使得CNN在各种图片分类上的准确率越来越高。然而，随着，CNN识别准确率的不断提升，CNN算法代价也随之不断增大，传统的中央处理器(CentralProcessingUnit，CPU)平台已经无法满足其对运算速度和功耗的要求。为此，本申请实施例提供一种用于识别图像的装置，能够对卷积神经网络算法在模拟域进行加速，满足了卷积神经网络对于运算速度和功耗的要求。首先，对本申请实施例中涉及的有关卷积神经网络的相关概念作简单介绍。卷积神经网络一般由卷积层(convolutionlayer)、池化层(poolinglayer)和全连接层(full-connectionlayer)组成。图1为卷积神经网络的基本框架图。参见图1，卷积神经网络包括卷积层、池化层和全连接层。其中，多个卷积层与多个池化层交替排列，卷积层之后可以为卷积层，也可以为池化层。卷积层主要用于对待识别图像的像素数据构成本文档来自技高网...

【技术保护点】
1.一种用于图像处理的装置，其特征在于，所述装置包括：第一物理计算单元，用于接收图像传感器输出的多个第一模拟信号，并对所述多个第一模拟信号进行卷积运算，以得到第二模拟信号，所述多个第一模拟信号与待识别图像的多个像素数据一一对应，其中，所述第一物理计算单元由至少一个乘法电路阵列和至少一个减法电路组成，所述至少一个乘法电路阵列与所述至少一个减法电路一一对应，每个乘法电路阵列中包括多个乘法电路，每个乘法电路由差分对管构成，每个乘法电路阵列通过所述多个乘法电路和所对应的减法电路实现对所述多个第一模拟信号的卷积运算，其中，每个乘法电路阵列中包括的多个差分对管的差模输入电压作为所述乘法电路阵列进行卷积运算的卷积核，所述至少一个乘法电路阵列的卷积核互异。

【技术特征摘要】
1.一种用于图像处理的装置，其特征在于，所述装置包括：第一物理计算单元，用于接收图像传感器输出的多个第一模拟信号，并对所述多个第一模拟信号进行卷积运算，以得到第二模拟信号，所述多个第一模拟信号与待识别图像的多个像素数据一一对应，其中，所述第一物理计算单元由至少一个乘法电路阵列和至少一个减法电路组成，所述至少一个乘法电路阵列与所述至少一个减法电路一一对应，每个乘法电路阵列中包括多个乘法电路，每个乘法电路由差分对管构成，每个乘法电路阵列通过所述多个乘法电路和所对应的减法电路实现对所述多个第一模拟信号的卷积运算，其中，每个乘法电路阵列中包括的多个差分对管的差模输入电压作为所述乘法电路阵列进行卷积运算的卷积核，所述至少一个乘法电路阵列的卷积核互异。2.根据权利要求1所述的装置，其特征在于，每个差分对管包括第一金属氧化物半导体MOS管和第二MOS管，所述第一MOS管和所述第二MOS管工作在亚阈值区。3.根据权利要求2所述的装置，其特征在于，所述减法电路包括两个输入接口和一个输出接口，每个差分对管包括的第一MOS管的漏极作为所对应的乘法电路的第一输出接口，每个差分对管包括的第二MOS管的漏极作为所对应的乘法电路的第二输出接口，所述乘法电路阵列中所有乘法电路的第一输出接口连接至所述减法电路中的一个输入接口，所述乘法电路阵列中的所有乘法电路的第二输出接口连接至所述减法电路中的另一个输入接口，以及，所述减法电路包括两个P沟道电流镜PMIR和一个N沟道电流镜NMIR，所述减法电路的一个输入接口通过所述两个PMIR中的一个PMIR连接至所述减法电路的输出接口，所述减法电路的另一个输入接口通过所述两个PMIR中的另一个PMIR和...

【专利技术属性】
技术研发人员：乔飞，贾凯歌，刘哲宇，魏琦，陈海，
申请(专利权)人：清华大学，华为技术有限公司，
类型：发明
国别省市：北京,11