一种CMOS图像传感器内的卷积运算架构制造技术

本发明专利技术公开了一种CMOS图像传感器内的卷积运算架构。具有作为实现感光和乘加运算的基本单元的像素内电路、由基本单元组成的用于实现阵列卷积运算的像素阵列电路；一基本单元控制图像一像素，基本单元的一组元件代表图像像素一通道，用卷积核一像素一通道的权重值控制一基本单元中一元件PMOS晶体管的导通时间；通过元件中的PMOS晶体管切换导通控制电容的充放电，进而控制各组元件电容电压，实现单像素运算控制。本发明专利技术能在感光同时完成卷积神经网络第一层运算，并将第一层运算结果转化为数字信号进行输出，减少后续计算的能耗，具有高动态范围、高帧率、低功耗、支持可变卷积运算参数等特点。

【技术实现步骤摘要】
一种CMOS图像传感器内的卷积运算架构
本专利技术公开了一种CMOS图像传感器的卷积运算架构，特别涉及了一种能完成卷积神经网络第一层卷积运算的CMOS图像传感器的卷积运算架构。
技术介绍
在图像领域，随着卷积神经网络(CNN)等机器学习技术的不断发展，目标检测、人脸识别等应用逐渐成熟，各种机器视觉感知系统被提出。在多数应用场景中，机器视觉系统都需要长时间持续拍摄和工作，对功耗要求很严格，尤其是使用电池供电的设备，如野外监控设备、可穿戴设备等。然而，这些系统的功耗问题尚未得到好的解决。一方面，深度学习算法往往具有较高的计算量需求，使其计算功耗居高不下。另一方面，传统的图像传感器是为了获得更高分辨率的图像而设计的，其需要高能耗的模拟读出电路，这同样是机器视觉系统能源效率提升的一个重要瓶颈。采用CNN进行运算的机器视觉系统可以分为两个主要部分，起感知作用的CMOS图像传感器(CIS)，以及起运算功能的计算模块。由于卷积运算的计算量高，出于效率与资源两方面的原因，很多终端物联网设备只能将运算数据送往云端服务器进行计算，这样的数据传输过程中又产生了额外的能量损耗，且产生了具有数据安全性等多方面的附加问题。为此，需要研究新的硬件架构和算法来同时满足信息的获取、处理和分析等多方面的要求。传感器内计算是解决该问题的有效方法之一。已有的研究在CIS性能优化及卷积硬件加速等方面已经取得了非常多的突破，近年来，在传感器和视觉分析硬件集成上也出现了许多创新和改进。如将传感器与片上的深度学习加速器集成在一起、在传感器内直接进行模拟卷积运算等，对于系统的性能都带来了很大的提升。然而，这些研究仍然没有充分的利用图像传感器本身的特性，作为光电转换的接口，像素阵列本身就具有模拟存储的功能，并具有完成简单运算的条件。
技术实现思路
为了充分利用CIS的特性，减少机器视觉系统中CIS模拟读出及卷积运算的功耗，本专利技术提出了一种基于CNN的双模传感器内计算架构，其具有计算模式和传统模式。本专利技术在计算模式下，其能在传感器内部完成CNN的第一层卷积运算，大幅降低传感器输出数据密度，从而减小模拟输出功耗。其具有基于脉冲宽度控制和电荷重分配原理实现的乘加运算操作电路，权重以脉冲宽度的形式与像素电流相乘，从而减少了数据移动的能耗。当在计算模式下检测到前景发生变化时或其他用户指定的情况下，可以切换到全高清模式，如普通CIS一样进行工作，输出全高清图像。为了实现上述目的，本专利技术采用的技术方案如下：具有作为实现感光和乘加运算的基本单元的像素内电路；具有主要由若干上述基本单元组成的用于实现阵列卷积运算的像素阵列电路。如图4所示，所述的基本单元，主要由PMOS晶体管RST及完全相同的四组元件组成，四组元件结构相同，第一组元件包括用于控制读出的PMOS晶体管RD1、用于控制曝光时间的PMOS晶体管W1、用于感光的光电二极管D1和用于存储电荷的电容C1，光电二极管D1的1脚与PMOS晶体管W1的2脚相连，PMOS晶体管W1的1脚、PMOS晶体管RD1的2脚均和电容C1的1脚相连，光电二极管D1的2脚和电容C1的2脚接地；四组元件具体包括用于控制读出的PMOS晶体管RD1～RD4、用于控制曝光时间的PMOS晶体管W1～W4、用于感光的光电二极管D1～D4和用于存储电荷的电容C1～C4；同理，光电二极管D2的1脚与PMOS晶体管W2的2脚相连，PMOS晶体管W2的1脚与PMOS晶体管RD2的2脚和电容C2的1脚相连；光电二极管D3的1脚与PMOS晶体管W3的2脚相连，PMOS晶体管W3的1脚与PMOS晶体管RD3的2脚和电容C3的1脚相连；光电二极管D4的1脚与PMOS晶体管W4的2脚相连，PMOS晶体管W4的1脚与PMOS晶体管RD4的2脚和电容C4的1脚相连。四组元件的PMOS管RD1～4的1脚、PMOS晶体管RST的2脚相连接到一起作为互连脚convlink；四组元件的PMOS晶体管W1～W4和PMOS晶体管RD1～RD4的3脚以及PMOS晶体管RST的3脚均连接到外部的开关控制信号，PMOS晶体管RST的1脚接电源电压。所述的互连脚convlink为双向的输入/输出端口，用于相邻基本单元之间的连接。本专利技术中的MOS晶体管的1脚指代源极，2脚指代漏极，3脚指代栅极。如图1所示，所述的像素阵列电路由所述基本单元及其他器件遵循一定的规律相互连接组成，具体组成为：由各个基本单元按矩阵排列，且矩阵的大小为图像的长*高，即一行中基本单元的数量为图像的长，一列中基本单元的数量为图像的宽；以四个位于田字的相邻的基本单元共同构成一个复合单元，复合单元内部的四个基本单元的互连脚convlink直接相连；如图2所示，在相邻的两个复合单元之间，两个复合单元内部各自连接在一起的互连脚convlink通过一个隔断管进行连接，起到分割矩阵的作用；如图2所示，像素阵列电路虽然在图1中是绘制为将复合单元以NMOS晶体管相互连接所构成的，但图1是为了方便理解而绘制的，实际的像素阵列中，所有基本单元是间距均匀的排列的，不论是否同属于一个复合单元。如图2中的9个基本单元，为图1中左上角的9个基本单元，左起第一行的两个基本单元和左起第二行的两个基本单元同属于同一个复合单元，其互连脚convlink直接相连，而相邻的其他像素由于属于其他的复合单元，故其互连脚convlink通过一个隔断管再与这四个像素的互连脚convlink相连。每列上的所有复合单元对应连接一个读出电路，如图3所示，读出电路包括一个NMOS晶体管SF、一个NMOS晶体管EN、一个模数转换器ADC，其中NMOS晶体管SF的3脚与该列上的所有复合单元内部的互连脚convlink连接，NMOS晶体管SF的1脚与NMOS晶体管EN的2脚连接，NMOS晶体管EN的3脚连接用于控制该列复合单元的读取信号，NMOS晶体管EN的1脚与模数转换器ADC的输入端口连接，模数转换器ADC的输出端口作为整个电路的输出端口。所述的隔断管采用NMOS管，N沟道场效应管。本专利技术电路架构能在感知图像的同时完成卷积神经网络第一层卷积运算，用于CMOS图像传感器。一个所述基本单元代表控制图像中的一个像素，不同基本单元代表了不同的像素，基本单元中的一组元件代表了图像像素中的一个通道，具体是以卷积核中一个像素的权重参数代表控制一个基本单元的工作，用卷积核一个像素中一个通道的权重值代表控制一个基本单元中一组元件的PMOS晶体管W的导通时间；不同通道代表了不同的元件，通道的数量和元件的数量相同。通常图像为RGB通道，分为R、G1、G2、B的四个通道，其中G1和G2通过取平均得到图像的G通道。通过元件中的PMOS晶体管W和PMOS晶体管RD的切换导通控制电容C的充放电，进而控制各组元件的电容C的电压，实现对单个像素的卷积时运算控制。本专利技术按照所述电路适配不同尺寸卷积核的分割设计和时序处理实现CMOS图像传感器内的卷积运算。根据卷积核的尺寸，分割使像素阵列能够完成对应本文档来自技高网...

【技术保护点】
1.一种CMOS图像传感器内的卷积运算架构，其特征在于：/n具有作为实现感光和乘加运算的基本单元的像素内电路；/n具有主要由若干上述基本单元组成的用于实现阵列卷积运算的像素阵列电路。/n

【技术特征摘要】
1.一种CMOS图像传感器内的卷积运算架构，其特征在于：
具有作为实现感光和乘加运算的基本单元的像素内电路；
具有主要由若干上述基本单元组成的用于实现阵列卷积运算的像素阵列电路。


2.根据权利要求1所述的一种CMOS图像传感器内的卷积运算架构，其特征在于：所述的基本单元，主要由PMOS晶体管RST及完全相同的四组元件组成，四组元件结构相同，第一组元件包括用于控制读出的PMOS晶体管RD1、用于控制曝光时间的PMOS晶体管W1、用于感光的光电二极管D1和用于存储电荷的电容C1，光电二极管D1的1脚与PMOS晶体管W1的2脚相连，PMOS晶体管W1的1脚、PMOS晶体管RD1的2脚均和电容C1的1脚相连，光电二极管D1的2脚和电容C1的2脚接地；四组元件的PMOS管RD1～4的1脚、PMOS晶体管RST的2脚相连接到一起作为互连脚convlink；四组元件的PMOS晶体管W1～W4和PMOS晶体管RD1～RD4的3脚以及PMOS晶体管RST的3脚均连接到外部的开关控制信号，PMOS晶体管RST的1脚接电源电压。


3.根据权利要求2所述的一种CMOS图像传感器内的卷积运算架构，其特征在于：所述的互连脚convlink为双向的输入/输出端口，用于相邻基本单元之间的连接。


4.根据权利要求1所述的一种CMOS图像传感器内的卷积运算架构，其特征在于：所述的像素阵列电路具体组成为：
由各个基本单元按矩阵排...

【专利技术属性】
技术研发人员：黄科杰，宋瑞冰，沈海斌，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33