一种紧凑型高帧率图像传感器系统技术方案

本实用新型专利技术提供一种紧凑型高帧率图像传感器系统，包括堆叠的CMOS半导体电路芯片。其中，底部芯片包括光敏区域阵列和图像捕获结构；顶部芯片包括图像处理和逻辑电路，以快速提取由边界检测滤波器确定的图像或图像的主要特征。所述图像传感器系统还包括编译工具，用于向可编程滤波器提供编程参数，以针对特定运动检测应用优化该图像传感器。

A compact high frame rate image sensor system

【技术实现步骤摘要】
一种紧凑型高帧率图像传感器系统
本专利技术涉及一种图像传感器，尤其涉及采用半导体电路芯片堆叠的CMOS图像传感器。
技术介绍
图像捕获装置包括图像传感器和成像透镜。成像透镜将光聚焦到图像传感器上以形成图像，图像传感器将光信号转换成电信号。图像捕获装置输出电信号给主机系统的其他组件。图像捕获装置和主机系统的其他组件形成图像传感器系统或成像系统。图像传感器的应用已经非常普遍，可以应用在各种电子系统中，例如移动设备，数码相机，医疗设备或计算机。典型的图像传感器包括二维阵列排列的多个光敏元素（“像素”）。这种图像传感器可以被配置为通过在像素上形成滤色器阵列（CFA）来产生彩色图像。用于制造图像传感器的技术，特别是制造互补型金属氧化物半导体（“CMOS”）图像传感器的技术持续快速的发展。比如，高分辨率和低功耗的要求促进了这种图像传感器的进一步小型化和集成化。然而，小型化的同时会牺牲像素光敏性和动态范围，因此需要新的方法来解决这个问题。随着像素尺寸的减小，对于一些光，尤其是长波光，基板内的总光吸收深度变得不足。这对于采用背照式（BSI）技术的图像传感器而言，当图像光入射在传感器基板的背面上时，尤其是个问题。在背照式（BSI）技术中，传感器硅基板可能仅为2微米厚，其足以吸收蓝光但非常不足以吸收可能需要10微米厚度才能被完全吸收的红光。形成所谓的堆叠式图像传感器已众所周知。在这种类型的典型布置中，像素阵列的光电二极管或其他光敏元件被形成在第一半导体晶粒或基板中，而用于处理光敏元件信号的相关读取电路被形成在第二半导体晶粒或基板中，其中第二半导体晶粒或基板直接覆盖在第一半导体晶粒或基板上。第一半导体晶粒或基板和第二半导体晶粒或基板在这里通常被分别称为传感芯片和电路芯片。更确切地说，在校准相关的晶片间电气连接之后，第一半导体晶粒和第二半导体晶粒与堆叠的第一半导体晶片和第二半导体晶片上的其他类似晶粒一起形成，并且被切粒或切割成通常称为半导体芯片的堆叠组件。在本专利技术公开要求保护的图像传感器中，光敏元件和读取电路使用同一基板。当堆叠两个芯片时，应当理解，在一种通常的实施例中，将两个晶片堆叠并切割成芯片，并保持堆叠以形成电气系统，例如，堆叠式图像传感器。然而，也可以将从第一半导体晶片取出的各个芯片堆叠到仍处于晶片形式的其他芯片上，或者甚至堆叠两个芯片。此外，耦合到传感器和电路晶片的晶片间电互连可以称为芯片间互连，而晶片内互连和芯片内互连分别是指位于相同晶片和芯片上的器件之间形成的互连。这种布置的优点与未堆叠的布置相比，所得到的图像传感器系统所占据的区域更小。另一个优点在于，可以使用不同的制造方法和材料来制造每个芯片以允许独立优化。用于读取传感器芯片上产生的图像信号的两种最常用的方法是滚动快门模式和全局快门模式。滚动快门模式涉及在不同时间曝光传感器阵列的不同线并以所选择的顺序读出这些线。全局快门模式涉及同时曝光每个像素并持续相同的时间，类似于传统“快照”相机上机械快门的操作方式。现有技术数字成像系统要么使用滚动快门读取模式，要么使用全局快门读取模式。然而，能够具有两种读取模式的成像系统将是有利的，且其中读取模式可由操作者选择操作。滚动快门（RS）模式在不同时间曝光和读出阵列的相邻行，也就是说，每行将适时开始和结束其与相邻行稍微偏移的曝光。在曝光完成之后每行被跟随着读出，并将电荷从每行传送到像素的读取节点。尽管每行都经历相同的曝光时间，但是顶行将在优先于传感器底行曝光结束之前的某个时间结束其曝光。这个时间取决于行数和相邻行之间的时间偏移。滚动快门读取模式的潜在缺点是由上述原因引起的空间失真。当较大物体的移动速度比读出速率快的情况下，失真变得更加明显。另一个缺点是曝光图像的不同区域在及时性方面不会很精确，表现为图像失真。为了改善图像信号最终读出时的信噪比，特别是减少短暂性的暗噪声，在通过放大器晶体管将每个像素电荷转换为输出信号之前执行称为关联双采样（CDS）的参考读取方式。放大器晶体管通常可以是源极跟随（SF）配置的晶体管。全局快门（GS）模式同时曝光阵列的所有像素。这有助于捕获快速移动的事件，以及时冻结它们。在曝光开始之前，通过耗尽所有电荷，将所有像素重置（RST）到表面上相同的暗水平。在曝光开始时，每个像素同时开始收集电荷，并且允许在曝光期间内持续收集。在曝光结束时，每个像素将电荷同时转移到其读出节点。全局快门模式可以被配置为以连续方式进行操作，由此可以在每个像素的读出存储节点读出先前曝光的同时进行下一个曝光。在此模式下，传感器具有100％的占空比，可优化时间分辨率和光子收集效率。在滚动快门模式中发生的瞬态读取周期的图像中没有伪影。当在传感器区域的不同区域之间需要精确的时间关联时，全局快门被认为是必要的。全局快门也很容易与光源或其他设备同步。全局快门模式的像素比滚动快门模式的像素至少包含多一个晶体管或存储组件。这些额外的组件用于存储图像电荷，以便在同时曝光后的时间段内读出。再次，为了改善图像信号中的信噪比，不仅需要在通过放大器晶体管将每个像素电荷转换为输出信号之前读出，而且还需要在将像素电荷转移到用于存储图像电荷的像素的额外组件之前读出。总之，滚动快门可以实现最低的读取噪声，对于非常快速的数据流传输非常有用，无需与光源或外围设备同步。然而，它具有空间失真的风险，特别是针对成像相对较大，快速移动的物体时。使用全局快门则没有空间失真的风险，并且当同步快速切换外围设备时，它相对简单并且可以获得更快的帧速率。因此，能够便利地提供滚动快门和全局快门的操作模式将是非常有优势的。实时图像处理很难实现。这是由几个因素造成的，例如图像所表现的大数据集以及可能需要对图像执行的复杂操作。在每秒30帧的实时视频速率下，对彩色图像的每个像素执行的单个操作可等于每秒数千万次的操作。许多图像处理应用程序要求对图像中的每个像素执行多种操作，从而导致每秒所需的操作量甚至更多。典型地，为实现此目的，在成像系统中使用图像信号处理器（ISP）。它提供了彩色插值以确定每个像素代表哪种颜色，并在像素处和附近插值区域。它还可以控制成像系统的自动对焦，曝光和白平衡。近年来，增加了镜头不良校正比如因镜头缺陷产生的光晕和色差，以及增加了诸如HDR重组，降噪，滤波，面部或物体检测等。如果需要，它还可以提供焦点组件控制。ISP通常通过嵌入式CPU来执行其所需的功能。同时它们很少或几乎没有可重新配置性，并且通常必须针对每次应用更改进行重新设计和制造。ISP可以包括在电路晶片上或作为附加的分立芯片。一种替代方案是使用现场可编程门阵列（FPGA）作为所期望的图像处理和成像控制功能的实现平台，尤其是实时视频处理。FPGA由一个逻辑模块矩阵组成，这些逻辑模块通过交换网络连接。逻辑模块和交换网络都是可重新编程的，允许应用构建特定的硬件，同时保持轻松改变系统功能的能力。因此，FPGA在通用处理器的灵活性和基于硬件的专用电路（ASIC）的速度之间提供了一种折衷方案。与许多图像信号处理器（ISP）电路提供的串行处理相比，FPGA还具有执行并行处理的能力，从而提高了性能。除了本文档来自技高网...

【技术保护点】
1.一种紧凑型高帧率图像传感器系统，其特征在于，包括：/n图像传感器阵列芯片，用于获取图像信号，所述图像信号为多比特图像数据;/n图像信号处理器芯片，堆叠并连接到所述图像传感器阵列芯片，其中所述图像信号处理器芯片包括具有现场可编程图像特征的边缘或边界检测滤波器，并且其中编程参数使得所述边缘或边界检测滤波器能够提取单比特图像数据，所述单比特图像数据映射表示多比特图像数据，以减少图像处理时间和功耗; 以及/n片上可编程重配置电路，用于向所述边缘或边界检测滤波器提供编程参数，以优化用于特定应用的图像传感器。/n

【技术特征摘要】
1.一种紧凑型高帧率图像传感器系统，其特征在于，包括：
图像传感器阵列芯片，用于获取图像信号，所述图像信号为多比特图像数据;
图像信号处理器芯片，堆叠并连接到所述图像传感器阵列芯片，其中所述图像信号处理器芯片包括具有现场可编程图像特征的边缘或边界检测滤波器，并且其中编程参数使得所述边缘或边界检测滤波器能够提取单比特图像数据，所述单比特图像数据映射表示多比特图像数据，以减少图像处理时间和功耗;以及
片上可编程重配置电路，用于向所述边缘或边界检测滤波器提供编程参数，以优化用于特定应用的图像传感器。


2.如权利要求1所述的图像传感器系统，其特征在于，还包括数字数据存储器芯片，堆叠并连接在所述图像传感器阵列芯片和所述图像信号处理器芯片之间，用于存储来自所述图像传感器阵列芯片的多比特图像数据。


3.如权利要求1所述的图像传感器系统，其特征在于，所述多比特图像数据包括若干多比特像素数据，所述边缘或边界检测滤波器基于所述编程参数计算所述若干多比特像素数据，并将运算后的结果值分别与一阈值作比较，根据比较结果输出若干单比特像素数据，所述若干单比特像素数据组合构成所述单比特图像数据。


4.如权利要求3所述的图像传感器系统，其特征在于，当所述多比特像素数据经所述边缘或边界检测滤波器运算后的结果值大于所述阈值时，所述单比特像素数据为“1”，以映射表示所述多比特像素数据的第一特征；以及当所述多比特像素数据经所述边缘或边界检测滤波器运算后的结果值小于所述阈值时，所述单比特像素数据为“0”，以映射表示所述多比特像素数据的第二特征。


5.如权利要求1所述的图像传感器系统，其特征在于，所述边缘或边界检测滤波器是Sobel，IsotropicSobel，Roberts，Prewitt，Laplacian或Canny边缘滤波器之一。


6.如权利要求1所述的图像传感器系统，其特征在于，所述图像信号处理器芯片包括多个所述边缘或边界检测滤波器，所述图像信号处理器芯片通过投票或加权计算的方式对多个所述边缘或边界检测滤波器输出的单比特图像数据再次融合计算后，输出最终的单比特图像数据以用于图像信号处理。


7.如权利要求2所述的图像传感器系统，其特征在于，在所述图像传感器阵列芯片内限定一个或多个触发区域，使得当移动物体进入所述触发区域...

【专利技术属性】
技术研发人员：汪小勇，徐辰，何金，
申请(专利权)人：思特威上海电子科技有限公司，
类型：新型
国别省市：上海;31