具有片内模式识别功能的CMOS图像传感器制造技术

公开了包括集成电路上形成的传感器阵列的一种集成电路。该传感器阵列输出原始图像数据。该集成电路还包括一个处理电路。处理电路接收原始图像数据，在原始图像数据的基础之上输出一个特征集。（*该技术在2022年保护过期，可自由使用*）

CMOS image sensor with on-chip pattern recognition function

An integrated circuit including a sensor array formed on an integrated circuit is disclosed. The sensor array outputs the original image data. The integrated circuit also includes a processing circuit. The processing circuit receives the original image data and outputs a feature set on the basis of the original image data. \ue5cf

【技术实现步骤摘要】

总的来说，本专利技术涉及CMOS图像传感器，具体而言，涉及其中集成了模式识别电路的单片图像传感器。在许多应用中，图像传感器捕获的图像不是简单地输出供观看。相反，图像传感器的数据被用于其它目的，比如检测光学鼠标器的运动，或者检测物体的运动。例如，用于玩具或者机器视觉装置的图像传感器常常被用于检测运动。在图像领域，图像传感器还常常被用于识别形状或者物体。对于这些应用，必须进行大量的图像信号处理。典型情况下，信号处理是在单独的一块芯片中用传统的数字信号处理器，微处理器，或者其它逻辑器件，比如现场可编程门阵列(FPGA)或者可编程逻辑器件(PLD)，完成的。但是，用另外的芯片进行信号处理非常昂贵。例如，具有百万个门的大规模FPGA每个单元的价格达到10美元。对于模式识别应用，不需要使用大规模FPGA。此外，门数较少的FPGA不是现成的。因此，只好采用标准的高处理能力的FPGA，FPGA的大多数处理能力被浪费掉了。图2A和2B是说明相对运动的附图说明图1中集成电路采集的两幅图像的实例。专利技术详述在以下描述中，给出一些具体细节，比如各种系统部件的识别，以便全面地理解本专利技术的实施方案。但是，本领域中的技术人员会认识到，本专利技术可以用这里的一个或者多个具体细节来实践，或者用其它方法、部件、材料等等来实践。在其它情形下，众所周知的结构、材料或者操作都没有详细说明，以免喧宾夺主。在这个说明中，“一个实施方案”指的是与这个实施方案有关的某个特点、结构或者特征包括在本专利技术的至少一个实施方案里。这样，这一说明中各个地方出现的术语“在一个实施方案中”不一定全部指同一个实施方案。除此以外，某些特征、结构或者特征都可以以适当的方式结合在一个或者多个实施方案内。回到图1，按照本专利技术形成的集成电路101包括传感器阵列103、处理器电路105、输入/输出(I/O)107、存储器109和总线111。这些部件中的每一个都可以在单独一片硅基底上形成，用标准CMOS工艺集成到单独一片上。传感器阵列103部分可以例如基本上类似于本专利技术的受让人，加拿大Sunnyvale的OmniVision技术有限公司，制造的型号是OV7630、OV7920、OV7930、OV9620、OV9630、OV6910或者OV7640的图像传感器的传感器阵列。具体而言，传感器阵列103包括布局成二维阵列的多个像素。在工作的时候，当一个图像聚焦在传感器阵列103上的时候，传感器阵列103可以获得原始图像数据。然后由处理器电路105通过总线111接收这些原始图像数据，然后开始信号处理。处理器电路105能够执行实现集成电路101功能必需的一组预编程指令(有可能储存在存储器107中)。在一个实施方案中，集成电路105可以用于机器视觉应用。例如，可以将集成电路105变成为寻找指定的特征。这样，如果将集成电路105结合到玩具汽车或者玩具动物中去，可以给汽车或者动物编程，让它跟随特定形状的物体，比如手、人或者桌子边缘。处理器电路105可以是一个FPGA或者一个神经元电路。在一个实施方案中，FPGA可以具有从Altera或者Xilinx获得的那种结构。FPGA集成在传感器阵列103、存储器109和I/O 107的同一片基底上非常重要。本专利技术不是必须用图像传感器集成电路输出原始图像数据给另外一个通常非常昂贵的大门数的FPGA，而是将所有这些功能集成在单独一片低成本的低功耗芯片上去。另外，处理器电路105可以是一片神经元电路。神经元电路在模式识别应用中很有前途。神经元电路的大规模并行处理能力和“学习”能力特别适合于将图像传感器功能与模式识别能力结合起来的本专利技术的集成电路。神经元电路的设计可以从多个公司获得，包括加尼福尼亚的硅识别公司。神经元电路设计更多的细节可以从第5717832号和第5621863号美国专利以及这里引用的专利文献中找到。在这里给出的实施方案中，处理器电路105被预编程，以获得原始图像数据，对原始图像数据进行处理，提取一系列连续原始图像数据的特征集。用已知的算法，比如第6256016号、第5644139号或者第6172354号美国专利，将连续图像的特征集进行比较。还可以采用其它算法在连续图像数据帧的基础之上确定是否存在相对运动。例如，可以采用Shi Ge于2001年11月6日提交，转让给本专利技术的受让人，标题是“用特征提取技术确定光学鼠标器中相对运动的方法和装置”的共同未决申请中描述的一种特征提取技术，在这里将它引入作为参考。另外，也可以采用不是基于特征的技术，在XiaodongLuo于2001年11月6日提交，转让给本专利技术的受让人，标题是“确定光学鼠标器中相对运动的方法和装置”的共同未决申请对此进行了描述，在这里将它引入作为参考。这样，将处理器电路105用于根据传感器阵列103捕获的连续图像来计算运动情况。一旦计算出运动参数，处理器电路105就提供X和Y运动坐标I/O 109，它则将信息输出。作为一个分析实例，回到图2A和2B，处理器电路105从第一个图像401接收原始图像数据(见图2A)。在这个实例中，第一个图像401包括一张桌子403、一盏灯405和一幅图画407。收到第一幅图像401以后，处理器电路105可以随后从第一个图像401的原始图像数据提取一个特征集。例如，用已知的算法和方法，比如机器视觉应用里的，可以从第一幅图像401产生一个特征集参数(也叫做一次分离)。这一个特征集可以是例如桌子403、灯405和图画407的轮廓。在另外一个实施方案中，这一个特征集可以是图像401上明亮或者异常多彩的区域。显然，提取和产生这个特征集的这种方法对于本专利技术并不是至关重要的。从第一幅图像401的原始图像数据提取了特征集以后，处理器电路105可以将这一个特征集储存在存储器107中。下一步，用处理第一幅图像401的技术提取与第一幅图像在时间上连续的第二副图像411(如图2B所示)的特征集。可以将第二幅图像的特征集与第一幅图像的特征集进行比较，以确定集成电路101的运动幅度和方向。集成电路101的运动幅度和方向也叫做运动矢量。具体而言，如图2B所示，将第二幅图像411与第一幅图像401比较的时候会发现，集成电路101已经侧向向左移动了能够量化的有限的一段距离。当然，本专利技术的比较是通过处理器电路105将第一幅图像401的特征集与第二幅图像411的特征集进行比较来完成的。利用已知的算法和方法，处理器能够确定连续图像的平移大小，包括垂直方向和水平方向的。这些算法和方法的实例可以从上面讨论过的第’016号专利和第’354号专利中找到。在连续图像之间平移大小和图像速率(以每秒多少帧图像为单位)的基础之上，处理器105。在一个实施方案中，传感器阵列103用于以每秒钟1000帧图像的速率获得图像。但是很显然，这一速率可以根据集成电路101的最大预期移动速度来加以改变。虽然描述本专利技术的时候采用了有限数量的实施方案，但是本专利技术可以用许多种形式来实现，而不会偏离本专利技术的实质和基本特征。因此，给出的实施方案只是说明性的而不是限制性的。本专利技术的范围由后面的权利要求给出，而不是由前面的说明给出，这些权利要求的含义和等价条款范围内的所有变化都属于本专利技术。本文档来自技高网...

【技术保护点】
一种集成电路，包括：在所述集成电路上形成的一个传感器阵列，所述传感器阵列输出原始图像数据；和所述集成电路上的一个处理电路，该处理电路接收所述原始图像数据，并且在所述原始图像数据的基础之上输出特征集。

【技术特征摘要】
US 2001-11-6 10/0115071.一种集成电路，包括在所述集成电路上形成的一个传感器阵列，所述传感器阵列输出原始图像数据；和所述集成电路上的一个处理电路，该处理电路接收所述原始图像数据，并且在所述原始图像数据的基础之上输出特征集。2.权利要求1的集成电路，其中的处理电路是现场可编程门阵列。3.权利要求1的集成电路，其中的处理电路是神经元电路。4.权利要求1的集成电路，其中的处理电路能够根据所述特征集识别图案。5.在集成电路收到的连续图像相对运动的基础之上提供运动矢量的一种集成电路，所述运动矢量用于控...

【专利技术属性】
技术研发人员：R吴，
申请(专利权)人：全视技术有限公司，
类型：发明
国别省市：US[美国]