用于CMOS图像传感器的实时高速图像预处理方法技术

一种用于CMOS图像传感器的实时高速图像预处理方法，包括由CMOS图像传感器的感光部输出的Bayer数据，所述Bayer数据的单帧阵列的行数为M、列数为N，其创新在于：采用流水线式的分块、分类型存取数据的工作模式，通过分块、分类型的方式使数据化整为零，同时采用数量相对较少的寄存器来对分零后的数据进行处理。本发明专利技术的有益技术效果是：通过对缓存处理方式进行改变，使用占用硬件资源较少的片上缓存结构，实现了较大缓存数据的高速处理，大幅提高了CMOS图像传感器的集成度和片上处理速度。

【技术实现步骤摘要】
用于CMOS图像传感器的实时高速图像预处理方法
本专利技术涉及一种光电传感器信号处理技术，尤其涉及一种用于CMOS图像传感器 的实时高速图像预处理方法。
技术介绍
随着工艺水平的提高和信息化的高速发展，CMOS图像传感器以其高集成度、高速 度及低功耗、低成本的优势逐渐取代CCD传感器，被广泛应用于数码相机、摄像机和安防摄 像头等多个领域。 现有技术中，基于现有工艺制作出的CMOS图像传感器的成像质量与工艺尺寸存 在相关性，工艺尺寸越小成像质量越差，因此，如何使CMOS图像传感器在较小的工艺尺寸 条件下获得高质量的成像是目前研究的热点问题。 CMOS图像传感器的感光部输出的数据形式一般为Bayer格式(下称Bayer数据)， Bayer数据一般不作直接应用，需要对其进行预处理后再由后续图像处理算法进行处理，在 对Bayer数据进行预处理时，现有技术一般采用存储器和寄存器串行方式来进行处理，其 原理如图2所示，针对一帧Μ (行）XN (列)阵列的Bayer数据，如果色彩插值算法需要缓存 Μ行数据来处理，处理时就需要MXN个寄存器和M-1个RAM存储器，当Bayer数据输入寄 存器时，在第一个时钟周期，数据被读入到第A MBN个寄存器中，下一个时钟到来时，读入新 数据的同时，将原来AMB N中上一节拍的数据串行移入AMBN_i中，后续过程中，数据在寄存器 和RAM存储器内依次传递，当第一级寄存器全部读入了数据后，在下一时钟周期到来后，将 一级寄存器的数据依次传递到第二级寄存器进行算法处理(整个过程中，RAM起到缓存数据 的作用），将MXN个Bayer数据全部移入第二级缓存器至少需要（2M-1) XN+M个时钟周期。 前述处理方式存在的问题是：如果后续算法要求处理的像素阵列较大，数据较多时，现有的 预处理方法就会需要大量的寄存器和存储器，数据串行传输也会需要更多的时间，这样就 会增大芯片的面积和功耗，并会降低算法的处理速度，同时由于数据的逐行连续串行输入， 像素类型的顺序维持原始Bayer格式的像素类型顺序，这也导致代码实现上的难度加大。
技术实现思路
针对
技术介绍
中的问题，本专利技术提出了一种用于CMOS图像传感器的实时高速图 像预处理方法，包括由CMOS图像传感器的感光部输出的Bayer数据，所述Bayer数据的单 中贞阵列的行数为M、列数为N,其创新在于： 搭建缓存模块：采用K个静态存储器搭建缓存模块，10 < K < Μ，且K为偶数，单个静态 存储器的存储深度为J (本文所指存储深度就是存储容量，其单位为字节);将Κ个静态存储 器分为L个处理小组，L=K/2,每个处理小组均对应两个静态存储器； 对Bayer数据进行分类：所述单帧阵列中的单行数据记为数据行，单个数据行中的 多个数据按各个数据所对应的列数序号的奇、偶关系分为两组：同一数据行中，列数序号 为奇数的多个数据形成数据组一，列数序号为偶数的多个数据形成数据组二；则每一数据 行均对应有一数据组一和一数据组二，且数据组一和数据组二内的数据个数均为N/2个， N/2=J ;对Bayer数据进行分类的方式记为分类规则； 处理时，按如下步骤进行： 1) 按分类规则，对单帧阵列中的第1至L个数据行中的数据进行分类，获得2L个数据 组； 2) 按单帧阵列中的行顺序，将各个数据行中的数据组依次输入缓存模块中的静态存储 器内，每个静态存储器对应一个数据组，同一数据行中的两个数据组输入同一处理小组的 两个静态存储器中；单个数据组中的多个数据以串行方式输入静态存储器内；设第1数据 行对应第1处理小组，第2数据行对应第2处理小组，……第L数据行对应第L处理小组； 3) 当第L个数据行的数据输入完成后，静态存储器开始将缓存了的多个数据向外并行 输出； 静态存储器向外并行输出的同时，将第L+1数据行内的多个数据按分类规则分类后， 串行输入第1处理小组内对应的静态存储器中，用以替换第1数据行内的多个数据；前述的 用新数据替换处理小组内旧数据的处理方式记为更新处理，在后续并行输出静态存储器数 据的过程中，继续用新的数据行对其余处理小组依次进行更新处理； 4) 当L个处理小组都完成了更新处理后，按步骤3)中方式，用新的数据行对L个处理 小组重新依次进行更新处理，直至缓存模块对所有数据行都完成了缓存、输出处理。 本专利技术的原理是：本专利技术的方案实质上形成了一种流水线式的分块、分类型存取 数据的工作模式，通过分块、分类型的方式使数据化整为零，同时采用数量相对较少的寄存 器来对分零后的数据进行处理，不仅大大降低了处理时延，提高了处理速度，并节省了芯片 面积，提高了芯片集成度，具体来说，本专利技术是这样实现的：分块即以数据行为单位进行 逐一串行输入缓存，将一行数据分成两块来存储，输出处理针对所有分块中的数据并将其 并行输出。在完成首次全部存储器的数据存储，进行更新数据时，串行输入和并行输出就要 同步进行；分类型即将每一数据行内的数据按列数奇、偶分成两个数据组，当然，之所以 能作这样的分类，是依赖了 Bayer数据的固有特性，Bayer数据中的单个数据行，要么是R 和G交替排列，要么是G和B交替排列（RGB为红绿蓝三基色)，并且不同数据行中R、G、B的 奇、偶关系恒定，本专利技术中充分的利用了 Bayer数据的这种特性，按奇、偶关系将其分类，使 数据行化整为零，以配合本专利技术方案的实施；流水线即对某一数据行内的数据进行了缓 存、输出处理后，继续将新的数据行输入缓存模块内进行处理；前述三种手段形成的工作模 式所带来的最直接效果，就是使得预处理过程中所需的寄存器数量大幅减少，从处理的数 据规模来看，现有技术的单次处理中，需要对单帧阵列中的MXN个数据进行同时处理，因 此其需要Μ-l个RAM存储器和MXN个寄存器，而本专利技术中，由于对单帧阵列进行了分块、 分类，从而使单次缓存需要的寄存器数量和单个静态存储器的深度大幅缩减，有利于在 有限的芯片面积上进行布局，同时由于数据的并行输出，降低了设计难度和处理延迟，提高 了处理的效率。 本专利技术中控制数据转移的手段与现有技术相同，其控制时序采用常用的时钟CLK 控制，为了使时序控制更为简单化，本专利技术还作了如下改进：单个处理小组内的两个静态存 储器与单个数据行内的数据组一和数据组二的对应关系保持恒定。 基于前述方案所带来的对静态存储器物理需求的减小，本专利技术还提出了如下优选 方案来改善器件的尺寸参数：所述静态存储器采用片上存储器实现。片上存储器由于尺寸 限制，其处理能力不如外设的缓存装置，但采用本专利技术的方案后，少量的片上存储器就能负 担较大数据量的缓存工作，这对于提高CMOS图像传感器的集成度意义非凡。 优选地，当Μ取512、N取512时，K取10,则静态存储器的存储深度J为256。 本专利技术的有益技术效果是：通过对缓存处理方式进行改变，使用占用硬件资源较 少的片上缓存结构，实现了较大缓存数据的高速处理，大幅提高了 CMOS图像传感器的集成 度和片上处理速度。 【附图说明】 图1、本专利技术的处理原理示意图（图中静态存储器的数量为10个）； 图2、现有技术的处理原理示意图； 图3、Bayer本文档来自技高网...

【技术保护点】
一种用于CMOS图像传感器的实时高速图像预处理方法，包括由CMOS图像传感器的感光部输出的Bayer数据，所述Bayer数据的单帧阵列的行数为M、列数为N，其特征在于：搭建缓存模块：采用K个静态存储器搭建缓存模块，10≤K＜M，且K为偶数，单个静态存储器的存储深度为J；将K个静态存储器分为L个处理小组，L=K/2，每个处理小组均对应两个静态存储器；对Bayer数据进行分类：所述单帧阵列中的单行数据记为数据行，单个数据行中的多个数据按各个数据所对应的列数序号的奇、偶关系分为两组：同一数据行中，列数序号为奇数的多个数据形成数据组一，列数序号为偶数的多个数据形成数据组二；则每一数据行均对应有一数据组一和一数据组二，且数据组一和数据组二内的数据个数均为N/2个，N/2=J；对Bayer数据进行分类的方式记为分类规则；处理时，按如下步骤进行：1）按分类规则，对单帧阵列中的第1至L个数据行中的数据进行分类，获得2L个数据组；2）按单帧阵列中的行顺序，将各个数据行中的数据组依次输入缓存模块中的静态存储器内，每个静态存储器对应一个数据组，同一数据行中的两个数据组输入同一处理小组的两个静态存储器中；单个数据组中的多个数据以串行方式输入静态存储器内；设第1数据行对应第1处理小组，第2数据行对应第2处理小组，……第L数据行对应第L处理小组；3）当第L个数据行的数据输入完成后，静态存储器开始将缓存了的多个数据向外并行输出；静态存储器向外并行输出的同时，将第L+1数据行内的多个数据按分类规则分类后，串行输入第1处理小组内对应的静态存储器中，用以替换第1数据行内的多个数据；前述的用新数据替换处理小组内旧数据的处理方式记为更新处理，在后续并行输出静态存储器数据的过程中，继续用新的数据行对其余处理小组依次进行更新处理；4）当L个处理小组都完成了更新处理后，按步骤3）中方式，用新的数据行对L个处理小组重新依次进行更新处理，直至缓存模块对所有数据行都完成了缓存、输出处理。...

【技术特征摘要】
1. 一种用于CMOS图像传感器的实时高速图像预处理方法，包括由CMOS图像传感器的 感光部输出的Bayer数据，所述Bayer数据的单帧阵列的行数为M、列数为N，其特征在于： 搭建缓存模块：采用K个静态存储器搭建缓存模块，10 < K < Μ，且K为偶数，单个静态 存储器的存储深度为J ;将Κ个静态存储器分为L个处理小组，L=K/2,每个处理小组均对应 两个静态存储器； 对Bayer数据进行分类：所述单帧阵列中的单行数据记为数据行，单个数据行中的 多个数据按各个数据所对应的列数序号的奇、偶关系分为两组：同一数据行中，列数序号 为奇数的多个数据形成数据组一，列数序号为偶数的多个数据形成数据组二；则每一数据 行均对应有一数据组一和一数据组二，且数据组一和数据组二内的数据个数均为N/2个， N/2=J ;对Bayer数据进行分类的方式记为分类规则； 处理时，按如下步骤进行： 1) 按分类规则，对单帧阵列中的第1至L个数据行中的数据进行分类，获得2L个数据 组； 2) 按单帧阵列中的行顺序，将各个数据行中的数据组依次输入缓存模块中的静态存储 器内，每个静态存储器对应一个数据组，同一数据行中的两个数据组输入同一处理小组的 两个静态存储器中；单个数据组中的多个数据以串行方式输入静态...

【专利技术属性】
技术研发人员：李明，刘昌举，邓光平，李毅强，任思伟，张靖，熊平，
申请(专利权)人：中国电子科技集团公司第四十四研究所，
类型：发明
国别省市：重庆;85