智能变焦图像传感器制造技术

本发明专利技术提供一种智能变焦的图像传感器，所述图像传感器包括像素阵列，彩色滤光器阵列设置于所述像素阵列的像素单元上并光学耦合至所述像素单元；所述图像传感器的外围电路包括一图像处理单元，所述图像处理单元包括一智能变焦单元，其控制和处理一个或多个目标ROI。所述图像传感器同时输出两路视频图像信号，包括低分辨率全景视频图像以及高分辨率视频图像。本发明专利技术图像传感器所输出的高分辨率目标ROI图像在视觉上数倍智能变焦于低分辨率全景视频图像输出中相应的ROI图像，且输出图像像素的分辨率及信噪比得到有效改进和提高。

Intelligent zoom image sensor

The invention provides an intelligent zoom image sensor, which comprises a pixel array, a color filter array arranged on the pixel unit of the pixel array and optically coupled to the pixel unit; the peripheral circuit of the image sensor includes an image processing unit, the image processing unit includes an intelligent zoom unit, which controls and processes one or the other. Multiple target ROI. The image sensor simultaneously outputs two video image signals, including a low resolution panoramic video image and a high resolution video image. The ROI image of the high resolution target output by the image sensor of the invention intelligently zooms several times visually to the corresponding ROI image in the output of the low resolution panoramic video image, and the resolution and signal-to-noise ratio of the output image pixels are effectively improved and improved.

【技术实现步骤摘要】
智能变焦图像传感器
本专利技术涉及图像处理技术，尤其涉及一种智能变焦以提高图像视觉，同时提升像素分辨率及信噪比的图像传感器。
技术介绍
CMOS图像传感器应用于各领域，例如监控，安防，智能交通等多种应用。随着技术的发展和应用需求，图像传感器的尺寸越来越小，逐步向高集成度和小型化方向发展。随着像素尺寸变小，感光部件的光通量也会相应减少。在设计中，通常会采用对感光像素进行组合(binning)的方式以提高光感应灵敏度，但这种方式图像传感器输出像素的分辨率会降低。黑白图像传感器具有好的分辨率及信噪比，提高输出像素的分辨率及信噪比以进一步改善彩色图像传感器的性能。在多种应用中，例如安防监控，行人或车辆监控系统，实时目标检测及跟踪非常必要。现有的计算机视觉算法都在后端芯片进行处理，图像传感器输出高分辨率视频图像。众所周知，近年来图像传感器的像素数量不断增加，从VGA，1Mp，2Mp到8Mp，12Mp等。随着技术的发展及产品更新，会有超过50Mp的图像传感器应用于安防领域的特定目的。若图像传感器能够输出低分辨率的全景视频图像以及高分辨率的仅包含目标ROI(regionofinterest，感兴趣区域)，会节省整个监控或安防系统的传输带宽和设计功耗，也会进一步降低后端芯片处理的复杂度。本专利技术基于上述各种问题，提出一种新的技术实现方案，能有效改善现有图像传感器的分辨率和信噪比，同时满足图像传感器输出图像的多应用的需求。
技术实现思路
本专利技术目的提供一种智能变焦图像传感器，所述图像传感器包括：像素阵列，所述像素阵列由多个按行和列排列的像素单元构成，输出像素信号；彩色滤光器阵列，设置于所述像素单元上方并光学耦合至所述像素单元；及外围电路，连接至所述像素阵列，对所述像素阵列输出的像素信号进行读取控制及处理，所述外围电路包括一图像处理单元；所述图像处理单元包括一智能变焦单元，其控制及处理一个或多个目标ROI；所述图像传感器通过不同的MIPI(MobileIndustryProcessorInterface，移动行业处理器接口)虚拟通道同时输出两路视频图像信号，其一路是低分辨率全景视频图像；另一路是仅包含一个或多个目标ROI的高分辨率视频图像；所输出的高分辨率视频图像和低分辨率全景视频图像的输出帧率可以相同，也可以根据应用设定为不同；所述图像传感器通过像素组合方式输出低分辨率全景视频图像；所输出的一个或多个目标ROI为不采用像素组合方式输出的高分辨率视频图像；所述一个或多个目标ROI为固定位置的ROI或非固定位置的ROI；所述智能变焦单元自动剪裁及定义一个或多个目标ROI比例和尺寸；所述智能变焦单元还包括跟踪，检测，识别所述一个或多个目标ROI，包括跟踪或检测一个或多个目标ROI的位置；所述图像传感器输出的包含一个或多个目标ROI的高分辨率视频图像的像素尺寸SROI＝N2×MROI，其中，N为智能变焦倍数，MROI为所述低分辨率全景视频图像中相应ROI的像素尺寸；可选的，所述彩色滤光器阵列(CFA，colorfilterarray)包括R(红)、G(绿)、B(蓝)滤光器，所述彩色滤光器阵列包括多个平铺设置的最小重复单元，每个所述最小重复单元为2×2拜尔格式；可选的，所述多个平铺设置的最小重复单元以6×6格式设置，其输出组合像素为拜尔格式阵列中四个相同像素的均值，其输出的低分辨率全景视频图像像素尺寸是高分辨视频图像输出的相应图像的像素尺寸的1/9，智能变焦倍数N＝3；可选的，所述多个平铺设置的最小重复单元以8×8格式设置，其输出的低分辨率全景视频图像像素尺寸是高分辨率视频图像输出的相应图像的像素尺寸的1/16，智能变焦倍数N＝4；可选的，所述彩色滤光器阵列包括红R、G、B滤光器及透明滤光器C(clearfilter)，所述彩色滤光器阵列包括多个平铺设置的最小重复单元，每个所述最小重复单元分别包括1个B/G/G/R滤光器，其余为透明滤光器C；可选的，每个所述最小重复单元以6×6格式设置，所述1个B/G/G/R分别对称设置于每个所述最小重复单元；B/G/G/R像素分别与其四周8个白像素(clearpixel)的均值做相关性处理，其分辨率及噪声得到提高，输出的像素尺寸是原相应像素尺寸的1/9，智能变焦倍数N＝3；可选的，每个所述最小重复单元以8×8格式设置，所述B/G/G/R像素分别与其四周15个白像素的均值做相关性处理，其分辨率及噪声得到提高，输出的像素尺寸是原相应像素尺寸的1/16，智能变焦倍数N＝4；可选的，每个所述最小重复单元以8×8格式设置，其包括2个B/G/G/R，其余为透明滤光器C；B/G/G/R像素分别为2个相应B/G/G/R像素的均值，与其相应的像素单元位置中14个白像素的均值做相关性处理；其分辨率及噪声得到提高，输出的像素尺寸是原相应像素尺寸的1/16，智能变焦倍数N＝4；可选的，每个所述最小重复单元以8×8格式设置，其包括3个B/G/G/R，其余为透明滤光器C；B/G/G/R像素分别为3个相应B/G/G/R像素的均值，与其相应的像素单元位置中13个白像素的均值做相关性处理；其分辨率及噪声得到提高，输出的像素尺寸是原相应像素尺寸的1/16，智能变焦倍数N＝4；可选的，每个所述最小重复单元以8×8格式设置，其包括4个R/G/G/B，其余为透明滤光器C；B/G/G/R像素分别为4个相应B/G/G/R像素的均值，与其相应的像素单元位置中12个白像素的均值做相关性处理；其分辨率及噪声得到提高，输出的像素尺寸是原相应像素尺寸的1/16，智能变焦倍数N＝4。本专利技术提出的智能变焦图像传感器，同时输出两路视频图像信号低分辨率的全景视频图像和高分辨率的视频图像，输出的高分辨率视频图像为一个或多个目标ROI，高分辨率目标ROI图像多倍智能变焦于所述低分辨率视频图像的相应ROI。本专利技术方案能有效提升图像传感器输出图像视觉，同时可实现仅对图像中ROI进行跟踪识别或处理的应用需求，能有效降低后端系统处理的复杂度。本专利技术同时提供多种彩色滤光器阵列设置格式，采用插入透明滤光器，增设白像素的实现方式有效提高了图像传感器的分辨率及SNR(signaltonoiseratio，信噪比)。附图说明图1为本专利技术提出的智能变焦图像传感器的基本结构框图；图2A～2B为本专利技术图像传感器CFA以2×2拜尔格式的实施例一示意图；图3A～3B为本专利技术图像传感器CFA设置格式实施例二示意图；图4A～4F为本专利技术图像传感器CFA设置格式实施例三示意图；图5A～5B为本专利技术图像传感器CFA设置格式实施例四示意图；及图6A～6C为本专利技术图像传感器CFA设置格式实施例五示意图。具体实施方式以下结合各个附图对本专利技术提出的内容进行详细的实施说明。图1为本专利技术图像传感器基本结构示意图，如图1中所示，图像传感器100包括像素阵列110，以及对像素阵列110输出的像素信号进行控制和处理的外围电路。彩色滤光器阵列CFA设置于像素阵列110中的像素单元上，并光学耦合至像素阵列110中的每一像素单元。外围电路包括行驱动单元120、列驱动单元130、逻辑控制单元140、列A/D转换单元150及图像处理单元160。图像处理单元160内设置一智能变焦单元170。智能变焦单元170控制和处理一本文档来自技高网...

【技术保护点】
1.一种智能变焦图像传感器，所述图像传感器包括：像素阵列，所述像素阵列由多个按行和列排列的像素单元构成，输出像素信号；彩色滤光器阵列，设置于所述像素单元上方并光学耦合至所述像素单元；及外围电路，连接至所述像素阵列，对所述像素阵列输出的像素信号进行读取控制及处理，所述外围电路包括一图像处理单元；其特征在于，所述图像处理单元包括一智能变焦单元，所述智能变焦单元控制和处理一个或多个目标ROI；所述彩色滤光器阵列的设置格式以及所述像素单元的像素组合方式相应于所述图像传感器智能变焦的倍数。

【技术特征摘要】
1.一种智能变焦图像传感器，所述图像传感器包括：像素阵列，所述像素阵列由多个按行和列排列的像素单元构成，输出像素信号；彩色滤光器阵列，设置于所述像素单元上方并光学耦合至所述像素单元；及外围电路，连接至所述像素阵列，对所述像素阵列输出的像素信号进行读取控制及处理，所述外围电路包括一图像处理单元；其特征在于，所述图像处理单元包括一智能变焦单元，所述智能变焦单元控制和处理一个或多个目标ROI；所述彩色滤光器阵列的设置格式以及所述像素单元的像素组合方式相应于所述图像传感器智能变焦的倍数。2.根据权利要求1所述的智能变焦图像传感器，其特征在于，所述图像传感器通过不同的MIPI虚拟通道同时输出两路视频图像信号，一路是低分辨率全景视频图像；另一路是仅包含一个或多个目标ROI的高分辨率视频图像，所述两路视频图像的输出帧率相同，或者不同。3.根据权利要求2所述的智能变焦图像传感器，其特征在于，所述一个或多个目标ROI包括固定位置的ROI或非固定位置的ROI。4.根据权利要求1所述的智能变焦图像传感器，其特征在于，所述智能变焦单元自动剪裁及定义一个或多个目标ROI的比例和尺寸。5.根据权利要求4所述的智能变焦图像传感器，其特征在于，所述智能变焦单元包括跟踪，检测，识别所述一个或多个目标ROI，包括跟踪，检测，识别一个或多个目标ROI的位置。6.根据权利要求1所述的智能变焦图像传感器，其特征在于，所述图像传感器输出的一个或多个目标ROI的高分辨率视频图像的像素尺寸SROI＝N2×MROI，其中，N为智能变焦倍数，MROI为所述低分辨率全景视频图像中相应ROI的像素尺寸。7.根据权利要求1所述的智能变焦图像传感器，其特征在于，所述彩色滤光器阵列包括R、G、B滤光器，所述彩色滤光器阵列包括多个平铺设置的最小重复单元，每个所述最小重复单元为2×2拜尔格式。8.根据权利要求7所述的智能变焦图像传感器，其特征在于，所述彩色滤光器阵列多个平铺设置的最小重复单元以6×6格式设置。9.根据权利要求7所述的智能变焦图像传感器，其特征在于，所述彩色滤光器阵列多个平铺设置的最小重复单元以8×8格式设置。10.根据权利要求1所述的智能变焦图像传感器，其特征在于，所述彩色滤光器阵列包括R、G、B及透明滤光器C，所述彩色...

【专利技术属性】
技术研发人员：汪小勇，胡凯，何金，
申请(专利权)人：上海晔芯电子科技有限公司，
类型：发明
国别省市：上海,31