图像处理系统技术方案

本发明专利技术提供了一种图像处理系统，该图像处理系统包含图像撷取装置、像素合并装置、时域滤波器、第一存储器、马赛克处理装置、第二存储器及图像混合装置。图像撷取装置用以撷取原始图像。像素合并装置耦接于图像撷取装置，用以依据原始图像输出增强图像。时域滤波器耦接于像素合并装置，用以依据增强图像输出预览图像。第一存储器用以缓存原始图像。马赛克处理装置耦接于第一存储器，用以输出处理图像。第二存储器用以缓存增强图像。图像混合装置耦接于马赛克处理装置及第二存储器，用以依据处理图像及增强图像，输出快照图像。

【技术实现步骤摘要】
图像处理系统
本专利技术提供一种图像处理系统，尤指一种利用零快门延迟操作以生成高画质的快照图像的图像处理系统。
技术介绍
随着摄影科技的日新月异，各种光感测器及图像处理演算法也已经应用于日常生活中。例如，当相机在昏暗场景撷取图像时，撷取到的图像可能会曝光不足。由于曝光不足的图像其信号噪声比(Signal-to-noiseRatio)偏低，故噪声(热噪声或是颗粒噪声)会变得非常明显且随机分布于整张曝光不足的图像中。为了提供在昏暗场景令人满意的图像画质，各种不同拜尔(Bayer)滤色镜的格式也被应用于光感测器。并且，拜尔滤色镜可视为多个具有三原色的滤色镜所构成的色彩滤波阵列(ColorFilterArray，CFA)，其以矩形方格的排列组态设置于光感测器中。然而，在较新的拜尔滤色镜的格式中，色彩滤波阵列可包含2×2个拜尔滤色镜样式，如红/黄/黄/蓝(R/Y/Y/B)的滤色镜。对于较新的拜尔滤色镜的格式，其设计目的在于提升相机在昏暗场景中撷取图像的信号噪声比，以提升图像画质。然而，目前大部分的图像信号处理器并不支援具有较新的拜尔滤色镜的格式的图像。并且，虽然拜尔滤色镜可提升撷取到的图像的信号噪声比，却牺牲了图像的解析度或是色彩保真度(ColorFidelity)。原因在于，色彩滤波阵列要搭配马赛克程序，以降低噪声。换句话说，对于相机撷取到的图像而言，当图像经过后期处理时，信号噪声比的提升与维持图像解析度的功效常常只能两者选择其一。因此，发展一种图像处理系统，用以将较新的拜尔滤色镜的格式转换为标准拜尔滤色镜的格式，且能在不牺牲图像解析度的条件下提供高图像画质，是当今重要的设计议题。
技术实现思路
本专利技术一实施例提出一种图像处理系统，包含图像撷取装置、像素合并装置、时域滤波器、第一存储器、马赛克处理装置、第二存储器及图像混合装置。图像撷取装置用以撷取具有第一解析度的原始图像。像素合并装置耦接于图像撷取装置，用以依据原始图像输出具有第二解析度的增强图像。时域滤波器耦接于像素合并装置，用以依据增强图像输出具有第二解析度的一预览图像。第一存储器耦接于图像撷取装置，用以缓存原始图像。马赛克处理装置耦接于第一存储器，用以输出具有第一解析度的处理图像。第二存储器耦接于时域滤波器，用以通过时域滤波器缓存增强图像。图像混合装置耦接于马赛克处理装置及第二存储器，用以依据处理图像及增强图像，输出具有第一解析度的快照图像。图像撷取装置、像素合并装置及时域滤波器恒开启。马赛克处理装置及图像混合装置依据快照信号选择性地开启。第一解析度大于第二解析度。附图说明图1为本专利技术的图像处理系统的实施例的方块图；图2为图1的图像处理系统中，图像撷取装置的拜尔滤色镜的样式的示意图；图3为图1的图像处理系统中，马赛克处理装置及图像混合装置进入待命模式的示意图；图4为图1的图像处理系统中，马赛克处理装置及图像混合装置进入启动模式的示意图；图5为图1的图像处理系统中，引入人工智能控制器的示意图。附图标记说明100及200、图像处理系统；10、图像撷取装置；10a、光感测器；11、像素合并装置；12、时域滤波器；13、第一存储器；14、马赛克处理装置；15、第二存储器；16、图像混合装置；CFA、色彩滤波阵列；SA1、SA2及SA3、子阵列；SG、矩形方格；R1、G2及G3、滤色镜；IMGA、图像范围；F1至F12、数据流；17、人工智能控制器。具体实施方式图1为本专利技术的图像处理系统100的实施例的方块图。图2为图像处理系统100中，图像撷取装置10的拜尔滤色镜的样式的示意图。图像处理系统100可视为相容于任何拜尔滤色镜的样式的“预处理”的系统。图像撷取装置10具有执行零快门延迟(Zero-shutter-lag)操作的功能。图像处理系统100可包含图像撷取装置10、像素合并装置11、时域滤波器12、第一存储器13、马赛克处理装置14、第二存储器15及图像混合装置16。图像撷取装置10可用以撷取具有第一解析度的原始图像。图像撷取装置10可为任何种类的具有光感应器10a的光检测器件，如具有互补式金属氧化物半导体(ComplementaryMetal-Oxide-Semiconductor，CMOS)的镜头，或是具有感光耦合器件(Charge-coupledDevice，CCD)的相机。在图像处理系统100中，多个拜尔滤色镜(BayerFilter)可应用于光感应器10a中。该些拜尔滤色镜的样式可用色彩滤波阵列(ColorFilterArray)的形式叠在光感测器10a之上。举例而言，如图2，图像撷取装置10可以用色彩滤波阵列CFA的形式产生该些拜尔滤色镜的样式(BayerPatterns)，且叠在图像撷取装置10中的光感测器10a之上。色彩滤波阵列CFA包含多个子阵列，如子阵列SA1、子阵列SA2以及子阵列SA3。每一个子阵列可包含N×N个矩形方格SG的相同原色的滤色镜。N是大于1的正整数。举例而言，该些拜尔滤色镜的样式可为基于以四个单位为一组的拜尔滤色镜样式，且每一个子阵列包含2×2个矩形方格。在图2中，子阵列SA1可包含2×2个“红色”滤色镜的矩形方格。换句话说，子阵列SA1可视为基于以四个单位(矩形方格)为一组的红色滤色镜，表示为滤色镜R1。子阵列SA2可包含2×2个“绿色”滤色镜的矩形方格。换句话说，子阵列SA2可视为基于以四个单位(矩形方格)为一组的绿色滤色镜，表示为滤色镜G2。子阵列SA3可包含2×2个“绿色”滤色镜的矩形方格。换句话说，子阵列SA3可视为基于以四个单位(矩形方格)为一组的绿色滤色镜，表示为滤色镜G3。因此，在色彩滤波阵列CFA中，一行(Row)的矩形方格SG所代表的滤色镜的颜色序列可以表示为“R1R1G2G2…”。类似地，在色彩滤波阵列CFA中，一列(Column)的矩形方格SG所代表的滤色镜的颜色序列可以表示为“R1R1G3G3…”。由于色彩滤波阵列CFA可以叠在光感应器10a的图像范围IMGA上，因此，光感测器10a可检测至少一个颜色的光线强度，位置以及其对应的波长特性。因此，光感测器10a可以区隔不同颜色的光信息(如不同原色光的信息)。然而，在图像处理系统100中，多个拜尔滤色镜的样式或是其配置方式也可以合理地变动。任何标准或是非标准规格的拜尔滤色镜的格式或样式的应用都属于本专利技术的范畴。像素合并装置11耦接于图像撷取装置10，用以依据原始图像输出具有第二解析度的增强图像。举例而言，像素合并装置11可用于结合一部分的矩形方格SG的信息且产生多个标准拜尔滤色镜的样式，并进一步产生具有第二解析度的增强图像。并且，由于一部分的矩形方格SG的信息被结合，因此，原始图像的噪声的标准差(NoiseVariance)将可降低，故可提升信号噪声比。换句话说，增强图像的信号噪声比大于原始图像的信号噪声比。并且，像素合并装置11可以将多个非标准的拜尔本文档来自技高网...

【技术保护点】
1.一种图像处理系统，其特征在于，所述系统包括：/n一图像撷取装置，用以撷取具有一第一解析度的一原始图像；/n一像素合并装置，耦接于所述图像撷取装置，用以依据所述原始图像输出具有一第二解析度的一增强图像；/n一时域滤波器，耦接于所述像素合并装置，用以依据所述增强图像输出具有所述第二解析度的一预览图像；/n一第一存储器，耦接于所述图像撷取装置，用以缓存所述原始图像；/n一马赛克处理装置，耦接于第一存储器，用以输出具有所述第一解析度的一处理图像；/n一第二存储器，耦接于所述时域滤波器，用以通过所述时域滤波器缓存所述增强图像；及/n一图像混合装置，耦接于所述马赛克处理装置及所述第二存储器，用以依据所述处理图像及所述增强图像，输出具有所述第一解析度的一快照图像；/n其中所述图像撷取装置、所述像素合并装置及所述时域滤波器恒开启，所述马赛克处理装置及所述图像混合装置依据一快照信号选择性地开启，且所述第一解析度大于所述第二解析度。/n

【技术特征摘要】
20190418 US 16/387,5651.一种图像处理系统，其特征在于，所述系统包括：
一图像撷取装置，用以撷取具有一第一解析度的一原始图像；
一像素合并装置，耦接于所述图像撷取装置，用以依据所述原始图像输出具有一第二解析度的一增强图像；
一时域滤波器，耦接于所述像素合并装置，用以依据所述增强图像输出具有所述第二解析度的一预览图像；
一第一存储器，耦接于所述图像撷取装置，用以缓存所述原始图像；
一马赛克处理装置，耦接于第一存储器，用以输出具有所述第一解析度的一处理图像；
一第二存储器，耦接于所述时域滤波器，用以通过所述时域滤波器缓存所述增强图像；及
一图像混合装置，耦接于所述马赛克处理装置及所述第二存储器，用以依据所述处理图像及所述增强图像，输出具有所述第一解析度的一快照图像；
其中所述图像撷取装置、所述像素合并装置及所述时域滤波器恒开启，所述马赛克处理装置及所述图像混合装置依据一快照信号选择性地开启，且所述第一解析度大于所述第二解析度。


2.根据权利要求1所述的系统，其特征在于，所述图像撷取装置用以产生多个拜尔滤色镜的样式，所述拜尔滤色镜的样式以一色彩滤波阵列的形式叠在所述图像撷取装置中的一光感测器之上，所述色彩滤波阵列包含多个子阵列，每一个子阵列包含N×N个矩形方格的相同原色的滤色镜，且N是大于1的正整数。


3.根据权利要求2所述的系统，其特征在于，所述拜尔滤色镜的样式为基于以四个单位为一组的拜尔滤色镜样式，且所述每一个子阵列包含2×2个矩形方格。


4.根据权利要求2所述的系统，其特征在于，所述像素合并装置用于结合一部分的矩形方格信息且产生多个标准拜尔滤色镜的样式，以产生具有所述第二解析度的所述增强图像，且所述增强图像的一格式对应多个拜尔滤色镜的一标准格式。


5.根据权利要求2所述的系统，其特征在于，所述马赛克处理装置用于结合一部分的矩形方格信息、产生多个标准拜尔滤色镜的样式及将所述标准拜尔滤色镜的样式的矩形方格内插，以产生具有所述第一解析度的所述处理图像，且所述处理图像的一格式对应标准拜尔滤色镜的一格式。


6.根据权利要求1所述的系统，其特征在于，所述增强图像的一信号噪声比大于所述原始图像的一信号噪声比。


7.根据权利要求1所述的系统，其特征在于，所述时域滤波器在一曝光不足的条件下，将所述增强图像的随机噪声波动平滑化，以执行一消除噪声功能。


8.根据权利要求1所述的系统，其特征在于，所述图像混合装置将缓存于所述第二存储器内的所述增强图像的信息与所述处理图像的信息结合，以增加所述处理图像的一信号噪声比。


9.根据权利要求8所述的系统，其特征在于，在缓存于所述第二存储器内的所述增强图像的所述信息与所述处理图像的...

【专利技术属性】
技术研发人员：李湘村，谢必克，苏俊杰，陈一舟，
申请(专利权)人：耐能智慧股份有限公司，
类型：发明
国别省市：中国台湾;71