图像处理器及包括图像处理器的图像处理系统技术方案

公开的是图像处理器和包括图像处理器的图像处理系统，并且图像处理器包括：第一处理模块，其用于基于与以第一图案布置的第一正常像素和第一相位检测像素相对应的实际输入图像而生成通过校正第一相位检测像素的第一值而获得的实际输出图像；第二处理模块，其用于计算实际输入图像和实际输出图像之间的逆增益值；以及第三处理模块，其用于基于实际输出图像和逆增益值生成虚拟输入图像，虚拟输入图像对应于与以第二图案布置的第二正常像素和第二相位检测像素，其中，第一处理模块还基于虚拟输入图像而生成通过校正第二相位检测像素的第二值而获得的虚拟输出图像。素的第二值而获得的虚拟输出图像。素的第二值而获得的虚拟输出图像。

【技术实现步骤摘要】
图像处理器及包括图像处理器的图像处理系统
[0001]相关申请的交叉引用
[0002]本申请要求于2022年4月20日提交的编号为10
‑
2022
‑
0048789的韩国专利申请的优先权，其公开内容整体通过引用并入本文。


[0003]本公开的多种实施例涉及半导体设计技术，更具体地涉及用于处理从图像传感器生成的图像的图像处理器及包括该图像处理器的图像处理系统。

技术介绍

[0004]图像传感器是用于使用半导体对光做出反应的性质来捕捉图像的器件。图像传感器可以大致被分成电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器。最近，CMOS图像传感器被广泛使用，这是因为CMOS图像传感器可以允许模拟和数字控制电路两者被直接实现在单个集成电路(IC)上。
[0005]每个图像传感器可以支持自动聚焦功能。图像传感器可以包括用于相位检测的相位检测像素以支持自动聚焦功能。在图像传感器中包括的像素阵列中，相位检测像素可以被稀疏地布置。相位检测像素可以根据滤色器阵列、微透镜等的方面而以多种方式布置。

技术实现思路

[0006]本公开的多种实施例涉及图像处理器以及包括该图像处理器的图像处理系统，当相位检测像素的图案(即位置和/或密度)改变时，它们能够基于虚拟输入图像预先验证图像信号处理(ISP)算法。
[0007]根据本公开的一实施例，一种图像处理器可以包括：第一处理模块，其适于基于实际输入图像生成实际输出图像，实际输入图像对应于以第一图案布置的第一正常像素和第一相位检测像素，实际输出图像是通过校正第一相位检测像素的第一相位检测像素值而获得的；第二处理模块，其适于计算实际输入图像和实际输出图像之间的逆增益值；以及第三处理模块，其适于基于实际输出图像和逆增益值生成虚拟输入图像，虚拟输入图像对应于以与第一图案不同的第二图案布置的第二正常像素和第二相位检测像素相对应，其中，第一处理模块还适于基于虚拟输入图像生成虚拟输出图像，虚拟输出图像是通过校正第二相位检测像素的第二相位检测像素值而获得的。
[0008]根据本公开的一实施例，一种图像处理系统可以包括：图像传感器，其包括以第一图案布置的第一正常像素和第一相位检测像素，以及适于生成与第一正常像素和第一相位检测像素相对应的实际输入图像；以及图像处理器，其适于：基于实际输入图像生成实际输出图像，通过使用实际输入图像和实际输出图像之间的逆增益值来生成具有与第一图案不同的第二图案的虚拟输入图像，以及基于虚拟输入图像生成虚拟输出图像。
[0009]根据本公开的一实施例，一种处理图像的方法，方法可以包括：处理第一输入图像以生成第一输出图像，第一输入图像与第一图案相对应；基于第一输出图像以及第一输入
图像和第一输出图像之间的逆增益值生成第二输入图像，第二输入图像与第二图案相对应；以及处理第二输入图像以生成第二输出图像。
附图说明
[0010]图1是示出根据本公开的一实施例的图像处理系统的框图。
[0011]图2是示出根据本公开的一实施例的图1所示的图像传感器的框图。
[0012]图3是示出根据本公开的一实施例的图2所示的像素阵列的示例的图。
[0013]图4是示出根据本公开的一实施例的图1所示的图像处理器的框图。
[0014]图5是示出根据本公开的一实施例的图4所示的第一处理模块的框图。
[0015]图6至图10是示出根据本公开的一实施例的图1所示的图像处理系统的操作的图。
具体实施方式
[0016]本公开的多种实施例参考附图在下文进行描述，以详细地描述本公开，使本公开所属领域的技术人员可以轻松地实现本公开的技术实质。
[0017]将理解的是，当一个元素被称为被“连接至”或“耦接至”另一元素时，该元素可以被直接连接至或耦接至另一元素，或者被电连接至或耦接至另一元素，一个或多个元素置于其间。此外，还将理解的是，当术语“包括”和“包含”在本说明书中使用时，不排除存在一个或多个其他元素，而是还可以包括或具有一个或多个其他元素，除非另有提及。在本说明书的整个描述中，一些组件以单数形式进行描述，但是本公开不限于此，并且将理解的是，组件可以形成为复数。
[0018]图1是示出根据本公开的一实施例的图像处理系统10的框图。
[0019]参考图1，图像处理系统10可以包括图像传感器100和图像处理器200。
[0020]图像传感器100可以生成与第一正常像素R、G和B以及第一相位检测像素LP和RP相对应的实际输入图像IMG1。第一正常像素R、G和B以及第一相位检测像素LP和RP可以以第一图案布置(参考图3)。
[0021]图像处理器200可以基于与第一图案相对应的实际输入图像IMG1生成实际输出图像IMGOUT1，以及基于与第二图案相对应的虚拟输入图像IMG2生成虚拟输出图像IMGOUT2，第二图案不同于第一图案。图像处理器200可以通过使用基于实际输入图像IMG1和实际输出图像IMGOUT1的逆增益值IGs来生成虚拟输入图像IMG2。
[0022]图像处理器200可以在生成虚拟输入图像IMG2时考虑基底(pedestal)。例如，图像处理器200可以通过以下操作而考虑基底以生成虚拟输入图像IMG2：将与基底相对应的编码值(例如64)反映在实际输入图像IMG1和实际输出图像IMGOUT1中的每一个中；基于反映编码值的实际输入图像IMG1和反映编码值的实际输出图像IMGOUT1计算反映编码值的逆增益值IGs；对反映编码值的实际输出图像IMGOUT1应用反映编码值的逆增益值IGs；以及补偿编码值([{IMG1
‑
64}/{IMGOUT1
‑
64}]*{IMGOUT1
‑
64}+64)。由于基底是周知的技术，省略了其详细描述。
[0023]图2是示出根据本公开的一实施例的图1所示的图像传感器100的框图。
[0024]参考图2，图像传感器100可以包括行控制器110、像素阵列120、斜坡信号生成器130和信号转换器140。
[0025]行控制器110可以生成用于针对每一行而控制像素阵列120的行控制信号RCTRLs。例如，行控制器110可以生成用于控制被布置在像素阵列120的第一行中的像素的第一行控制信号、以及生成用于控制被布置在像素阵列120的第y行中的像素的第y行控制信号，其中“y”是等于或大于2的自然数。
[0026]像素阵列120可以包括被布置在多个行和多个列的交点处的多个像素R、G、B、LP和RP(参考图3)。多个像素R、G、B、LP和RP可以基于行控制信号RCTRLs针对每一行而通过多个列线输出多个像素信号PXOUTs。例如，多个像素R、G、B、LP和RP中的被布置在第一行中的像素可以基于第一行控制信号在对第一单元行时间(unit row time)生成像素信号PXOUTs，以及多个像素R、G、B、LP和RP中的被布置在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理器，包括：第一处理模块，其适于基于实际输入图像生成实际输出图像，所述实际输入图像对应于以第一图案布置的第一正常像素和第一相位检测像素，所述实际输出图像是通过校正所述第一相位检测像素的第一相位检测像素值而获得的；第二处理模块，其适于计算所述实际输入图像和所述实际输出图像之间的逆增益值；以及第三处理模块，其适于基于所述实际输出图像和所述逆增益值生成虚拟输入图像，所述虚拟输入图像对应于以第二图案布置的第二正常像素和第二相位检测像素，所述第二图案不同于所述第一图案，其中，所述第一处理模块还适于基于所述虚拟输入图像生成虚拟输出图像，所述虚拟输出图像是通过校正所述第二相位检测像素的第二相位检测像素值而获得的。2.根据权利要求1所述的图像处理器，其中：所述第一相位检测像素包括至少一个彼此相邻的成对像素，所述成对像素包括具有第一滤色器的第一像素和具有第二滤色器的第二像素，以及所述第二处理模块基于被设置在所述第一像素和第二像素外围的外围像素的像素值来计算所述逆增益值。3.根据权利要求1所述的图像处理器，其中：所述第一相位检测像素包括至少一个彼此相邻的第一成对像素和至少一个彼此相邻的第二成对像素，所述第一成对像素包括具有第一滤色器的第一像素和具有第二滤色器的第二像素，所述第二成对像素包括具有第三滤色器的第三像素和具有所述第二滤色器的第四像素，所述逆增益值包括第一逆增益值和第二逆增益值，所述第二处理模块基于被设置在所述第一像素和第二像素外围的第一外围像素的第一像素值来计算所述第一逆增益值，以及所述第二处理模块基于所述第一逆增益值和偏移值计算所述第二逆增益值。4.根据权利要求1所述的图像处理器，其中，所述第二处理模块基于所述第一正常像素中的被设置在所述第一相位检测像素外围的外围像素的像素值来计算所述逆增益值。5.根据权利要求1所述的图像处理器，其中，所述第三处理模块通过根据所述第二图案对所述实际输出图像应用所述逆增益值来生成所述虚拟输入图像。6.根据权利要求1所述的图像处理器，其中，所述第一处理模块包括：第一校正模块，其适于：基于与所述实际输入图像有关的实际校准增益而校正所述第一相位检测像素值，以及基于与所述虚拟输入图像有关的虚拟校准增益而校正所述第二相位检测像素值；以及第二校正模块，其适于：通过基于与所述实际输入图像有关的实际动态增益而校正所述第一相位检测像素值来生成所述实际输出图像，以及通过基于与所述虚拟输入图像有关的虚拟动态增益而校正所述第二相位检测像素值来生成所述虚拟输出图像。7.根据权利要求6所述的图像处理器，其中，所述第一校正模块包括：第一校正器，其适于：通过基于所述第一正常像素的像素值而校正被设置在所述第一
相位检测像素外围的外围像素的像素值来生成与所述实际输入图像相对应的第一实际校正图像，以及通过基于所述第二正常像素的像素值而校正被设置在所述第二相位检测像素外围的外围像素的像素值来生成与所述虚拟输入图像相对应的第一虚拟校正图像；第二校正器，其适于：通过基于所述第一实际校正图像中包括的像素值而校正所述第一正常像素中的具有相同滤色器的像素之间的不平衡来生成与所述第一实际校正图像相对应的第二实际校正图像，以及通过基于所述第一虚拟校正图像中包括的像素值而校正所述第二正常像素中的具有相同滤色器的像素之间的不平衡来生成与所述第一虚拟校正图像相对应的第二虚拟校正图像；以及第三校正器，其适于：通过从所述第二实际校正图像提取所述实际校准增益以及基于所述实际校准增益而校正所述第一相位检测像素值来生成与所述第二实际校正图像相对应的第三实际校正图像，以及通过从所述第二虚拟校正图像提取所述虚拟校准增益以及基于所述虚拟校准增益而校正所述第二相位检测像素值来生成与所述第二虚拟校正图像相对应的第三虚拟校正图像。8.根据权利要求6所述的图像处理器，其中，所述第二校正模块通过从所述第三实际校正图像提取所述实际动态增益以及基于所述实际动态增益而校正所述第一相位检测像素值来生成与所述第三实际校正图像相对应的所述第一实际输出图像，以及通过从所述第三虚拟校正图像提取所述虚拟动态增益以及基于所述虚拟动态增益而校正所述第二相位检测像素值来生成与所述第三虚拟校正图像相对应的所述虚拟输出图像。9.一种图像处理系统，包括：图像传感器，其包括以第一图案布置的第一正常像素和第一相位检测像素，以及适于生成与所述第一正常像素和所述第一相位检测像素相对应的实际输入图像；以及图像处理器，其适于：基于所述实际输入图像生成实际输出图像，通过使用所述实际输入图像和所述实际输出图像之间的逆增益值来生成具有与所述第一图案不同的第二图案的虚拟输入图像，以及基于所述虚拟输入图像生成虚拟输出图像。10.根据权利要求9所述的图像处理系统，其中：所述第一相位检测像素包括...

【专利技术属性】
技术研发人员：韩知希，
申请(专利权)人：爱思开海力士有限公司，
类型：发明
国别省市：