图像聚焦方法和相关联的图像传感器技术

一种自动聚焦方法包括：用包含像素阵列的相机捕捉场景的图像；计算水平差图像和竖直差图像；以及组合水平差图像和竖直差图像以得到组合图像。该方法还包括从组合图像和强度图像确定相对于相机透镜的像距，相机在该像距处形成对焦图像。像素阵列包括水平相邻像素对和竖直相邻像素对，每个像素对位于相应微透镜下方。对于每个水平相邻像素对，水平差图像包括导出的像素值，该导出的像素值是由水平相邻像素对生成的像素值之间的差的递增函数。对于每个竖直相邻像素对，竖直差图像包括导出的像素值，该导出的像素值是由竖直相邻像素对生成的像素值之间的差的递增函数。像素值之间的差的递增函数。像素值之间的差的递增函数。

【技术实现步骤摘要】
图像聚焦方法和相关联的图像传感器

技术介绍

[0001]许多数字相机都有自动对焦能力。自动聚焦可以是全自动的，使得相机识别场景中的物体并聚焦在物体上。在某些情况下，相机甚至可以决定哪些物体比其他物体更重要，并随后聚焦于更重要的物体。可选地，自动聚焦可以利用规定场景的哪个或哪些部分是感兴趣的用户输入。基于此，自动聚焦功能识别由用户规定的在部分场景内的物体，并将相机聚焦在这些物体上。
[0002]许多数字相机使用对比度自动对焦，其中自动对焦功能调整成像物镜以最大化至少部分场景中的对比度，从而将场景的该部分聚焦。最近，相位检测自动对焦越来越受欢迎，因为它比对比度自动对焦更快。相位检测自动聚焦通过比较穿过成像物镜的一部分(例如，左部)的光与穿过成像物镜的另一部分(例如，右部)的光，直接测量散焦程度。除了捕捉图像的图像传感器之外，一些数字单透镜反光相机还包括专用的相位检测传感器。
[0003]然而，这种解决方案对于更紧凑和/或更便宜的相机是不可行的。因此，相机制造商正在开发具有芯片上相位检测的图像传感器，即，通过在图像传感器的像素阵列中包括相位检测自动聚焦(PDAF)像素而具有集成相位检测能力的图像传感器。

技术实现思路

[0004]常规的PDAF成像系统在照度不足(例如<10勒克斯)、对比度低和纹理有限中的至少一种情况下对场景进行成像时会出现问题。本文中的实施例弥补了这一缺陷。
[0005]在第一方面，一种自动聚焦方法包括以下步骤：(i)用包含像素阵列的相机捕捉场景的图像，(ii)计算水平差图像和竖直差图像，(iii)组合水平差图像与竖直差图像以得到组合图像。该方法还包括(iv)从组合图像和强度图像确定相对于相机透镜的像距，相机在该像距处形成场景的至少部分的对焦图像；以及(v)调整像素阵列与透镜之间的距离，直到该距离等于像距。
[0006]该像素阵列包括(i)多个水平相邻像素对，每个水平相邻像素对位于第一多个微透镜中的相应微透镜的下方，以及(ii)多个竖直相邻像素对。每个竖直相邻像素对位于(a)第一多个微透镜中的相应微透镜或(b)第二多个微透镜中的相应微透镜的下方。
[0007]对于多个水平相邻像素对中的每一个水平相邻像素对，水平差图像包括第一导出的像素值，该第一导出的像素值映射到像素阵列内水平相邻像素对的位置，并且是由水平相邻像素对的每个像素生成的像素值之间的差的递增函数。对于多个竖直相邻像素对中的每一个竖直相邻像素对，竖直差图像包括第二导出的像素值，该第二导出的像素值映射到像素阵列内竖直相邻像素对的位置，并且是由竖直相邻像素对的每个像素生成的像素值之间的差的递增函数。
[0008]在第二方面，图像传感器包含像素阵列、耦合到像素阵列的处理器和存储器。该像素阵列包括(i)多个水平相邻像素对，每个水平相邻像素对位于第一多个微透镜中的相应微透镜的下方，以及(ii)多个竖直相邻像素对，每个竖直相邻像素对位于(a)第一多个微透镜中的相应微透镜的下方或者(b)第二多个微透镜中的相应微透镜的下方。存储器存储机
器可读指令，当由处理器执行时，控制处理器以执行第一方面的方法。
附图说明
[0009]图1示出了示例性使用情境中的图像传感器及其像素阵列。
[0010]图2A和2B是图1的图像传感器的实施例中存在的相应相邻像素对的示意平面图。
[0011]图3是图1的图像传感器的实施例中存在的2
×
2像素子阵列的示意平面图。
[0012]图4是实施例中图1的像素阵列的一部分和与其对准的微透镜的剖视图。
[0013]图5A
‑
5C是成像系统的相应剖视图，示意性地示出了使用相位检测自动聚焦像素的聚焦。
[0014]图6是示出了实施例中的物体相对于图1的像素阵列的天顶角α
k
的示意图。
[0015]图7是实施例中图1的图像传感器的示意框图。
[0016]图8是示出了自动聚焦方法的实施例的流程图。
[0017]图9
‑
11示出了实施例中实施图9的方法的图1的图像传感器的示例聚焦准确度。
具体实施方式
[0018]图1示出了在示例性使用情境190中具有PDAF像素的图像传感器101。图像传感器101在数字相机180中实施，用于对场景150成像。数字相机180例如是照相手机、紧凑式数字相机、平板相机、计算机相机或任何其他相机。数字相机180利用图像传感器101的芯片上相位检测能力来聚焦场景150。当聚焦时，数字相机180利用图像传感器101捕捉场景150的对焦图像120，而不是散焦图像130。
[0019]图2A和2B分别是水平相邻像素对240和竖直相邻像素对250的示意平面图。图1和5所示的图像传感器101具有像素阵列200A，像素阵列200A包括多个水平相邻像素对240和多个竖直相邻像素对250。在实施例中，像素阵列200A形成在半导体衬底中，并且图像传感器101是互补金属氧化物半导体(CMOS)图像传感器。
[0020]水平相邻像素对240包括两个水平相邻像素241和242以及微透镜232。微透镜232位于像素241和242上方，并具有光轴233。在一个实施例中，像素241和242可以形成平面阵列，光轴以90度角与该平面阵列相交。
[0021]虽然微透镜232在图2A和2B的平面图中显示为具有椭圆形横截面，但是它可以具有不同形状的横截面，而不脱离本专利技术的范围。例如，微透镜232可以在平行于坐标系298的x
‑
y平面的平面中具有矩形横截面，使得它完全覆盖像素241和242。微透镜232可以包括球形表面、椭球形表面或非球形表面的一部分。
[0022]竖直相邻像素对250是水平相邻像素对240旋转90度使得它平行于坐标系298的x轴定向，并且像素241和242是竖直相邻的。如在图2B所定向，像素241和242可以分别表示为底部像素和顶部像素。
[0023]在实施例中，每个像素241和像素242都是水平相邻像素对240和竖直相邻像素对250的部分。例如，图3是2
×
2像素子阵列300的示意性平面图，其包括像素311、312、313和314及其上方的微透镜330。微透镜330位于像素311
‑
314上方，使得其光轴331位于像素之间的中心。其上具有微透镜330区域的像素子阵列300的每个侧部相邻像素对可以被视为水平相邻像素对240或竖直相邻像素对250。像素311和312及其上方的微透镜330的区域形成第
一水平相邻像素对240。像素313和314及其上方的微透镜330的区域形成第二水平相邻像素对240。像素311和313及其上方的微透镜330的区域形成第一竖直相邻像素对250。像素312和314及其上方的微透镜330的区域形成第二竖直相邻像素对250。
[0024]图4是像素阵列200A的像素阵列区域400的剖视图，其包括像素411和412，像素411和412本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动聚焦方法，包括：用包含像素阵列的相机捕捉场景的图像，所述像素阵列包括(i)多个水平相邻像素对，每个水平相邻像素对位于第一多个微透镜中的相应微透镜的下方，以及(ii)多个竖直相邻像素对，每个竖直相邻像素对位于(a)所述第一多个微透镜中的相应微透镜的下方或者(b)第二多个微透镜中的相应微透镜的下方；计算水平差图像，对于所述多个水平相邻像素对中的每一个，所述水平差图像包括第一导出的像素值，所述第一导出的像素值映射到所述像素阵列内的所述水平相邻像素对的位置，并且所述第一导出的像素值是由所述水平相邻像素对的每个像素生成的像素值之间的差的递增函数；计算竖直差图像，对于所述多个竖直相邻像素对中的每一个，所述竖直差图像包括第二导出的像素值，所述第二导出的像素值映射到所述像素阵列内的所述竖直相邻像素对的位置，并且所述第二导出的像素值是由所述竖直相邻像素对的每个像素生成的像素值之间的差的递增函数；组合所述水平差图像与所述竖直差图像以得到组合图像；从所述组合图像中确定相对于所述相机的透镜的像距，所述相机在所述像距处形成所述场景的至少部分的对焦图像；以及调整所述像素阵列与所述透镜之间的距离，直到所述距离等于所述像距。2.根据权利要求1所述的方法，其中所述多个竖直相邻像素对中的每一个位于所述第一多个微透镜中的相应微透镜的下方，所述第一多个微透镜中的每一个位于所述像素阵列的多个2
×
2像素子阵列中的相应2
×
2像素子阵列的上方，所述2
×
2像素子阵列的每个像素既是(i)所述多个水平相邻像素对之一的像素，也是(ii)所述多个竖直相邻像素对之一的像素。3.根据权利要求2所述的方法，其中对于所述多个2
×
2像素子阵列中的每一个：捕捉包括利用包括所述像素阵列的图像传感器分别从所述2
×
2像素子阵列的左上像素、右上像素、左下像素和右下像素生成像素值V1、V2、V3和V4；计算所述水平差图像包括将所述第一导出的像素值确定为(V1+V3)
‑
(V2+V4)的第一递增函数；计算所述竖直差图像包括将所述第二导出的像素值确定为(V3+V4)
‑
(V1+V2)的第二递增函数；以及组合包括确定所述组合图像的第三导出的像素值，所述第三导出的像素值是以下各项之一的第三递增函数：(i)所述第一导出的像素值和所述第二导出的像素值的相应平方之和以及(ii)所述第一导出的像素值和第二导出的像素值的相应绝对值之和。4.根据权利要求3所述的方法，其中所述第三递增函数是所述第一导出的像素值和所述第二导出的像素值的所述相应平方之和的平方根的反正切的线性函数。5.根据权利要求3所述的方法，其中所述递增函数包括反正切函数。6.根据权利要求2所述的方法，其中捕捉包括利用包括所述像素阵列的图像传感器分别从所述2
×
2像素子阵列的左上像素、右上像素、左下像素和右下像素生成像素值V1、V2、V3和V4；计算所述水平差图像包括将所述第一导出的像素值确定为((V1+V3)
‑
(V2+V4))/(V1+V2+
V3+V4)的第一递增函数；计算所述竖直差图像包括将所述第二导出的像素值确定为((V3+V4)
‑
(V1+V2))/(V1+V2+V3+V4)的第二递增函数；以及组合包括确定所述组合图像的第三导出的像素值，所述第三导出的像素值是以下各项之一的第三递增函数：(i)所述第一导出的像素值和所述第二导出的像素值的相应平方之和以及(ii)所述第一导出的像素值和所述第二导出的像素值的相应绝对值之和。7.根据权利要求1所述的方法，其中确定包括：用神经网络处理所述组合图像的至少部分以确定所述像距，所述神经网络已经基于由训练相机捕捉的训练图像经由监督式学习进行了训练，所述训练相机具有分别与所述透镜和所述像素阵列相同的训练相机透镜和训练相机像素阵列。8.根据权利要求1所述的方法，进一步包括：计算强度图像，对于所述多个水平相邻像素对中的每一个和所述多个竖直相邻像素对中的与之最接近的竖直相邻像素对，所述强度图像包括求和像素值，所述求和像素值(i)被映射到所述像素阵列中与所述水平相邻像素对和所述最接近的竖直相邻像素对之一相邻的位置，并且(ii)是由所述水平相邻像素对和所述最接近的竖直相邻像素对的每个像素生成的像素值之和的递增函数；以及确定所述像距包括从所述组合图像和所述强度图像确定所述像距。9.根据权利要求8所述的方法，其中所述多个竖直相邻像素对中的每一个位于所述第一多个微透镜中的相应微透镜的下方，所述第一多个微透镜中的每一个位于所述像素阵列的多个2
×
2像素子阵列中的相应2
×
2像素子阵列的上方，所述2
×
2像素子阵列的每个像素既是(i)所述多个水平相邻像素对之一的像素，也是(ii)所述多个竖直相邻像素对之一的像素。10.根据权利要求9所述的方法，其中对于所述多个2
×
2像素子阵列中的每一个：捕捉包括利用包含所述像素阵列的图像传感器分别从2
×
2像素子阵列的左上像素、右上像素、左下像素和右下像素生成像素值V1、V2、V3和V4；计算所述水平差图像包括将所述第一导出的像素值确定为(V1+V3)
‑
(V2+V4)的第一递增函数；计算所述竖直差图像包括将所述第二导出的像素值确定为(V3+V4)
‑
(V1+V2)的第二递增函数；计算所述强度图像包括将所述求和像素值确定为(V1+V2+V3+V4)的第三递增函数；以及所述组合包括确定所述组合图像的第三导出的像素值，所述第三导出的像素值是以下各项之一的第三递增函数：(i)所述第一导出的像素值和所述第二导出的像素值的相应平方之和以及(ii)所述第一导出的像素值和所述第二导出的像素值的相应绝对值之和。11.根据权利要求10所述的方法，其中所述第三递增函数是所述第一导出的像素值和所述第二导出的像素值的相应平方之和的平方根的反正切的线性函数。12.根据权利要求10所述的方法，其中所述递增函数包括反正切函数。13.根据权利要求9所述的方法，其中捕捉包括利用包括所述像素阵列的图像传感器分别从所述2
×
2像素子阵列的左上像素、右上像素、左下像素和右下像素生成像素值V1、V2、V3和V4；
计算所述水平差图像包括将所述第一导出的像素值确...

【专利技术属性】
技术研发人员：博伊德，
申请(专利权)人：豪威科技股份有限公司，
类型：发明
国别省市：