相机模块及由此的深度信息提取方法技术

根据本发明专利技术的一个实施例，相机模块包括：照明单元，用于输出在对象处发射的输出光信号；透镜单元，该透镜单元包括红外(IR)滤光器和布置在该IR滤光器上的至少一片透镜，并且聚集从对象反射的输入光信号；倾斜单元，用于通过控制IR滤光器的倾斜来使输入光信号的光路偏移；图像传感器单元，用于从由透镜单元聚集并由倾斜单元偏移的输入光信号中生成电信号；图像控制单元，用于通过使用由图像传感器单元接收的输入光信号与输出光信号之间的相位差来提取对象的深度信息；以及检测单元，用于检测IR滤光器的倾斜信息并将IR滤光器的倾斜信息提供给图像控制单元。息提供给图像控制单元。息提供给图像控制单元。

【技术实现步骤摘要】
【国外来华专利技术】相机模块及由此的深度信息提取方法


[0001]本专利技术涉及相机模块和使用该相机模块提取深度信息的方法。

技术介绍

[0002]三维(3D)内容已应用于各个领域，例如教育、制造、自主驾驶等领域，以及游戏和文化领域，并且需要深度信息(例如，深度图)来获得3D内容。深度信息是表示空间距离以及从二维(2D)图像上的一个点到另一点的距离的信息。
[0003]作为获得深度信息的方法之一，存在一种通过将红外(IR)结构光投射到对象上并分析从对象反射的光来提取深度信息的方法。使用IR结构光的方法的缺点在于，难以获得关于移动的对象的期望水平的深度分辨率。
[0004]作为可以替代使用IR结构光的方法的技术，飞行时间(ToF)方法受到关注。
[0005]根据ToF方法，通过测量飞行时间(即，反射所发射的光的时间)来计算到对象的距离。ToF方法的最大优点是可以快速实时地提供与到3D空间的距离有关的信息。另外，用户无需额外地应用算法或执行硬件校正即可获得准确的距离信息。另外，即使在测量非常接近的对象或移动的对象时，也可以获得准确的深度信息。
[0006]但是，当前的ToF方法存在的问题在于，对于每个帧可以获得的信息(即分辨率)非常低。
[0007]一种提高分辨率的方法是增加图像传感器的像素数量。然而，在这种情况下，相机模块的体积和制造成本将大大增加。
[0008]因此，需要一种在不显著地增加相机模块的体积和制造成本的情况下提高分辨率的深度信息获取方法。

技术实现思路

[0009][技术问题][0010]本专利技术旨在提供一种用于使用ToF方法提取深度信息的相机模块以及一种使用该相机模块提取深度信息的方法。
[0011][技术方案][0012]根据本专利技术的一个方面，一种相机模块包括：照明单元，其被配置为输出要发射到对象的输出光信号；透镜单元，其被配置为聚集从对象反射的输入光信号，该透镜单元包括红外(IR)滤光器和设置在该IR滤光器上的至少一个透镜；倾斜单元，其被配置为控制IR滤光器的倾斜以使输入光信号的光路偏移；图像传感器单元，其被配置为从由透镜单元聚集并由倾斜单元偏移的输入光信号中生成电信号；图像控制单元，其被配置为使用输出光信号与输入光信号之间的相位差来提取对象的深度信息，该输入光信号由图像传感器单元接收；以及检测单元，其被配置为检测IR滤光器的倾斜信息，并将IR滤光器的倾斜信息提供给图像控制单元。
[0013]检测单元可以包括第一霍尔传感器和第二霍尔传感器以检测与IR滤光器一体移
动的磁体的位置，并且第一霍尔传感器和第二霍尔传感器可以布置成相对于IR滤光器的中心形成90
°
或更大且小于180
°
的角度。
[0014]第一霍尔传感器和第二霍尔传感器可以布置在与IR滤光器的外侧相对应的位置处，以分别与磁体和IR滤光器间隔开。
[0015]第一霍尔传感器和第二霍尔传感器中的一个可以布置在IR滤光器的侧面上，以与磁体间隔一定距离，并且第一霍尔传感器和第二霍尔传感器中的另一个可以布置在IR滤光器的底部处，以与磁体间隔一定距离。
[0016]图像控制单元可以包括：偏移计算单元，其被配置为使用IR滤光器的倾斜信息来计算输入光信号的偏移值；比较单元，其被配置为将由偏移计算单元计算的输入光信号的偏移值与预先存储的偏移值进行比较；以及校正单元，其被配置为使用输入光信号的偏移值与预先存储的偏移值之间的差值来校正对象的深度信息，并且IR滤光器的倾斜信息可以通过第一霍尔传感器和第二霍尔传感器来获得。
[0017]偏移计算单元可以使用关于由第一霍尔传感器和第二霍尔传感器检测到的磁体的位置的信息来计算IR滤光器在X轴方向、Y轴方向和Z轴方向上倾斜时的倾斜值，并且使用IR滤光器在X轴方向、Y轴方向和Z轴方向上的倾斜值来计算输入光信号的偏移值。
[0018]倾斜单元可以包括微机电系统(MEMS)、音圈电动机(VCM)和压电元件中的至少一个。
[0019]根据本专利技术的另一方面，一种通过相机模块提取深度信息的方法包括：由照明单元输出要发射到对象的输出光信号；由透镜单元聚集从对象反射的输入光信号；由倾斜单元通过控制包括在透镜单元中的IR滤光器的倾斜来使输入光信号的光路偏移；由检测单元检测IR滤光器的倾斜信息；由图像传感器从聚集并偏移的输入光信号中生成电信号；以及由图像控制单元使用输出光信号和输入光信号之间的相位差以及由检测单元检测到的IR滤光器的倾斜信息来提取对象的深度信息，该输入光信号由图像传感器单元接收。
[0020]IR滤光器的倾斜信息的检测可以包括：由第一霍尔传感器和第二霍尔传感器来检测与IR滤光器一体移动的磁体的位置信息，第一霍尔传感器和第二霍尔传感器布置成相对于IR滤光器的中心形成90
°
或更大且小于180
°
的角度。
[0021]对象的深度信息的提取可以包括：使用IR滤光器的倾斜信息计算输入光信号的偏移值，IR滤光器的倾斜信息使用磁体的位置信息来检测；将在计算输入光信号的偏移值时所计算的偏移值与预先存储的值进行比较；以及使用所计算的偏移值和预先存储的值之间的差值来校正对象的深度信息。
[0022]输入光信号的偏移值的计算可以包括：使用关于由第一霍尔传感器和第二霍尔传感器检测到的磁体的位置的信息来计算IR滤光器在X轴方向、Y轴方向和Z轴方向上倾斜时的倾斜值，并且使用IR滤光器在X轴方向、Y轴方向和Z轴方向上的倾斜值来计算输入光信号的偏移值。
[0023][有益效果][0024]利用根据本专利技术的实施例的相机模块，可以在不显著地增加图像传感器的像素数量的情况下获得高分辨率深度信息。
[0025]根据本专利技术的实施例，可以使用简单的结构来获得子像素偏移效果。
[0026]此外，根据本专利技术的实施例，可以精细地检测子像素偏移的程度，并且从而可以获
得超分辨率深度信息。
附图说明
[0027]图1是根据本专利技术的实施例的飞行时间(ToF)相机模块的框图。
[0028]图2是用于描述入射光信号的频率的图。
[0029]图3示出了相机模块的截面图的示例。
[0030]图4是用于描述根据本专利技术的实施例的生成电信号的过程的图。
[0031]图5是用于描述根据本专利技术的实施例的图像传感器(130)的图。
[0032]图6是用于描述通过倾斜单元(140)改变反射光信号的光路的图。
[0033]图7和图8是用于描述根据本专利技术的实施例的超分辨率(SR)技术的图。
[0034]图9是用于描述根据本专利技术的实施例的像素值排列过程的图。
[0035]图10和图11是用于描述通过控制红外(IR)滤光器的倾斜而使在图像传感器上输入的图像帧偏移的效果的图。
[0036]图12是根据本专利技术的实施例的ToF相机模块的框图。
[0037]图13是根据本公开的实施例的ToF相机模块的截面图。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种相机模块，包括：照明单元，其被配置为输出要发射到对象的输出光信号；透镜单元，其被配置为聚集从所述对象反射的输入光信号，所述透镜单元包括红外滤光器和设置在所述红外滤光器上的至少一个透镜；倾斜单元，其被配置为控制所述红外滤光器的倾斜以使所述输入光信号的光路偏移；图像传感器单元，其被配置为从由所述透镜单元聚集并由所述倾斜单元偏移的输入光信号中生成电信号；图像控制单元，其被配置为使用所述输出光信号与所述输入光信号之间的相位差来提取所述对象的深度信息，所述输入光信号由所述图像传感器单元接收；以及检测单元，其被配置为检测所述红外滤光器的倾斜信息，并将所述红外滤光器的倾斜信息提供给所述图像控制单元。2.根据权利要求1所述的相机模块，其中，所述检测单元包括第一霍尔传感器和第二霍尔传感器，以检测与所述红外滤光器一体移动的磁体的位置，其中，所述第一霍尔传感器和所述第二霍尔传感器布置成相对于所述红外滤光器的中心形成90
°
或更大并且小于180
°
的角度。3.根据权利要求2所述的相机模块，其中，所述第一霍尔传感器和所述第二霍尔传感器布置在与所述红外滤光器的外侧相对应的位置处，以分别与所述磁体和所述红外滤光器间隔开。4.根据权利要求2所述的相机模块，其中，所述第一霍尔传感器和所述第二霍尔传感器中的一个布置在所述红外滤光器的侧面上，以与所述磁体间隔一定距离，并且所述第一霍尔传感器和所述第二霍尔传感器中的另一个布置在所述红外滤光器的底部处，以与所述磁体间隔一定距离。5.根据权利要求2所述的相机模块，其中，所述图像控制单元包括：偏移计算单元，其被配置为使用所述红外滤光器的倾斜信息来计算所述输入光信号的偏移值；比较单元，其被配置为将由所述偏移计算单元计算的输入光信号的偏移值与预先存储的偏移值进行比较；以及校正单元，其被配置为使用所述输入光信号的偏移值与预先存储的偏移值之间的差值来校正所述对象的深...

【专利技术属性】
技术研发人员：金润成，张成河，李昌奕，
申请(专利权)人：LG伊诺特有限公司，
类型：发明
国别省市：