相机模块和用于通过相机模块提取深度信息的方法技术

根据本发明专利技术的实施例的相机模块包括：结构化投光器，该结构化投光器产生具有特定图案的结构化光并且然后将该结构化光投射到对象上，并且针对每个图像帧将结构化光的光路改变为图像传感器的子像素；以及结构化光相机，该结构化光相机拍摄在其上投射结构化光的对象以便生成多个低分辨率图像帧，并且使用多个低分辨率图像帧以便生成高分辨率深度图。

【技术实现步骤摘要】
【国外来华专利技术】相机模块和用于通过相机模块提取深度信息的方法
本专利技术涉及一种相机模块以及使用该相机模块提取深度信息的方法。
技术介绍
三维(3D)内容已应用于各个领域，诸如教育、制造、自动驾驶等领域以及游戏和文化领域，并且深度信息(例如，深度图)是获取3D内容所必要的。深度信息是表示空间距离和从二维(2D)图像上的一个点到另一点的距离的信息。作为获得深度信息的方法中的一个，存在一种红外(IR)结构化光方法，该方法通过将IR结构化光投射到物体上并分析从该物体反射的光来提取深度信息。IR结构化光方法的缺点在于，相对于移动物体难以获得期望水平的深度分辨率。为了使用IR结构化光方法获得期望水平的深度分辨率，应增加组成结构化光的图案的点的数量。然而，应根据图像传感器的分辨率来识别点，并且因此难以无限地增加点的数量，直到获得期望水平的深度分辨率。
技术实现思路
技术问题本专利技术旨在提供一种用于使用结构化光方法提取深度信息的相机模块以及使用该相机模块提取深度信息的方法。技术解决方案根据本专利技术的实施例的相机模块包括：结构化投光器(structuredlightprojector)，该结构化投光器被配置成生成特定图案的结构化光并且针对每个图像帧将结构化光的光路改变为图像传感器的子像素单位以将结构化光投射到对象(subject)上；以及结构化光相机，该结构化光相机被配置成拍摄在其上投射结构化光的对象，以生成多个低分辨率图像帧并且从多个低分辨率图像帧生成高分辨率深度图。结构化投光器可以被布置成距结构化光相机预定距离。子像素可以具有大于零个像素并且小于一个像素的尺寸。结构化投光器可以包括：光源单元，其被配置成产生光；光学单元，其被配置成收集所产生的光以生成特定图案的结构化光；以及倾斜单元，其被配置成针对每个图像帧以相机图像传感器的子像素为单位来改变结构化光的光路。倾斜单元可以将结构化光的光路向上、下、左和右方向中的一个改变。倾斜单元可以被定位在光源单元和光学单元之间，以改变结构化光的光路。倾斜单元可以被定位在光学单元的前面以改变结构化光的光路。光学单元可以包括：聚光元件，其被配置成收集由光源单元生成的光；以及图案元件，其被配置成衍射由聚光元件收集的光以生成特定图案的结构化光。倾斜单元可以被定位在聚光元件和图案元件之间，以改变结构化光的光路。与多个低分辨率图像帧相对应的结构化光的光路可以彼此不同。结构化光相机可以生成与多个低分辨率图像帧相对应的多个低分辨率深度图，并且将超分辨率技术应用于多个低分辨率深度图以生成高分辨率深度图。结构化光相机可以将超分辨率技术应用于多个低分辨率图像帧以生成高分辨率图像帧并且生成与高分辨率图像帧相对应的高分辨率深度图。本专利技术的有益效果利用根据本专利技术的实施例的相机模块，在没有显著地增加图像传感器的像素数量或结构化光图案的点数量的情况下，可以获得高分辨率深度信息。附图说明图1是根据本公开的实施例的相机模块的框图。图2是图示根据本专利技术的实施例的改变结构化光的光路的示意图。图3是根据本专利技术的实施例的结构化投光器的框图。图4是根据本专利技术的实施例的光学单元的框图。图5是用于描述根据本专利技术的实施例的子像素的示意图。图6是用于描述根据本专利技术的实施例的可调棱镜的示意图。图7是用于描述根据本专利技术的实施例的液体透镜的视图。图8至图10是图示根据本专利技术的实施例的倾斜单元的布置的示意图。图11是根据本专利技术的实施例的结构化投光器的框图。具体实施方式在本专利技术中可以进行各种改变并且可以实施各种实施方式，并且因此，示例实施例在附图中被图示并且在本文中进行描述。然而，应当理解，本专利技术不限于特定实施例，并且包括落入本专利技术的思想和范围内的所有修改、等效物和替代方案。包括序数(诸如第一和第二)的术语可用于描述各种组件，但是这些组件不应解释为受这些术语的限制。这些术语仅用于区分一个组件和另一个组件。例如，在不脱离本专利技术的范围的情况下，第二组件可以被称为第一组件，并且类似地，第一组件也可以被称为第二组件。术语“和/或”包括本文所述的多个相关项目的组合或多个相关项目中的任何一个。当组件被称为“耦合至”或“连接至”另一组件时，应理解，该组件可直接耦合至或连接至另一组件，但另一组件可以置于其间。相反，当组件被称为“直接耦合至”或“直接连接至”另一组件时，应理解为没有组件被置于其间。在本申请中使用的术语仅用于描述某些实施例，并且无意于限制本专利技术。如本文所使用的，单数表达也旨在包括复数形式，除非上下文另外明确指出。应当理解，术语“包括”和/或“包含”在本文中使用时指定陈述的特征、整数、步骤、操作、元件、组件或其组合的存在，但不排除一个或多个特征、整数、步骤、操作、元件、组件或其组合的存在或添加。除非另有定义，否则本文使用的所有术语，包括技术或科学术语，具有与本专利技术所属领域的普通技术人员通常理解的含义相同的含义。诸如在常用字典中定义的那些术语应被解释为具有与相关技术的上下文中的含义一致的含义，并且除非在本申请中明确定义，否则不应被解释为理想的或过于正式的含义。在下文中，将参考附图详细描述实施例，但是即使在不同的附图中，相同或相应的组件也被指配有相同的附图标记，并且在此不再赘述。首先，将参考图1和图2详细描述根据本专利技术的实施例的相机模块。图1是根据本公开的实施例的相机模块的框图。图2是图示根据本专利技术的实施例的改变结构化光的光路的示意图。如图1中所图示，根据本专利技术的实施例的相机模块10包括结构化投光器100和结构化光相机200。结构化投光器100生成特定图案的结构化光，并且然后将结构化光投射到对象上。结构化投光器100通过针对每个图像帧以结构化光相机200中包括的图像传感器的子像素为单位改变结构化光的光路，将结构化光投射到对象上。在图2中，第一图像帧表示在参考光路中将结构化光投射到对象上。第二图像帧表示将其光路相对于参考光路以子像素为单位向右移动的结构化光投射到对象上。第一图像帧和第二图像帧之间的比较揭示投射到对象上的结构化光的特定图案以子像素为单位向右移动。即，通过将结构化光的光路改变了子像素，特定图案被移动了子像素并投射到对象上。图2图示将结构化光的光路向右改变了子像素，但是该光路可以向上、下、左和右方向中的一个改变。可以将结构化投光器100布置成距结构化光相机200一定距离以提取深度信息。例如，当将根据本专利技术的实施例的相机模块10应用于诸如智能电话之类的移动终端时，结构化投光器100与结构化光相机200之间的距离可以在5至200mm的范围内。可替选地，结构化投光器100和结构化光相机200可以一起布置在相机模块10中。结构化光相机200拍摄特定图案的结构化光投射到其上的对象，以生成多个低分辨率图像帧。另外，结构化光相机200通过将多个低分辨率图像帧匹配在一起来生本文档来自技高网...

【技术保护点】
1.一种相机模块，包括：/n结构化投光器，所述结构化投光器被配置成生成特定图案的结构化光并且针对每个图像帧以图像传感器的子像素为单位来改变所述结构化光的光路以将所述结构化光投射到对象上；以及/n结构化光相机，所述结构化光相机被配置成拍摄所述结构化光被投射到其上的所述对象以生成多个低分辨率图像帧，并且使用所述多个低分辨率图像帧来提取高分辨率深度图。/n

【技术特征摘要】
【国外来华专利技术】20180426 KR 10-2018-00486351.一种相机模块，包括：
结构化投光器，所述结构化投光器被配置成生成特定图案的结构化光并且针对每个图像帧以图像传感器的子像素为单位来改变所述结构化光的光路以将所述结构化光投射到对象上；以及
结构化光相机，所述结构化光相机被配置成拍摄所述结构化光被投射到其上的所述对象以生成多个低分辨率图像帧，并且使用所述多个低分辨率图像帧来提取高分辨率深度图。


2.根据权利要求1所述的相机模块，其中，所述结构化投光器被布置为距所述结构化光相机预定距离。


3.根据权利要求1所述的相机模块，其中，所述子像素具有大于零个像素并且小于一个像素的尺寸。


4.根据权利要求1所述的相机模块，其中，所述结构化投光器包括：
光源单元，所述光源单元被配置成生成光；
光学单元，所述光学单元被配置成收集所生成的光以生成所述特定图案的所述结构化光；以及
倾斜单元，所述倾斜单元被配置成针对每个图像帧以相机图像传感器的子像素为单位来改变所述结构化光的光路。


5.根据权利要求4所述的相机模块，其中，所述倾斜单元将所述结构化光的光路相对于参考光路向上、下、左和右方向中...

【专利技术属性】
技术研发人员：李昌奕，朴康烈，张成河，
申请(专利权)人：LG伊诺特有限公司，
类型：发明
国别省市：韩国;KR