提供了一种能够提高具有深度信息的图像的分辨率的图像拾取设备和方法。所述图像拾取设备可包括：主透镜，被配置为使入射光折射；包括多个二维(2D)排列的像素的图像传感器，被配置为根据入射光输出图像信号；微透镜阵列，在主透镜和图像传感器之间，并包括多个2D排列的微透镜；控制器，被配置为从图像传感器接收图像信号，并根据接收到的图像信号产生图像，其中，控制器被配置为通过改变主透镜和图像传感器之间的距离来获得具有不同景深的多个图像，并从获得的所述多个图像中的至少一个图像获得至少一个深度图。
【技术实现步骤摘要】
【国外来华专利技术】
一个或更多个示例性实施例涉及一种用于产生具有深度信息的图像的图像拾取设备和方法，更具体地说，涉及一种能够提高使用光场技术产生的具有深度信息的图像的分辨率的图像拾取设备和方法。
技术介绍
现有技术的二维(2D)相机通过图像传感器获得关于通过物镜入射的光的强度的信息来产生图像。例如，可通过物镜将来自对象的一个点的多条光束聚焦到图像传感器的一个点上并在预设时间内累加光的强度，获得关于针对对象的一个点的光的强度的信息。按这种方式，使用关于从图像传感器的多个像素获得的光的强度的信息来产生一个图像。然而，在2D相机的图像拾取方法中，无法获得关于来自对象的一个点的各条光束的强度和方向的信息。光场技术被用于通过获得关于来自对象的一个点的多条光束的各个强度和方向的信息来产生与任意视点或任意焦点相应的图像。当使用光场技术时，可实现能够获得关于对象的多个视点的信息和对象的深度信息的三维(3D)相机。此外，可实现能够对在一视角内的所有对象进行聚焦的具有重新聚焦效果的相机。可通过使用主透镜和微透镜阵列来实现应用了光场技术的相机。例如，可在主透镜和图像传感器之间布置具有多个2D排列的微透镜的微透镜阵列。微透镜阵列中的一个微透镜可相应于图像传感器中的多个像素。因此，可从与一个微透镜相应的多个像素分别获得不同视点的图像。例如，当一个微透镜覆盖7×7个像素时，可同时获得不同视点的49(即，7×7)个图像。
技术实现思路
技术问题然而，光场相机中的图像的分辨率不是由图像传感器的像素间距确定的，而是由微透镜的间距确定的。例如，微透镜的尺寸的增加会引起图像的分辨率的降低，微透镜的尺寸的减小会引起图像的分辨率的提高。因此，当微透镜的尺寸增加以使具有不同视点的图像的数量(即，与微透镜相应的像素的数量)增加时，图像的分辨率降低。相反，当微透镜的尺寸减小以提高图像的分辨率时，同时获得的具有不同视点的图像的数量减少。结果，在图像的分辨率和视差检测能力之间进行权衡。技术方案一个或更多个示例性实施例的各方面提供一种能够提高使用光场技术产生的具有深度信息的图像的分辨率的图像拾取设备和方法。附加方面将在下面的描述中被部分地阐述，并且从描述中部分将是清楚的，或者可通过实施示例性实施例而被了解。根据示例性实施例的一方面，提供了一种图像拾取设备，包括：主透镜，被配置为使入射光折射；包括多个二维(2D)排列的像素的图像传感器，被配置为感测入射光并根据感测到的入射光输出图像信号；微透镜阵列，在主透镜和图像传感器之间，并包括多个2D排列的微透镜；控制器，被配置为从图像传感器接收图像信号，并根据接收到的图像信号产生图像，其中，控制器被配置为通过改变主透镜和图像传感器之间的距离来获得具有不同景深的多个图像，并从获得的所述多个图像中的至少一个图像获得分别与获得的所述多个图像中的所述至少一个图像相应的至少一个深度图。控制器可被配置为通过将主透镜和图像传感器之间的距离初始设置为在预定距离进行聚焦来获得第一图像，并从获得的第一图像获得深度图，响应于对象被选择，控制器可被配置为通过使用获得的深度图将主透镜和图像传感器之间的距离调整为对选择的对象进行聚焦来获得选择的对象被聚焦的第二图像。所述预定距离可以是超焦距。对象可由用户输入选择。所述多个2D排列的微透镜中的每个微透镜可分别与图像传感器中的至少两个像素相应。控制器可被配置为通过使用与所述多个2D排列的微透镜之中的同一微透镜相应的至少两个像素的输出来获得深度图，并通过将与所述同一微透镜相应的所述至少两个像素的输出合并来产生图像。控制器可被配置为基于作为基本步长单位的焦深(DOF)，改变主透镜和图像传感器之间的距离。控制器可被配置为通过每当主透镜和图像传感器之间的距离根据DOF单位被改变时经由图像传感器获得图像并获得深度图，以分别获得针对位于在无限远距离至最近聚焦距离之间的所有对象的聚焦图像。控制器可被配置为确定在每当主透镜和图像传感器之间的距离根据DOF单位被改变时所产生的每个深度图中深度值为最小的对象区域，响应于对象区域从所述多个图像被选择，控制器可被配置为选择在所选择的对象区域中深度值为最小的深度图，并输出与选择的深度图相应的图像。控制器可被配置为在Dh和Dc之间根据DOF单位改变主透镜和图像传感器之间的距离，其中，当在超焦距进行聚焦时主透镜和图像传感器之间的距离为Dh，当在最近聚焦距离进行聚焦时主透镜和图像传感器之间的距离为Dc。控制器可被配置为在将主透镜和图像传感器之间的距离初始设置为Dh之后，根据DOF单位顺序地改变主透镜和图像传感器之间的距离，直到主透镜和图像传感器之间的距离变为Dc为止。控制器可被配置为通过将主透镜和图像传感器之间的距离初始设置为Dh来获得图像和深度图，并通过分析该深度图根据DOF单位调整主透镜和图像传感器之间的距离，从而仅针对对象所存在的景深获得图像。DOF可被确定为2×(主透镜的孔径比)×(弥散圆(CoC))，并且CoC的大小可以等于微透镜的一个或两个间距。控制单元可被配置为基于通过在超焦距进行聚焦而拾取的初始图像的深度图，在初始图像中识别背景和候选感兴趣对象，根据预定条件从识别出的候选感兴趣对象之中选择感兴趣对象，并通过使用选择的感兴趣对象中的每个感兴趣对象的深度值针对选择的感兴趣对象中的每个感兴趣对象所存在的景深范围执行拍摄。控制单元可被配置为根据电池和存储器中的每个的剩余容量来调整选择的感兴趣对象的数量。根据另一示例性实施例的一方面，提供了一种图像拾取设备的图像拾取方法，其中，图像拾取设备包括主透镜以及在主透镜和图像传感器之间的包括多个二维(2D)排列的微透镜的微透镜阵列，所述方法包括：通过改变主透镜和图像传感器之间的距离来获得具有不同景深的多个图像；从获得的所述多个图像中的至少一个图像获得分别与获得的所述多个图像中的所述至少一个图像相应的至少一个深度图。获得所述至少一个深度图的步骤可包括：从第一图像获得深度图，获得所述多个图像的步骤可包括：通过将主透镜和图像传感器之间的距离初始设置为在预定距离进行聚焦来获得第一图像；响应于对象被选择，通过使用获得的深度图将主透镜和图像传感器之间的距离调整为对选择的对象进行聚焦来获得选择的对象被聚焦的第二图像。所述预定距离可以是超焦距。对象可由用户输入选择。所述多个2D排列的微透镜中的每个微透镜可分别与图像传感器中的至少两个像素相应。图像拾取方法还可包括：通过使用与所述2D排列的微透镜之中的同一微透镜相应的至少两个像素的输出来获得深度图，并通过将与所述同一微透镜相应的所述至少两个像素的输出合并来产生图像。主透镜和图像传感器之间的距离可根据作为步长单位的焦深(DOF)被改变。获得所述多个图像的步骤可包括：通过每当主透镜和图像传感器之间的距离根据DOF单位被改变时获得图像并获得深度图，以获得针对位于从无限远距离到最近聚焦距离处的所有对象的聚焦图像。图像拾取方法还可包括：确定在每当主透镜和图像传感器之间的距离根据DOF单位被改变时所产生的每个深度图中深度值为最小的对象区域。图像拾取方法还可包括：从所述多个图像中选择对象区域；选择在所选择的对象区域中的深度值为最小的深度图；并输出与选择的深度图相应的图像。在Dh和Dc之间，可根据DOF单位改变主透镜和图像传感本文档来自技高网...
【技术保护点】
一种图像拾取设备，包括：主透镜，被配置为使入射光折射；包括多个二维(2D)排列的像素的图像传感器，被配置为感测入射光并根据感测到的入射光输出图像信号；微透镜阵列，在主透镜和图像传感器之间，并包括多个2D排列的微透镜；控制器，被配置为从图像传感器接收图像信号，并根据接收到的图像信号产生图像，其中，控制器被配置为通过改变主透镜和图像传感器之间的距离来获得具有不同景深的多个图像，并从获得的所述多个图像中的至少一个图像获得分别与获得的所述多个图像中的所述至少一个图像相应的至少一个深度图。
【技术特征摘要】
【国外来华专利技术】2014.03.13 KR 10-2014-0029771;2014.10.07 KR 10-2011.一种图像拾取设备，包括：主透镜，被配置为使入射光折射；包括多个二维(2D)排列的像素的图像传感器，被配置为感测入射光并根据感测到的入射光输出图像信号；微透镜阵列，在主透镜和图像传感器之间，并包括多个2D排列的微透镜；控制器，被配置为从图像传感器接收图像信号，并根据接收到的图像信号产生图像，其中，控制器被配置为通过改变主透镜和图像传感器之间的距离来获得具有不同景深的多个图像，并从获得的所述多个图像中的至少一个图像获得分别与获得的所述多个图像中的所述至少一个图像相应的至少一个深度图。2.如权利要求1所述的图像拾取设备，其中：控制器被配置为通过将主透镜和图像传感器之间的距离初始设置为在超焦距进行聚焦来获得第一图像，并从获得的第一图像获得深度图；响应于对象被选择，控制器被配置为通过使用获得的深度图将主透镜和图像传感器之间的距离调整为对选择的对象进行聚焦来获得选择的对象被聚焦的第二图像。3.如权利要求1所述的图像拾取设备，其中，所述多个2D排列的微透镜中的每个微透镜分别与图像传感器中的至少两个像素相应，其中，控制器被配置为通过使用与所述2D排列的微透镜之中的同一微透镜相应的至少两个像素的输出来获得深度图，并通过将与所述同一微透镜相应的所述至少两个像素的输出合并来产生图像。4.如权利要求1所述的图像拾取设备，其中，控制器被配置为根据作为步长单位的焦深(DOF)，改变主透镜和图像传感器之间的距离。5.如权利要求4所述的图像拾取设备，其中，控制器被配置为通过每当主透镜和图像传感器之间的距离根据DOF单位被改变时经由图像传感器获得图像并获得深度图，以分别获得针对位于在无限远距离和最近聚焦距离之间的所有对象的聚焦图像。6.如权利要求5所述的图像拾取设备，其中，控制器被配置为确定在每当主透镜和图像传感器之间的距离根据DOF单位被改变时所产生的每个深度图中深度值为最小的对象区域，响应于对象区域从所述多个图像被选择，控制器被配置为选择在所选择的对象区域中的深度值为最小的深度图，并输出与选择的深度图相应的图像。7.如权利要求4所述的图像拾取设备，其中，控制器被配置为在Dh和Dc之间根据DOF单位改变主透镜和图像传感器之间的距离，其中，当在超焦距...
【专利技术属性】
技术研发人员：朴景台，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。