创建深度图的图像获取系统技术方案

本发明专利技术描述了一种由三维空间场景的两幅照片创建深度图的图像获取系统。根据本发明专利技术的一个方面，所述系统基于两幅照片之间的相对模糊性和由所述系统带来的绝对模糊性创建该深度图。根据本发明专利技术另一方法，系统直接从所述两幅照片之间的相对模糊性计算该深度图。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般地涉及成像，更具体而言，涉及由多个图像创建深度图(depth map)。
技术介绍
深度图是从包含在三维空间场景中的物体到获取空间场景的图像的摄像机镜头的距离的图。在自动对焦数字相机和视频摄像机、计算机/机器人视觉和安全监视(但不限于这些)中，确定三维空间场景中的物体之间的距离是很重要的问题。 通常有两种用于确定深度图的方法有源(active)法和无源(passive)法。有源系统控制目标物体的照明，而无源系统依赖环境照明。无源系统通常使用(i)形状分析，(ii)多视图(例如，立体)分析或者(iii)景深/光学分析。景深分析摄像机依赖于由聚焦梯度来获得深度信息。在摄像机镜头的每一个聚焦设置中，空间场景的某些物体是对焦(in focus)的，而某些则不是。改变聚焦设置使得某些物体成为对焦的，而使得其它的物体失焦。在不同焦点下场景中的物体的焦点变化是聚焦梯度。在大多数摄像机系统中固有的有限景深导致聚焦梯度。 在一种实施方式中，按如下测量焦点深度以计算深度图，所述深度图确定了从场景中的点到摄像机镜头的深度 其中，f是摄像机镜头焦距，D是摄像机内的像平面和镜头之间的距离，r是像平面上的像的模糊半径(blur radius)，k是比例因子，fnumber是摄像机镜头的fnumber。fnumber等于摄像机镜头焦距除以镜头光圈。当摄像时，除了模糊半径之外，等式1的右侧的所有参数都是已知的。因此，通过估计像中的点的模糊半径，来计算从场景中的点到摄像机镜头的距离。 对于每一个图像使用不同的光圈来拍摄同一场景的两个图像是一种计算模糊半径变化的方法。在两个图像之间改变光圈导致聚焦梯度。计算匹配图像部分的傅立叶变换并且假定所拍摄的图像之一的模糊半径为零，从而计算场景中的一个点的模糊半径。
技术实现思路
本专利技术描述了一种由三维空间场景的两幅照片创建深度图的图像获取系统。根据本专利技术的一个方面，所述系统基于两幅照片之间的相对模糊性和由所述系统带来的绝对模糊性创建该深度图。根据本专利技术另一方法，系统直接从所述两幅照片之间的相对模糊性计算该深度图。 本专利技术是结合各个领域中的系统、客户端、服务器、方法和机器可读介质来进行说明的。除了
技术实现思路
部分中描述的本专利技术各个方面之外，通过参考附图和阅读下面的详细说明，可以明白本专利技术的更多方面。 附图说明 在附图中，通过示例性而非限制性的方式说明了本专利技术，在附图中相似的标号指示相似的元件。 图1示出了成像系统的一个实施例。 图2示出了成像光学模型的一个实施例。 图3是示出了表现出前模糊和后模糊不确定性的成像光学模型的一个实施例。 图4示出了通过在不同的焦点下获取两幅照片来估计深度图所用的成像光学模型的一个实施例。 图5是用于通过计算两幅照片之间的绝对和相对模糊差来创建照片深度图的方法的一个实施例的流程图。 图6是计算两幅照片之间的相对模糊差的方法的一个实施例的流程图。 图7示出了利用一族卷积高斯核函数创建所拍照片的二维(2D)标度空间表示图的一个实施例。 图8示出了对于在两个不同的照片中一组相应的图块来确定偏差的一个实施例。 图9示出了使用标度空间表示图来找出用于相对模糊图的块的一个实施例。 图10是用于测量和记录由镜头108带来的绝对模糊的方法的一个实施例的流程图。 图11示出了由模糊图计算深度图的一个实施例。 图12示出了图像获取单元102用来在不同的聚焦位置和光圈情况下拍摄两幅照片的两种成像光学设置的一个实施例。 图13是由利用不同的聚焦位置和光圈所获取的两幅照片计算深度图的方法的流程图。 图14是示出了计算深度图的图像设备控制单元的一个实施例的框图。 图15是适于实施本专利技术的操作环境的一个实施例的视图。 图16是适于用在图6和图12的操作环境中的计算机系统的一个实施例的视图。 具体实施例方式 下面，参考附图来详细描述本专利技术的实施例，在附图中，相似的标号指示相似的元件，并且在附图中，作为举例说明，示出了可以实施本专利技术的具体实施例。这些实施例被充分详细地描述，以使得本领域技术人员能够实施本专利技术，并且应该理解，可以采用其它实施例，并且可以在不偏离本专利技术的范围的情况下进行逻辑、机械、电学、功能和其它方面的变化。因此，下面的详细描述不应被视为限制，本专利技术的范围仅仅由所附权利要求限定。 图1示出了拍摄三维空间场景110的图像的成像系统100的一个实施例。提及图像或者照片时是指由成像系统100拍摄的三维场景的图像。成像系统100包括图像获取单元102、控制单元104、图像存储单元106和镜头108。成像系统100可以是但不限于数字或者胶片静态摄像机、视频摄像机、监视摄像机、机器人视觉传感器、图像传感器等。图像获取单元102通过镜头108拍摄场景110的图像。图像获取单元102可以获取静态照片，例如在数字或者胶片静态摄像机中的情形，或者获取连续的照片，例如在视频或监视摄像机中的情形。控制单元104通常自动地和/或通过操作者的输入来管理图像获取单元102。控制单元104配置图像获取单元102和镜头108的操作参数，诸如但不限于镜头焦距f，镜头的光圈A，镜头焦点，以及(在静态摄像机中)镜头快门速度。此外，控制单元104可以包括创建场景的深度图的深度图单元120(以虚线示出)。由图像获取单元102获取的一幅或多幅图像被存储在图像存储单元106中。 在图1中，成像系统100记录场景110的图像。虽然在一个实施例中，场景110由四个物体，即车112、房子114、山峦背景116和太阳118构成，但是场景110的其它实施例可以由具有非常细微的特征的数百个物体构成。如同在由成像系统100的镜头所记录的大多数三维场景中普遍的，场景110中的物体112-118处于与镜头108的不同距离处。例如，在场景110中，车112离镜头108最近，接着是房子114，山峦背景116以及太阳118。因为图像获取单元102固有的有限景深，镜头108的聚焦设置一般将使得场景110中的某些物体是对焦的，而其它物体将是失焦的。虽然提到图像中的物体、图像的不同部分或者图像块时不一定表示图像的同一种具体细分，但是这些概念全部是指一种图像细分。 图2示出了用于代表镜头202的成像光学模型200的一个实施例。此光学模型200代表镜头202，镜头202在点216上聚焦而得到显示在像平面的图像210。镜头202具有光圈A。以标号204示出的光圈半径(也称为镜头半径)为A/2。通过将镜头202聚焦在点216上，图像210也以点的形式被显示在像平面206上。另一方面，如果镜头202没有被正确地聚焦在点216上，则图像210以具有模糊半径r的模糊图像208方式显示在像平面206上。距离di 216是图像210和镜头202之间的距离，距离d0214是点216和镜头202之间的距离。最后，D 216是镜头202和像平面206之间的距离。 图3示出了表现出前模糊和后模糊不确定性的成像光学模型300的一个实施例。在图3中，光学模型300代表镜头304，镜头304在点302上聚焦得到聚焦图像308。如果镜头202没有被正确地聚焦在点302上，则所得图像308失焦。如果镜头304聚焦太近而聚焦到沿负方向距离点302为一个量x之本文档来自技高网...

【技术保护点】
一种计算机化的方法，包括：　　　　计算三维空间场景的两幅照片之间的相对模糊性；以及　　　　基于所述相对模糊性计算照片深度图，其中，所述照片深度图中的条目具有模糊图中的相应条目。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：中村真备，厄尔郭王，
申请(专利权)人：索尼电子有限公司，
类型：发明
国别省市：US[美国]