记录图像和从图像获得3D信息的方法、相机系统技术方案

拍摄两个或更多图像，其中，在图像拍摄期间执行焦点扫描。在焦点扫描期间调制曝光强度并且针对这些图像进行不同地调制。该调制提供图像中深度信息的水印。在扫描期间曝光方面的差异在这些图像中对深度信息进行不同地水印标记。通过比较这些图像，可以5计算这些图像的深度图。一种相机系统具有透镜和传感器以及用于执行焦点扫描的装置和用于在焦点扫描期间调制曝光强度的装置。调制曝光强度可以通过调制光源或焦点扫描或者调制光路中透明介质的透明度来进行。

【技术实现步骤摘要】
【国外来华专利技术】记录图像和从图像获得3D信息的方法、相机系统
本专利技术涉及用于记录图像的方法和用于从图像获得3D信息的方法。本专利技术还涉及相机系统。
技术介绍
现代成像技术的热点话题之一是3D成像。获得3D图像的最直截了当的方式是借助于从不同的视点拍摄两个或更多个图像并且根据这两个或更多个图像构造3D图像。这样的技术基本上模仿人类视觉系统。这样的技术的缺点在于，需要两个相机并且需要知道这两个相机之间的距离、它们的焦距（focallength）和透镜失真，并且将所拍摄的图像组合以产生3D信息。需要允许使用单个相机或至少单个透镜获得3D信息的成像技术。仅使用单个相机或用静态图案投影仪辅助的相机的若干种方法是已知的。这些方法可以被分为三组：基于三角测量的、基于散焦的和飞行时间类。在基于三角测量的方法中，根据投影图案与获取的图案（即投影图案关于图像中物体给出的图像）之间的局部视差来估计深度。这样的图案的失真提供了对距离的估计。缺点在于图案要被投影并且充其量进行提供某种间接估计，该间接估计提供概率性估计，这样的估计也不是真实估计。在焦深方法中，相机聚焦在一定距离处，并且可通过局部计算由到物体的实际距离与完美聚焦距离间的偏差造成的散焦量来估计深度图。同样是提供概率性估计，并且原则上结果存在二重性（duality），因为没有任何确定的方式来区分深度外（out-of-depth）聚焦是由于物体在聚焦平面之前还是由于物体比聚焦平面更远造成的。与此形成对照的是，飞行时间方法的确提供了对到相机的距离的现实性估计。在“飞行时间”方法中，用5-50ns光脉冲照射物体。特殊的相机传感器然后测量发射脉冲与反射脉冲之间的延迟，该延迟随着到物体的距离而增长。在Ringbeck等人的文献“A3-Dtimeofflightcameraforobjectdetection”中描述了这样的相机系统的示例（Optical3Dmeasurementtechniques09-12.07.2007ETH,plenarysession1:RangeImaging1）。然而，该方法需要精密技术并且不适用所有距离，范围典型地为数米至60米，小距离难以测量。
技术实现思路
因此，需要用于记录图像并获得3D信息的替代方法。为此，本专利技术的方法特征在于，拍摄第一和第二图像数据，其中在图像拍摄期间在聚焦范围上进行焦点扫描，由此在焦点扫描期间针对第一和第二图像不同地调制曝光强度。曝光是每次拍摄捕获的光量。在焦点扫描期间调制曝光强度的结果是，由于最佳聚焦位置对应于空间高频的最大集中度（concentration），因而利用实际的物体-相机距离调制空间高频率。因此，在获取的图像的高频中对深度信息进行水印标记。通过不同地调制，在两个图像中深度信息被不同地水印标记。通过比较高频信息，深度信息是可获得的，并且可以计算3D深度图。对于这些图像之一，曝光可以是不调制的。于是，调制方面的差异将在于，图像之一具有调制的曝光，而另一个没有。然而，优选地，两个图像中的曝光以这样的方式被调制:一个图像中的调制相对于另一个图像中的调制是相反的。例如，在一个图像中，调制是从近焦点到远焦点行进的从高到低曝光，而在另一个图像中，情况正相反。这允许获得精确的3D信息。在实施例中，用于两个图像的曝光的总和是一个常数。曝光强度的调制可以以各种不同的方式执行：可以通过调制光源的强度来调制从场景中捕获的光。可以通过在透镜前面或在相机的传感器前面的时间调制调光器来调制所捕获的光。可以同时以及连续地拍摄第一和第二图像。可以拍摄超过两个图像。这可能在那些其中存在的光相对较少且降噪是重要方面的情形中引起关注。用于提供图像的方法提供了原始数据，即从其中可以计算3D信息的两个图像。本专利技术还体现在一种从通过上述记录图像类方法中的任意一个拍摄的图像获得3D信息的方法，通过比较第一和第二图像中的高频信息以及根据这样的比较计算深度信息。这两种方法（用于提供图像的方法和用于获得3D图像信息的方法）可以被集成为单个方法，但是用于获得图像信息的方法本身也提供本专利技术某方面的实施例。提供从中获得3D图像信息的数据。提供以现有技术未知的方式获得的一组图像。准备阶段（即第一和第二图像的拍摄）可以例如由相机在一个位置处拍摄、存储在相机内部的存储介质上。图像数据稍后被转移到中央处理单元，其分析数据并获得3D信息。图像数据也可以（例如经由互联网无线地）被直接转移到可与位于另一个国家的站点关联的中央处理单元，在该中央处理单元中获得3D信息。所以，两种方法（用于提供图像的方法和用于从所拍摄的图像获得3D信息的方法）均是本专利技术的方面。本专利技术还体现在一种相机系统中，其中该相机系统包括透镜和传感器以及用于执行焦点扫描的装置，其中该相机系统包括用于在焦点扫描期间调制曝光强度的装置。本专利技术的这些和其他方面将通过示例并参照附图进行更详细地解释，在附图中：附图说明图1图示了经由改变传感器与透镜之间的距离的扫描聚焦。图2图示了经由改变透镜L的焦距的扫描聚焦。图3图示了当传感器平面扫过图像平面时的模糊核，其中图像平面位于扫描范围的中部。图4图示了用于图3的有效的系统模糊核。图5图示了当传感器平面扫过图像平面时的模糊核，其中图像平面位于靠近扫描范围的一端。图6图示了图5的有效的系统模糊核。图7图示了获取具有不同调制的曝光强度的两个图像。图8图示了根据本专利技术的相机系统。图9图示了获取具有不同调制的曝光强度的两个图像。图10图示了根据本专利技术的相机系统的另一个示例。图11和12图示了根据本专利技术的相机系统的其他示例。图13A和13B图示了在空间频率上用于分别在焦点扫描期间提高和降低曝光强度的振幅的频率分布。图14A图示了作为空间频率的函数的振幅的比率。图14B图示了作为焦点扫描的位置的函数的振幅的比率。图15示意性图示了根据在焦点扫描期间针对具有不同调制的曝光强度的两个图像取得的图像数据计算距离。具体实施方式将关于特定实施例并参照某些附图描述本专利技术，但是本专利技术不限于此，而是仅仅由权利要求限定。所描述的附图仅是示意性的且是非限制性的。在附图中，为了说明的目的，一些元件的尺寸可能被夸大且未按比例绘制。当术语“包括”在本说明书和权利要求书中使用时，不排除其他元件或步骤。当指代单数名词而使用不定冠词或定冠词（例如“一”、“该”），包括多个该名词的情况，除非另外有特别陈述。权利要求中使用的术语“包括”不应当被解释为被限于其后所列的装置；它不排除其他元件或步骤。因此，表述“包括装置A和B的设备”的范围不应当被限于仅由组件A和B构成的设备。它意味着，相对于本专利技术，设备的仅有的相关组件是A和B。而且，说明书和权利要求书中的第一、第二、第三等术语用于区分相似的元件并且不一定用于描述相继的或时间先后的顺序。应当理解，如此使用的术语在适当的情形下是可互换的并且本文描述的本专利技术的实施例能够以不同于本文描述或图示的其他顺序操作。本专利技术提供了新颖的构思：图像计算范围是根据扫描聚焦相机的两次拍摄。扫描聚焦相机是一种在图像获取期间改变聚焦距离的相机。这可以通过沿着光轴平移传感器或透镜（如图1所示针对传感器的平移）或通过改变透镜焦点数目（如图2所示）来进行。图1图示了通过改变传感器S与透镜L之间的距离的扫描聚焦。传感器从图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.02.04 EP 11153377.41.一种记录图像的方法，包括：拍摄至少第一图像和第二图像，同时在焦点扫描范围上进行焦点扫描，所述焦点扫描对应于透镜和传感器之间的距离的变化；以及在焦点扫描期间作为时间的函数针对第一和第二图像不同地调制曝光强度；其中两个图像中的曝光在焦点扫描期间作为时间的函数以这样的方式来调制：使得在第一和第二图像之一中的调制相对于在第一和第二图像之中的另一个中的调制是相反的，第一和第二图像的曝光之和在焦点扫描上基本恒定。2.如权利要求1所述的记录图像的方法，其中通过在焦点扫描期间作为时间的函数调制焦点扫描的速度来调制曝光强度，所述调制对于第一和第二图像是不同的。3.如权利要求1所述的记录图像的方法，其中通过在焦点扫描期间对光源（83,103）进行时间调制来调制曝光强度，所述时间调制对于第一和第二图像是不同的。4.如权利要求1所述的记录图像的方法，其中通过在焦点扫描期间对光路中透明装置（113,123）的透明度进行时间调制来调制曝光强度，所述时间调制对于第一和第二图像是不同的。5.如权利要求4所述的记录图像的方法，其中通过透镜（L）拍摄图像，并且透明装置（113）被提供在透镜前面。6.如权利要求4所述的记录图像的方法，其中所述图像通过透镜（L）来拍摄并且由传感器（S）来记录，并且透明装置（123）被提供在透镜（L）和传感器（S）之间的光路中。7.如权利要求1所述的记录图...

【专利技术属性】
技术研发人员：DN滋纳门斯基，HAW嗣梅茨，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：
国别省市：