对2D图像的扫描束深度映射制造技术

本发明专利技术公开了对2D图像的扫描束深度映射。一种用于构建对象的3D表示的方法，包括用相机捕捉该对象的2D图像。该方法还包括在对象上扫描已调制照射束，以便一次照射该对象的多个目标区域，并且从反射自每一目标区域的照射束中测试光的调制方面。使用移动反射镜光束扫描仪来扫描该照射束，并且可以使用光检测器来测量该调制方面。该方法还包括基于为每一目标区域所测量的调制方面来计算深度方面，并且将该深度方面与2D图像的对应像素相关联。

【技术实现步骤摘要】

本专利技术涉及图像处理技术，尤其涉及图像处理中三维图像的构建。
技术介绍
在各种应用中，某种形式的深度映射被用于构建对象或环境的三维(3D)模型。这些应用的范围从例如飞行器导航到机器人到视频游戏。在某些深度映射方法中，以可接受的高二维QD)映射分辨率和可接受的高帧率来询问该对象或环境可能成为挑战。其他挑战包括通过浅的深度范围来提供精细的、不变的深度分辨率，并且将深度映射与低成本的 2D映射技术结合。
技术实现思路
因此，本专利技术的一个实施例提供了一种用于构建对象的3D表示的方法，该表示包括亮度以及深度信息。该方法包括用相机捕捉对象的2D图像，该2D图像包括像素阵列以及每一像素的至少一个亮度值。该方法还包括在对象上扫描已调制照射束，以便一次照射该对象的多个目标区域，并且从反射自每一目标区域的照射束中测试光的调制方面。如此处公开的，可以使用移动反射镜光束扫描仪来扫描照射束，并且可以使用光检测器来测量调制方面。该方法还包括基于为每一目标区域所测量的调制方面来计算深度方面，并且将深度方面与2D图像的对应像素相关联。应该理解，提供以上
技术实现思路
以通过简化形式介绍以下详细描述中进一步描述的概念的精选。这并不旨在标识所要求保护主题的关键或必要特征，所要求保护主题的范围由详细描述所附的权利要求书来定义。此外，要求保护的主题不限于解决本文所述的任何缺点的实现。附图说明FIG.图1示意性示出根据本专利技术实施例的3d模型器的平面图。图2示意性示出根据本专利技术实施例的由照射束扫描的对象的视图。图3示意性示出根据本专利技术实施例的来自图2的详细描述具有相关联的深度方面的2D图像的示例像素结构的部分。图4示出根据本专利技术实施例的用于校准3D模型器的示例方法。图5示出根据本专利技术实施例的用于构建对象的3D表示的示例方法。具体实施例方式现在参照所示的特定实施例，通过示例来描述本专利技术的主题。在一个或多个实施例中基本相同的组件、过程步骤和其它元素被协调地标识并且以重复最小的方式描述。然而应该注意，协调地标识的元素还可以在某种程度上不同。还应该注意，本专利技术中包括的附图是示意性的并且通常未按照比例绘制。相反，附图中所示的各种绘制比例、纵横比和组件数量可以有目的地失真，以使特定特征或关系更加显见。图1示例性示出一个实施例中3D模型器10的平面图。3D模型器被安排成与对象12相对，并且被配置成构建一对象的3D表示——即用于编码该对象的3D模型，这包括亮度和深度信息两者。3D模型器10包括相机14——数码相机，它被配置成捕捉对象12的2D图像并且将该图像编码成像素阵列，每一像素具有至少一个可变亮度和/或色彩值。此处使用的术语‘像素’符合数码成像领域中的常见使用；图像的像素可相应地被排列在跨笛卡尔坐标X 和Y的矩形阵列中。在图1中示出的实施例中，相机包括透镜16、光圈18以及光检测器阵列20。透镜通过光圈对来自对象的光进行聚焦，并且聚焦于形成2D图像的检测器阵列上。 光检测器可以是例如CMOS、CCD、和/或光电二极管阵列。在一个实施例中，光检测器阵列可包括各种色敏光检测器元件。因此，相机14可以是彩色相机，并且2D图像可以是每一像素具有两个、三个或更多颜色专用亮度值的彩色图像。此外，相机的波长敏感度可扩展到红外或近红外。在一个实施例中，相机14可被配置以供标准SVGA分辨率——即，它可形成具有沿第一轴的800或更多像素以及沿与第一轴正交的第二轴的600或更多像素的2D图像。在其他实施例中，相机可被配置以供更高或更低的分辨率——例如640x480的VGA分辨率。在一个实施例中，相机可被配置成不仅捕捉该对象的静态2D图像，还捕捉一系列快速连续的 2D图像。因此，相机可以是摄像机，该摄像机按适用于视频应用的帧速率来捕捉图像——例如，按每秒三十至六十帧。在图1中示出的实施例中，滤光器22覆盖光圈18，使得只有穿过滤光器的光到达光检测器阵列20。其他实施例可包括一系列这样排列的滤光器——例如，偏振、干涉、和/ 或色彩滤光器。以此方式，相机14可被配置成对一个或多个预定义的偏振状态或波长范围的光进行成像。在图1中示出的实施例中，相机14在操作上被耦合到控制器24。控制器被配置成命令并且控制相机的2D图像捕捉，并且接收所捕捉的2D图像。控制器M还可控制3D模型器10或其中安装3D模型器的系统的其他功能。例如，控制器可包括被配置成执行视频游戏应用的玩游戏设备。因此，3D模型器构建的对象12的3D表示可以编码视频游戏应用的输入数据。在一个实施例中，对象可以是视频游戏应用的用户(即，玩家)。3D表示可以编码例如对象的手臂运动、手势和/或姿势。在这些应用中，合适的深度感测范围可以在1 至5米的数量级，这与当前公开的示例配置一致。然而，可以注意到本专利技术决不限于视频游戏应用，并且同样可以设想其他应用和深度感测范围。在此处考虑的实施例中，由相机14捕捉的2D图像可能无法对与X和Y轴正交的 Z方向中的对象12的轮廓进行具体地编码。因此，3D模型器10包括被配置成将深度方面与所捕捉的2D图像的每一像素相关联的附加元件部分。为此，3D模型器被配置成将在时间上的已调制光投射到对象上，并且检测从对象反射回的在时间上的已调制光。可将在反射光的调制中相对于投射光的滞后和/或延迟与已调制光被投射的对象的区域以外的距离相关。此外，通过将已调制光投射到对象的非常小的目标区域上，并且通过在整个对象上扫描该目标区域，3D模型器可被配置成将对象的轮廓映射在Z方向上。为了启用这一功能，3D 模型器包括移动反射镜光束扫描仪，如以下进一步描述的。与深度分辨率随着深度增加而减少的其他方法形成对比，在该方法中，按基本上不变的分辨率来感测深度。现在继续图1，3D模型器10包括激光器沈，该激光器沈被排列成将其发射引导到低发散照射束观上。在一个实施例中，激光器可以是配置成发射红外光的二极管激光器。 如图1所示，激光器在操作上被耦合到控制器M ；因此，控制器可被配置成通过控制当前或施加于激光器的电流或电压或按任何其他合适方式来调制照射束的强度。3D模型器还可包括机械地耦合到底座32的反射镜30。反射镜可以包括任何合适的镜面反射器。在一个实施例中，反射镜可以是具有0. 1至10毫米的直径的基本圆形。在其他实施例中，可协作地使用两个或多个反射镜，并且这些反射镜可以是圆形、椭圆形和/或另一合适形状。底座可以是支持反射镜并允许反射镜关于两个不同转动轴偏转的任何弹性装备。例如，底座可以是弯曲底座。在一个实施例中，反射镜和底座可以实现共振机械系统。例如，反射镜-底座系统可以呈现几百的共振品质因数。图1示出在操作上耦合到控制器M的第一换能器34和第二换能器36。第一和第二换能器被配置成使反射镜分别绕第一转动轴38 (垂直附图平面定向)和第二转动轴40 偏转。第一和第二转动轴彼此并不平行，而且在某些实施例中可以垂直，如图1所示。在此处所示的实施例中，位于双轴底座上的单个反射镜绕垂直转动轴偏转。在其他实施例中，相同的效果可以通过使用各自位于单轴底座上的串联排列的两个反射镜来实现。在本文所预期的实施例中，第一换能器34和第二换能器36可以包括诸如压电、电磁或静电换能器。控制器M被配置成向每个换能器施加驱动信号(即，改变换能器的驱动电压或电流)本文档来自技高网...

【技术保护点】
１．一种用于构建对象（１２）的３Ｄ表示的方法（７０），所述表示包括亮度和深度信息，所述方法包括：用相机（１４）捕捉（７２）所述对象的２Ｄ图像，所述２Ｄ图像包括像素阵列以及每一像素的至少一个亮度值；用移动反射镜光束扫描仪（１０）在对象上扫描（７４）调制照射束（２８），以便一次照射所述对象的多个目标区域（４２）；用光检测器（４６）测量（７６）来自从所述目标区域的每一个所反射的照射束的光的调制方面；基于所测量的调制方面为所述目标区域的每一个计算（７８）深度方面；以及将为所述目标区域的每一个所计算的深度方面与所述２Ｄ图像的对应像素相关联（８０）。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：J·卢蒂安，S·巴斯彻，D·伊，J·R·刘易斯，
申请(专利权)人：微软公司，
类型：发明
国别省市：US