用于增强深度相机系统的信噪比性能的系统和方法技术方案

描述了用于增强深度相机系统的信噪比性能的方法和装置。在一个实施例中，该方法包括：使滚动式相机传感器的像素阵列的部分曝光；以及在该像素阵列的部分的曝光期间，激活滚动式投影仪的部分以生成投射图案的部分。该方法还可包括：利用滚动式相机传感器的像素阵列的经曝光的部分来捕捉用于投射图案的所生成的部分的图像数据。此外，该方法可包括：至少部分地基于所捕捉的图像数据来执行深度重构。

System and Method for Enhancing Signal-to-Noise Ratio of Deep Camera System

A method and device for enhancing the signal-to-noise ratio (SNR) performance of a depth camera system are described. In one embodiment, the method includes exposing a portion of the pixel array of the rolling camera sensor, and activating a portion of the rolling projector to generate a portion of the projection pattern during exposure of the portion of the pixel array. The method may also include capturing image data of the generated portion for projection patterns using the exposed portion of the pixel array of the rolling camera sensor. In addition, the method may include performing depth reconstruction based at least in part on captured image data.

【技术实现步骤摘要】
【国外来华专利技术】用于增强深度相机系统的信噪比性能的系统和方法
本专利技术的实施例涉及执行三维(3-D)测量的相机系统领域，更具体地，本专利技术的实施例涉及增强深度相机系统的信噪比性能。
技术介绍
立体深度相机是公知的，并且经常被用于测量距对象的距离。一种此类测量设备包括投影仪和相机。在此类设备中，投影仪将已知的图案图像投射在对象(例如，场景)上，并且在其上投射了图像的对象的图像由一个或多个相机捕捉。从所捕捉的图像，深度信息可被确定。一种用于在此类设备中确定深度的技术是通过使用三角测量。因此，捕捉对象的图像并进行测量以确定深度信息。此类深度相机系统中的(多个)相机可以是基于互补式金属-氧化物-半导体(CMOS)传感器的相机。一种类型的基于CMOS传感器的相机采用全局快门，该全局快门在单个时刻使CMOS传感器的所有像素曝光，很像典型的基于胶片的相机系统。具有全局快门的CMOS传感器既是昂贵的，又可能在处理图像数据时经历延迟，因为所有CMOS传感器像素单次地被曝光。另一种类型的基于CMOS传感器的相机采用滚动式快门，该滚动式快门从CMOS传感器的顶部到底部顺序地使CMOS的像素行曝光。无论将何种类型的CMOS传感器用于深度相机系统中的(多个)相机，CMOS传感器都要受到噪声约束，该深度相机系统试图捕捉由系统的投影仪生成的投射图案以辅助确定用于捕捉场景的深度信息。在此情况下，噪声是场景中不是由相机系统的投影仪生成但在相机的感兴趣的波长范围内的任何光。增加的噪声将需要从所投射的图案生成的更强的信号，以实现深度确定所需要的准确性。在某些实施例中，诸如室外，由于不同波长的环境光的量，特别是均匀的背景红外照射，噪声问题加剧。因此，使用基于投影仪的立体深度成像系统来确定场景的深度信息可能变得困难。附图说明从以下给出的详细描述并从本专利技术的各实施例的附图，可更全面地理解本专利技术，然而这些详细描述和附图不应当被理解为将本专利技术限于特定实施例，而是仅用于解释和理解。图1图示了用于增强深度相机系统中的信噪比性能的深度相机系统的一个实施例。图2是在深度相机系统中采用滚动式投影仪来增强信噪比性能的一个实施例的流程图。图3图示了由深度相机系统的投影仪的一个实施例生成的示例投影仪图案。图4图示了示例投射图案的实施例，该示例投射图案可以由深度相机系统的滚动式投影仪的一个实施例生成。图5图示了具有滚动式投影仪和(多个)滚动式相机的深度相机系统的一个实施例，该滚动式投影仪生成投影仪图像的顺序的部分，该(多个)滚动式相机使像素阵列的对应部分曝光。图6是系统的一个实施例的框图；图7图示了能够支持以上所讨论的操作的计算环境的实施例。具体实施方式在以下描述中，陈述许多细节以提供对本专利技术的更为透彻的解释。然而，对本领域技术人员将显而易见的是，在没有这些特定细节的情况下也可实施本专利技术。在其他实例中，以框图形式而不是详细地示出公知的结构和设备，以避免使本专利技术变得模糊。本描述可使用短语“在实施例中”或“在多个实施例中”，它们各自可指相同或不同实施例中的一个或多个。此外，如对于本公开的实施例所使用的术语“包含”、“包括”、“具有”等是同义的。本文中可使用术语“耦合的”及其派生词。“耦合的”可意味着以下意思中的一个或多个。“耦合的”可意味着两个或更多个元件处于直接物理的、电气的或光学的接触。然而，“耦合的”还可意味着两个或多个元件彼此间接接触，但还仍然彼此协作或交互，并且可意味着一个或多个其他元件被耦合或连接在被说成彼此耦合的元件之间。术语“直接地耦合的”可意味着两个或多个元件直接接触。图1图示了用于增强深度相机系统中的信噪比性能的深度相机系统的一个实施例。在主动式经编码的光三角测量系统的多个实施例中，该系统可以包括经编码的光范围相机，该经编码的光范围相机通过将一维二进制(“黑”和“白”)图像投射到场景上来操作，使得所产生的二进制代码对投射平面的角度进行编码。然后，深度由三角测量重构，该三角测量由计算从相机发出的虚射射线与从投影仪发出的平面的交点组成。参考图1，捕捉设备100可包括3D扫描仪、3D相机或配置用于3D对象采集的任何其他设备。在一些实施例中，如所图示，捕捉设备100包括图像捕捉设备102(例如，数码相机)和具有多个组件的投影仪单元104，该投影仪单元104诸如激光投影仪或激光扫描仪。在一些实施例中，数码相机102可包括采用滚动式CMOS传感器的红外(IR)相机，并且投影仪单元104可包括滚动式IR激光投影仪，诸如，竖直腔表面发射激光器(VCSEL)投影仪。投影仪单元104被配置成用于投射如本文中所描述的光图案，并且可包括一维经编码的投射图案，诸如，图3中所示的示例投射图案。在一个实施例中，投射图案300包括一维经编码的光图案305，例如，可由一维或线性代码描述的图案。由对象的表面上的激光平面形成的光投射图案可由图像捕捉设备102接收，并且可由图像捕捉设备102的传感器感测(例如，读取)。基于对在传感器感测周期期间累积的光图案的多次扫描的读数，捕捉设备100可被配置成用于重构对象的形状。在一些实施例中，捕捉设备100可进一步包括另一图像捕捉设备，诸如，数码相机103。在一些实施例中，数码相机103可具有与数码相机103的分辨率不同的分辨率。例如，数码相机102可以是多色相机，诸如，被配置成用于捕捉对象的纹理图像的红绿蓝(RGB)相机。捕捉设备100可进一步包括处理器106，该处理器106可通过总线或互连107来与图像相机组件101操作地通信。处理器106可包括可执行指令的标准化处理器、专用处理器、微处理器等，该指令可包括用于以下操作的指令：生成深度信息、生成深度图像、确定该深度图像中是否可包括合适的目标、或者执行本文中所描述的其他操作。处理器106可被配置成用于例如使用用于3D图像重构的几何学技术或其他技术、基于由数码相机102捕捉的图像来重构对象。处理器106可进一步被配置成用于校正可由例如各种外部因素(例如，温度、跌落、弯曲等)引起的对象的经重构的图像或深度计算中的失真。捕捉设备100可进一步包括存储器105，该存储器105可存储可由处理器106执行的指令、由相机捕捉的图像或图像的帧、用户简档或任何其他合适的信息、图像等。根据一个实施例，存储器105可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图1中所示，存储器组件105可以是与相机101和处理器106通信的分开的组件。替代地，存储器可以集成到处理器106和/或图像捕捉相机101中。在一个实施例中，组件102-106中的一些或全部位于单个壳体中。处理器105、存储器104、其他组件(未示出)、图像捕捉设备102以及投影仪单元104可与一个或多个接口(未示出)耦合，这一个或多个接口被配置成用于促进上文所提到的组件之间的信息交换。(多个)通信接口(未示出)可为设备100提供接口以通过一个或多个有线或无线网络进行通信和/或与任何其他合适的设备进行通信。在各实施例中，捕捉设备100可以被包括于或与下列设备相关联，但不限于下列设备：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、手机、平板电脑、智能电话、上网本、超极本等)。在一个本文档来自技高网...

【技术保护点】
1.一种方法，包括：使滚动式相机传感器的像素阵列的部分曝光；在所述像素阵列的部分的曝光期间，激活滚动式投影仪的部分以生成投射图案的部分；利用所述滚动式相机传感器的所述像素阵列的经曝光的部分来捕捉用于所述投射图案的所生成的部分的图像数据；以及至少部分地基于所捕捉的图像数据来执行深度重构。

【技术特征摘要】
【国外来华专利技术】2015.12.21 US 14/976,6291.一种方法，包括：使滚动式相机传感器的像素阵列的部分曝光；在所述像素阵列的部分的曝光期间，激活滚动式投影仪的部分以生成投射图案的部分；利用所述滚动式相机传感器的所述像素阵列的经曝光的部分来捕捉用于所述投射图案的所生成的部分的图像数据；以及至少部分地基于所捕捉的图像数据来执行深度重构。2.如权利要求1所述的方法，进一步包括：使所述滚动式相机传感器的所述像素阵列的连续部分曝光；激活与所述像素阵列的连续部分对应的所述滚动式投影仪的连续部分；将所述像素阵列的每个连续部分的曝光与所述滚动式投影仪的每个连续部分进行协调；以及捕捉多个图像数据以获取与完整的投射图案对应的深度重构数据。3.如权利要求1所述的方法，其中，所述像素阵列的经曝光的部分包括所述像素阵列的一行或多行的像素，其中，所述滚动式投影仪包括光发射源的阵列，并且其中，所述滚动式投影仪的经激活的部分包括来自所述阵列的一行或多行的光发射源。4.如权利要求1所述的方法，其中，激活所述滚动式投影仪的对应部分包括：激活所述滚动式投影仪的所述部分、而所述滚动式投影仪的其余部分为不活跃。5.如权利要求4所述的方法，进一步包括：向所述滚动式投影仪的经激活的部分供应阈值水平的功率。6.如权利要求5所述的方法，其中，供应给所述滚动式传感器的部分的所述阈值水平的功率对应于能够单次被供应给所述滚动式投影仪传感器的所有部分的最大功率。7.如权利要求4所述的方法，其中，所述阈值水平的功率是眼睛安全极限功率阈值。8.如权利要求1所述的方法，其中，所述滚动式相机传感器是红外滚动式相机传感器，并且所述滚动式投影仪是竖直腔表面发射激光(VCSEL)投影仪。9.如权利要求8所述的方法，其中，所述VCSEL投影仪包括多个光发射源，其中，每个光发射源是能够独立地激活的。10.如权利要求1所述的方法，其中，所述滚动式相机传感器包括至少两个滚动式相机传感器，所述至少两个滚动式相机传感器用于使属于所述至少两个滚动滚动式相机传感器的像素阵列的对应部分曝光，其中，所述至少两个滚动式相机传感器的每个像素阵列捕捉用于所述投射图案的所生成的部分的图像数据，并且其中，所述深度重构是立体深度重构。11.一种系统，包括：滚动式相机，配置成用于：使滚动式相机传感器的像素阵列的部分曝光；以及利用所述像素阵...

【专利技术属性】
技术研发人员：K·斯瓦米纳坦，A·格鲁那特杰普森，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US