用反射率图表示增强深度图表示制造技术

提供了用于生成场景中的对象的3D表示的解决方案。对象的深度图表示与对象的反射率图表示组合，以生成对象的3D表示。对象的3D表示提供了对象的更完整和准确的信息。用结构化的光照明并捕捉对象的图像。分析对象的捕捉图像中渲染的图案特征，以导出照明对象的深度图表示和反射率图表示。深度图表示提供深度信息，而反射率图表示提供照明对象的表面信息(例如，反射率)。可以通过投影到对象上的额外的照明和对象的额外图像来增强对象的3D表示。

【技术实现步骤摘要】
【国外来华专利技术】用反射率图表示增强深度图表示
本公开总体上涉及结构化光成像的领域，并且更具体地，涉及利用对象的反射率图表示来增强对象的三维(3D)表示。
技术介绍
场景或场景中的对象的3D表示用于为虚拟现实(VR)系统呈现图像，该系统向VR系统的用户提供虚拟体验。然而，仅以传统方式使用对象的深度图表示来创建对象的3D表示具有缺点。例如，仅将场景中的捕捉对象的深度信息用于场景的3D表示不提供对象的表面的详细信息，这会由于从捕捉对象的深度图表示产生的3D场景的效果而降低用户体验。
技术实现思路
所公开的专利技术的实施例包括用于利用对象的反射率图表示来增强对象的深度图表示以生成对象的三维(3D)表示的系统(或计算机实现的方法或非暂时性计算机可读介质)。“对象”是指数字图像的任何目标，包括图像的任何数量的特定元素和/或背景。对象可以是整个图像或由图像捕捉的场景中的特定元素。对象的“3D表示”是指与二维(2D)图像相比看起来更逼真的对象的立体表示。对象的“深度图表示”是指包含关于从指定视点(例如，捕捉对象的图像的传感器的位置)到对象的表面的不同部分的距离的信息的图像。对象的深度图表示可以是将所有点与Z轴数据连接的网格的形式，并且Z轴测量从对象到指定视点的距离。对象的“反射率图表示”是指包含关于对象的表面的不同部分上的反射率的信息的图像，并且与对象的深度图表示相比，反射率图表示提供对象的表面的更精细的细节。该方法的实施例包括捕捉由结构化光照明的场景中的对象的图像的操作。“结构化光”是指投射到对象上的特定非均匀照明图案的光。捕捉图像包括由照明图案产生的图案特征(例如，一维条纹)。“图案特征”或“图案”是指由非均匀照明产生的特定形式或形状(例如，线条、条纹、点和特定几何形状)，例如，特别结构化的照明。多个图案特征可以具有均匀的或不同的特性(例如，形状、大小和/或强度)。分析图案特征，以通过对从图案特征的几何失真导出的建模信息，来导出场景中的捕捉对象的深度图表示。还分析图案特征，以通过获得关于对象的反射率特性的信息来导出反射率图表示。例如，首先，根据其特征特性(例如，强度、颜色、形状)索引场景中的对象的图案特征，然后，导出图案特征的功能行为。在导出功能行为之后，从捕捉的图像中去除图案特征，并且创建对象的反射率图表示。所创建的深度图表示和反射率图表示组合，以生成对象的三维(3D)表示。对象的3D表示还反映由对象的反射率图表示提供的表面细节和由对象的深度图表示提供的深度信息。将对象的深度图表示与对象的反射率图表示组合的过程也被称为利用对象的反射率图表示来增强对象的深度图表示。在一些实施例中，可以提供额外的照明，以改善对象的反射率图表示的导出，并且可以捕捉对象的额外图像。对象的反射率图表示在对象的深度图表示上登记额外图像，以导出额外3D数据。基于导出的额外3D数据，生成对象的增强3D表示。在一些实施例中，对象的3D表示用于在VR系统中提供对象的虚拟场景。佩戴VR头盔的用户可以体验由对象的增强深度图表示提供的对象的虚拟场景。附图说明图1A是根据一个实施例的包括使用对象的3D表示来提供对象的虚拟场景的虚拟现实(VR)系统的系统环境的方框图；图1B是根据一个实施例的在图1A所示的VR系统中操作的示例VR头盔的透视图；图2A是根据一个实施例的在图1A所示的VR系统中操作的处理器的方框图；图2B是示出根据一个实施例的捕捉场景中的对象的图像并利用对象的反射率图表示来增强对象的深度图表示的步骤的流程图；图3是根据一个实施例的被具有特定照明图案的结构化光照明的对象的示例捕捉图像；图4是根据一个实施例的在图3所示的捕捉图像中的对象的示例深度图表示；图5是根据一个实施例的在图3所示的捕捉图像中的对象的示例反射率图表示；图6A示出了根据一个实施例的在图3所示的捕捉图像中的对象的图案特征的功能行为、从图案特征去除中去除图案特征和残留信号的示例；图6B示出了根据一个实施例的在图3所示的捕捉图像中的对象的照明信号以及用于去除对象表面上的图案特征的乘法函数；图6C示出了根据一个实施例的用于生成捕捉图像中的对象的反射率图表示的原始信号、乘法函数以及照明模型的另一示例；图7是示出根据一个实施例的通过组合图4所示的深度图表示和图5所示的反射率图表示来生成图3所示的对象的3D表示的流程图；图8A示出了根据一个实施例的在捕捉对象的图像中的图案特征和对象的像素之间的相对位置的效果的示例；图8B示出了根据一个实施例的在捕捉对象的图像中的图案特征和对象的像素之间的相对位置的效果的另一示例；图9A是示出根据一个实施例的由处理器通过利用对象的反射率图表示增强对象的深度图表示来生成捕捉对象的图像中的对象的3D表示的过程的示例流程图；图9B是示出根据一个实施例的基于图9A所示的过程生成增强3D表示的过程的示例流程图。附图仅出于说明的目的描绘了本公开的实施例。本领域技术人员根据以下描述将容易认识到，可以在不脱离本文所描述的本公开的原理或评价的优点的情况下，采用在本文示出的结构和方法的替代实施例。具体实施方式图1A是根据一个实施例的包括虚拟现实(VR)系统100的系统环境的方框图。VR系统100包括均耦合到VR控制台120的VR头盔140和成像装置115。为了简单起见，在VR系统100中仅示出一个VR头盔140、一个成像装置115和一个VR控制台120。在未示出的替代实施例中，VR系统100可以包括多个VR头盔140、成像装置115、VR控制台120以及额外的或不同的部件。同样，由VR系统100中包括的各种实体执行的功能在不同的实施例中可以不同。VR头盔140是向用户呈现介质的头戴式显示器(HMD)。由VR头盔140呈现的介质的示例包括一个或多个图像、视频、音频或其某种组合。在一些实施例中，VR头盔140还可以充当增强现实(AR)和/或混合现实(MR)头盔。在这些实施例中，VR头盔140利用计算机生成的元素(例如，图像、视频、声音等)增强物理现实世界环境的视图，例如，通过计算机生成的传感输入(例如，声音、视频、图形数据)补充物理现实世界环境。在图1A所示的实施例中，VR头盔140包括电子显示器142、光学块143、一个或多个照明器144、一个或多个图像传感器145、一个或多个定位器146、一个或多个位置传感器147和惯性测量单元(IMU)148。电子显示器142和光学块143一起监视呈现给佩戴VR头盔140的用户的眼睛的图像光。更具体地，电子显示器142提供原始图像光。光学块143放大从电子显示器142接收的图像光，校正与所接收的图像光关联的光学误差，并且将校正后的图像光呈现给VR头盔140的用户。光学块143可以具有一个或多个光学元件。光学元件可以是光圈、菲涅耳透镜、凸透镜、凹透镜、滤波器或影响从电子显示器142发射的图像光的任何其他合适的光学元件。此外，光学块143可以包括不同的光学元件的组合。在一些实施例中，光学块143中的一个或多个光学元件可以具有一个或多个涂层，例如，抗反射涂层。照明器144提供照明，以对场景中的对象照明。在一个实施例中，照明器144提供结构化光，以照明对象。“结构化光”是指由一个或多个照明器144提供的光，该一个或多个照明器144将像素的已知照明图案投影到照明对象本文档来自技高网...

【技术保护点】
一种方法，包括：用照明图案的结构化光对场景中的对象照明；捕捉被照明的对象的图像，被照明的对象的所述图像具有根据所述照明图案的多个图案特征；分析被照明的对象的捕捉图像中的至少一个图案特征；基于所述捕捉图像的所述至少一个图案特征的分析生成所述对象的深度图表示，所述对象的所述深度图表示包括描述当捕捉所述对象的图像时所述对象相对于视点的距离的信息；从所述对象的所述捕捉图像生成反射率图表示，所述对象的反射图表示包括描述所述对象的至少一部分的反射率特性的信息；组合所述对象的所述深度图表示和所述对象的所述反射率图表示；并且基于所述对象的所述深度图表示和所述对象的所述反射率图表示的组合生成所述对象的三维(3D)表示。

【技术特征摘要】
【国外来华专利技术】2015.05.13 US 62/160,9571.一种方法，包括：用照明图案的结构化光对场景中的对象照明；捕捉被照明的对象的图像，被照明的对象的所述图像具有根据所述照明图案的多个图案特征；分析被照明的对象的捕捉图像中的至少一个图案特征；基于所述捕捉图像的所述至少一个图案特征的分析生成所述对象的深度图表示，所述对象的所述深度图表示包括描述当捕捉所述对象的图像时所述对象相对于视点的距离的信息；从所述对象的所述捕捉图像生成反射率图表示，所述对象的反射图表示包括描述所述对象的至少一部分的反射率特性的信息；组合所述对象的所述深度图表示和所述对象的所述反射率图表示；并且基于所述对象的所述深度图表示和所述对象的所述反射率图表示的组合生成所述对象的三维(3D)表示。2.根据权利要求1所述的方法，其中，生成所述对象的所述反射率图表示包括：索引投影到所述对象上的所述捕捉图像中的所述至少一个图案特征；导出至少一个索引的图案特征的功能行为；并且基于导出的图案特征的所述功能行为，从所述对象的所述捕捉图像中去除所述至少一个图案特征。3.根据权利要求2所述的方法，其中，索引所述至少一个图案特征包括：基于所述图案特征的特征特性，标记所述至少一个图案特征，所述特征特性包括所述图案特征的强度、形状、尺寸或颜色中的至少一个。4.根据权利要求2所述的方法，其中，所述至少一个图案特征的所述功能行为由所述图案特征沿着预定方向的强度来表示。5.根据权利要求2所述的方法，其中，去除所述至少一个图案特征包括：将乘法函数应用于所述至少一个图案特征；并且基于所述乘法函数的应用，去除所述至少一个图案特征。6.根据权利要求1所述的方法，其中，去除所述至少一个图案特征包括：确定所述至少一个图案特征相对于所述捕捉图像中的所述对象的像素的中心的位置；并且校正所述至少一个图案特征相对于所述对象的像素的中心的所述位置，其中，在校正之后，从所述对象的所述捕捉图像中去除所述至少一个图案特征。7.根据权利要求1所述的方法，还包括：为所述对象提供额外的照明；并且利用对所述对象的所述额外的照明来改善所述对象的所述反射率图表示，所述对象的改善的所述反射率图表示提供描述所述对象的表面的一个或多个部分的反射率的额外的信息。8.根据权利要求1所述的方法，还包括生成所述对象的增强3D表示，其中，生成所述对象的所述增强3D表示包括：捕捉所述对象的一个或多个额外图像；利用所述反射率图表示将一个或多个所述额外图像登记到所述对象的所述深度图表示上；从所述额外图像导出额外3D数据；并且利用所述额外3D数据生成所述对象的增强3D表示。9.根据权利要求8所述的方法，还包括：利用对象的改善的反射率图表示，生成所述对象的所述增强3D表示。10.根据权利要求1所述的方法，其中，所述图案特征是具有不同强度的条纹，相邻的两个条纹被暗间隔分开。11.一种存储计算机程序指令的非暂时性计算机可读存储介质，所述计算机程序指令在由计算机处理器执行时使所述处理器执行以下步...

【专利技术属性】
技术研发人员：尼他耶·罗马诺，纳达夫·格罗辛格，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国,US