利用结构化光和泛光的深度图制造技术

一种方法，包括：接收由预定的结构化光图案和泛光填充照明两者照亮的场景的图像；基于所接收的场景的图像来生成场景的活动亮度图像，包括：检测预定的结构化光图案的多个点，以及从活动亮度图像中移除预定的结构化光图案的该多个点；以及基于所接收的图像和活动亮度图像来生成场景的深度图。

Depth map using structured light and flood

【技术实现步骤摘要】
【国外来华专利技术】利用结构化光和泛光的深度图
技术介绍
常规的结构化光深度感测系统通常投射随机点图案，该随机点图案提供足够的纹理以支持相机图像与预记录的点图案图像之间的立体匹配。
技术实现思路
提供了一种方法，包括：接收由预定的结构化光图案和泛光(flood)填充照明两者照亮的场景的图像；基于所接收的场景的图像来生成场景的活动(active)亮度图像，包括：检测预定的结构化光图案的多个点，以及从活动亮度图像中移除预定的结构化光图案的该多个点；以及基于所接收的图像和活动亮度图像来生成场景的深度图。提供本
技术实现思路
是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步被描述。本
技术实现思路
不旨在标识所要求保护的主题内容的关键特征或必要特征，也不旨在被用来限制所要求保护的主题内容的范围。此外，所要求保护的主题内容不限于解决在本公开的任何部分中提到的任何或所有缺点的实施方式。附图说明图1示出了根据本公开的一个实施例的以头戴式显示器(HMD)设备的形式的计算设备的侧面透视图。图2A示出了由图1的计算设备的深度传感器捕获的示例场景。图2B示出了由图1的计算设备的深度传感器捕获的预定的结构化光图案来照亮的示例场景的示例图像。图2C示出了使用图1的计算设备的深度传感器的示例深度计算。图3示出了由图1的计算设备的深度传感器捕获的图像的示例感兴趣区域。图4A示出了由图1的计算设备的深度传感器捕获的泛光填充照明来照亮的示例场景的另一示例图像。图4B示出了由图1的计算设备的深度传感器捕获的预定的结构化光图案和泛光填充照明两者来照亮的示例场景的另一示例图像。图5示出了图1的计算设备的深度传感器的示例结构化光照明器。图6示出了图1的计算设备的深度传感器的示例泛光填充光照明器。图7示出了图1的计算设备的示例深度传感器。图8示出了图1的计算设备的深度传感器的示例混合光照明器。图9示出了图1的计算设备的另一示例深度传感器。图10示出了用于使用图1的计算设备的深度传感器来生成深度图的示例方法。图11示出了用于使用图1的计算设备的深度传感器来生成深度图的另一示例方法。图12A示出了由图1的计算设备的深度传感器的相机24捕获的示例图像。图12B示出了基于由图1的计算设备的深度传感器的相机24捕获的图像而生成的示例活动亮度图像。图13示出了基于由图1的计算设备的深度传感器的相机24捕获的图像而生成的示例活动亮度图像。图14继续图11的示例方法。图15A示出了由图1的计算设备的深度传感器的相机24捕获的示例图像。图15B示出了针对图1的计算设备的深度传感器的预定的结构化光图案的示例预记录的图像。图16A示出了由图1的计算设备的深度传感器捕获的示例图像的示例深度图。图16B示出了由图1的计算设备的深度传感器捕获的示例图像的示例支持加权。图17示出了具有由图1的计算设备的深度传感器捕获的示例图像的准确深度边界的示例深度图。图18继续图11的示例方法。图19A示出了由图1的计算设备的深度传感器的相机24捕获的示例图像。图19B示出了针对图1的计算设备的深度传感器的预定的结构化光图案的示例预记录的图像。图20示出了由图1的计算设备的深度传感器捕获的示例图像的示例稀疏深度图。图21示出了根据本说明书的实施例的示例计算系统。具体实施方式如上所述，常规的结构化光深度感测系统通常投射点图案，该点图案提供足够的纹理以支持相机图像与预记录的点图案图像之间的立体匹配。然而，在这些结构化光深度感测系统中，没有观察到点的像素不接收任何照明。作为该缺失输入的结果，当前的基于点的结构化光深度图通常具有被不准确重建的深度边界。本文描述的系统和方法已被设计以解决这些挑战。图1图示了以头戴式显示器(HMD)设备12形式的计算设备10。根据本公开的示例，HMD设备12可以由用户佩戴。在其他示例中，计算设备10可以采取其他合适的形式，诸如，例如台式计算设备、游戏控制台、膝上型计算机、腕戴式计算设备或移动计算设备。在图1的示例中，HMD设备12包括框架14，框架14缠绕在用户的头部周围，以将显示设备16定位为靠近用户的眼睛。框架支持HMD设备10的附加组件，诸如，例如处理器18和深度传感器20。深度传感器20可以被配置成生成在HMD设备12的深度传感器20前面的物理环境的深度图。在一个示例中，深度传感器20包括一个或多个照明器22和一个或多个相机24。处理器18包括逻辑和相关联的计算机存储器，处理器18被配置成向显示设备16提供图像信号、从一个或多个相机24接收图像信以及执行本文描述的各种控制过程。例如，处理器18可以包括逻辑处理器，并且计算设备10可以包括与显示设备16和深度传感器20通信的易失性存储器和非易失性存储器，如下面关于图21的示例计算系统100更详细地讨论的。如图1中图示的，深度传感器20包括照明器22，照明器22被配置成将预定的结构化光图案26和泛光填充照明28两者发射在场景上，场景诸如例如在由用户佩戴的HMD设备12前面的物理环境。在所图示的示例中，所发射的预定的结构化光图案26是基于点的斑点图案。通常的结构化光图案的点通常是小的光点，并且可以例如当在被反射回到深度传感器20之后撞击在深度传感器20内的相机24的光传感器上时，具有一个像素或两个像素的直径。附加地，通常的结构化光图案可以每25个相机像素包括这些点中的一个点。然而，将理解，可以在预定的结构化光图案26中利用任何合适大小的点和点对相机像素密度来实现合适的性能和准确性，诸如2个、3个或4个像素的点直径以及每4个、9个、16个、25个或36个相机像素1个点的点密度。附加地，如图1中所图示的，结构化光图案的点通常不以均匀的网格图案放置。可以生成针对预定的结构化光图案的特定的点图案，使得涵盖一个或多个点的每个感兴趣区域(即块)将与每个其他感兴趣区域(即块)可检测地不同。由点的图案提供的纹理可以由处理器18使用以在由照明器22发射的预定的结构化光图案中的感兴趣区域与由相机24捕获的图像中的对应感兴趣区域之间执行立体匹配。将理解，上面所描述和图1中所图示的预定的结构化光图案26仅仅是示例性的，并且预定的结构化光图案26可以采取其他合适的形式。如图1中进一步所图示的，所发射的泛光填充照明28是漫射照明，其通常在被发射时具有均匀的强度。附加地，如图1中所图示的，与所发射的预定的结构化光图案26相比，可以利用更低的光强度来发射泛光填充照明28。在一个示例中，可以利用预定的结构化光图案26的强度的十分之一、八分之一、四分之一或二分之一来发射泛光填充照明28。但是，将理解，泛光填充照明28与预定的结构化光图案26之间的其他强度比率可以被照明器22利用。深度传感器20还包括相机24，相机24被配置成捕获由预定的结构化光图案26和泛光填充照明28来照亮的场景的图像。在一个示例中，照明本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n接收由预定的结构化光图案和泛光填充照明两者照亮的场景的图像；/n基于所接收的所述场景的所述图像，生成所述场景的活动亮度图像，包括：/n检测所述预定的结构化光图案的多个点；以及/n从所述活动亮度图像中移除所述预定的结构化光图案的所述多个点；以及/n基于所接收的所述图像和所述活动亮度图像，生成所述场景的深度图。/n

【技术特征摘要】
【国外来华专利技术】20170822 US 15/683,6701.一种方法，包括：
接收由预定的结构化光图案和泛光填充照明两者照亮的场景的图像；
基于所接收的所述场景的所述图像，生成所述场景的活动亮度图像，包括：
检测所述预定的结构化光图案的多个点；以及
从所述活动亮度图像中移除所述预定的结构化光图案的所述多个点；以及
基于所接收的所述图像和所述活动亮度图像，生成所述场景的深度图。


2.根据权利要求1所述的方法，其中移除所述多个点还包括：针对所述预定的结构化光图案的所述多个点中的每个点，利用强度值来修补与所述点相对应的像素。


3.根据权利要求2所述的方法，其中修补像素包括从所述图像中所述点之外的像素采样所述强度值。


4.根据权利要求3所述的方法，其中所述强度值从所述点之外的邻近的最靠近的像素被采样。


5.根据权利要求1所述的方法，其中生成所述场景的所述深度图包括：在所接收的所述图像与所述预定的结构化光图案的预记录的图像之间执行立体匹配。


6.根据权利要求5所述的方法，还包括：基于所生成的所述活动亮度图像，过滤所述场景的所生成的所述深度图。


7.根据权利要求1所述的方法，其中生成所述场景的所述深度图包括：
针对所接收的所述图像中的每个像素，基于所生成的所述活动亮度图像，计算针对围绕所述像素的感兴趣区域中的每个其他像素的支持权重；以及
基于所述感兴趣区域和针对每个像素的所计算的支持权重，在所接收的所述图像与所述预定的结构化光图案的预记录的图像之间执行立体匹配。


8.根据权利要求7所述的方法，其中所述支持权重基于所述活动亮度图像中的强度值的相似度而被计算。


9.根据权利要求1所述的方法，其中生成所述场景的所述深度图包括：
针对在所接收的所述图像中检测到的所述多个点中的每个点，计算一个或多个特征向量；
基于所计算的所述特征向量，在所接收的所述图像中的所述多个点中的每个点与所述预定的结构化光图案的预记录的图像中的对应的多个点之间执行立体匹配；
基于所述立体匹配，计算针对由所接收的所述图像中的所述多个点中的每个点覆盖的像素的深度值；
针对所接收的所述图像中所述多个点之外的每个像素：
确定围绕所述像素的感兴趣区域；
基于所生成的所述活动亮度图像，计算针对所述...

【专利技术属性】
技术研发人员：M·布莱耶，R·K·普里塞，D·C·德曼多莱克斯，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US