生成深度图制造技术

本发明专利技术提供了用于生成深度图的方法和系统。所述方法（300）包括将红外（IR）点图案投影（302）到场景上。所述方法（300）还包括从两个或更多个同步IR摄像装置中的每个捕获（304）立体图像，检测（306）立体图像内的多个点，计算（308）关于立体图像中的点的多个特征描述符，以及计算（310）立体图像之间的视差图。所述方法（300）进一步包括使用视差图生成（312）场景的深度图。

【技术实现步骤摘要】
生成深度图
技术介绍
立体视觉是通过比较出自两个不同的视点的关于场景的信息来从图像中提取三维信息。立体视觉是计算机视觉技术中的最重要的研究领域之一。使用传统的立体算法从彩色图像或RGB图像生成深度图。然而，这些算法在它们的效能方面受到场景中的相关特征的数量以及诸如场景内的亮度恒定的假设两者的限制。在一些情况下，可能难于从诸如没有图案的衬衫或者单色墙壁的纯色对象生成场景内的元素的深度图。此外，在诸如起居室内的、非演播室条件中，常常存在照明变化。此外，用于主动深度感测的技术已通过使用结构化光从场景提取几何特征来改进深度估计方法。对于现有技术，诸如在来自微软公司(Microsoft Corporation)的 Kinect 系统中提供的技术，结构化红外(IR)图案被投影到场景上并且被单个IR摄像装置拍照。基于光图案的变形，关于底层视频场景的几何信息可以被确定并且用于生成深度图。 然而，尽管存在结构化光技术的优点，但是当同时使用多个模块对同一场景采样时，这些模块产生投影图案之间的干扰。此外，当多个模块尝试同时对同一场景采样时，可能存在与各个深度图的时间同步相关联的显著问题。此外，还可能难于正确地校准结构化光投影器或激光器。
技术实现思路
下文给出了创新的简要概述，以便提供这里描述的一些方面的基本理解。本概述并非是要求保护的主题内容的广泛的总结。本概述既非旨在标定要求保护的主题内容的关键的或重要的元素，也非旨在界定本创新的范围。其唯一目的在于以简化的形式给出要求保护的主题内容的一些概念，作为后面给出的更详细的描述的前言。一个实施例提供了一种用于生成深度图的方法。该方法包括使用特定形式的结构化光，也就是将红外(IR)点图案投影到场景上。该方法还包括从两个或更多个同步IR摄像装置中的每个捕获立体图像。为了计算图像之间的视差图，该方法检测立体图像内的多个点并且计算关于立体图像中的点的多个特征描述符。在实施例中，视差图可以包括关于立体图像内的所有匹配点的视差值。该方法进一步包括使用视差图生成关于场景的完整的或部分的深度图。这里，每个模块将被称为主动IR立体模块。另一实施例提供了一种用于生成深度图的立体模块系统。该立体模块系统包括被配置成处置多个主动IR立体模块的处理的处理器。每个主动IR立体模块包括被配置成将 IR点图案投影到场景上的IR图案投影模块以及被配置成从两个或更多个时间同步IR摄像装置中的每个捕获立体图像的同步摄像装置模块。每个主动IR立体模块还包括被配置成识别立体图像内的多个点的点检测模块、被配置成计算关于立体图像中的点的多个特征描述符的特征描述模块、以及被配置成计算立体图像之间的视差图的视差计算模块。此外，每个主动IR立体模块包括被配置成使用视差图生成场景的深度图的深度图生成模块。此外，另一实施例提供了用于存储计算机可读指令的一个或更多个非易失性计算机可读存储介质。当由一个或更多个处理模块执行时，计算机可读指令提供了用于生成深度图的立体模块系统。计算机可读指令包括被配置成将IR点图案投影到场景上并且从两个或更多个同步IR摄像装置捕获立体图像的代码。计算机可读指令还包括被配置成检测立体图像内的多个点，计算关于立体图像中的点的多个特征描述符，计算立体图像之间的视差图，以及使用视差图生成场景的深度图的代码。本概述被提供用于以简要的形式介绍一组概念；下文在具体实施方式中进一步描述了这些概念。本概述述既非旨在标定要求保护的主题内容的关键特征或基本特征，也非旨在用于限制要求保护的主题内容的范围。附图说明图I是可用于生成场景的深度图的立体模块系统的框图2是可用于生成场景的深度图的主动IR立体模块的示意图3是示出了使用主动IR立体模块生成深度图的方法的处理流程图4是一种可用于识别立体图像内的特征描述符的分格(binning)方法的示意图5是另一种可用于识别立体图像内的特征描述符的分格方法的示意图6是可用于生成场景的深度图的、通过同步信号连接的主动IR立体模块的系统的不意图7是示出了用于根据来自多个主动IR立体模块的深度图的组合生成场景的构造视图的方法的处理流程图；以及图8是示出了存储适于生成场景的深度图的代码的有形的计算机可读介质的框图。在本公开和附图通篇中使用相同的附图标记表示相同的部件和特征。100系列中的数子指不最初出现在图I中的特征，200系列中的数子指不最初出现在图2中的特征,300 系列中的数字指示最初出现在图3中的特征，如此等等。具体实施方式如上文讨论的，传统的立体算法在它们的效能方面受到场景中的相关特征的数量以及诸如场景内的亮度恒定的假设两者的限制。因此，这里描述的实施例被设计成对其中不存在亮度恒定假设的场景生成更准确的深度图。例如，对于诸如起居室的、其中常常存在不一致的照明的场景，以及在其中传统立体算法失效的低特征区域中，亮度恒定假设是不准确的。这里公开的实施例阐述了一种使用主动IR立体模块来生成场景的深度图的方法和系统。如这里使用的，“主动IR立体模块”指的是这样一种成像模块，其利用立体观测来生成场景的三维深度图。立体观测是从两个或更多个不同的视角创建场景的三维(或“立体”)视图(或“观测”)的处理。通过使用用于来自不同视角的立体图像之间的视差检测的方法来生成深度图，可以获取场景的三维视图。相似地，术语“立体视觉”指的是通过使用从已知视点取得的两个或更多个立体图像来确定图像的深度以恢复图像的第三维度。可以基于匹配或对应的立体图像内的点来确定立体图像的深度。一旦立体图像内的对应的点已被识别，则可以执行摄像装置的三角测量以恢复立体图像深度。三角测量是基于点到两个或更多个立体图像的投影来确定点在三维空间中的位置的处理。术语“主动立体视觉”指的是在投影到场景上的结构化光的帮助下的深度恢复。术语“深度图”在三维计算机图形应用中常用于描述包含与从摄像装置视点到场景中的对象表面的距离相关的信息的图像。立体视觉使用可包括亮度的图像特征来估计立体视差。可以使用内在的和外在的摄像装置配置将视差图转换成深度图。根据当前方法， 可以利用一个或更多个主动IR立体模块来创建场景的三维深度图。在一个实施例中，主动IR立体模块可以包括投影随机红外(IR)点图案的结构化光投影器、一个或更多个RGB摄像装置、以及两个或更多个同步(例如，锁相)立体IR摄像装置。主动IR立体模块可用于使用IR点图案投影器将随机IR点图案投影到场景上并且使用两个或更多个锁相IR摄像装置捕获场景的立体图像。术语“锁相”常用于描述用于维持两个或更多个信号之间的时间相干性，即信号之间的同步的技术。可以检测立体图像内的点，并且可以计算点的多个特征描述符。特征描述符可以提供来自两个或更多个锁相摄像装置的立体图像的比较的起始点并且可以包括所关注的立体图像内的点。例如，可以对一个立体图像内的特定点进行分析并且将其与另一时间相干立体图像内的相应的点进行比较。可以使用传统的立体技术计算两个或更多个立体图像之间的视差图，并且可以利用视差图生成场景的深度图。如这里使用的，“视差图”指的是跨越两个或更多个立体图像的像素偏移分布。视差图可用于测量从两个或更多个不同的对应视点捕获的立体图像之间的像素偏移。此外，可以使用简单算法将视差图转换成深度图。应当注意，当前方法不限于使用I本文档来自技高网...

【技术保护点】
一种用于生成深度图（112）的方法（300），包括：将红外IR点图案（212，626）投影（302）到场景（214，608）上；从两个或更多个同步IR摄像装置（136，204，206，610，612，614，616）中的每个捕获（304）立体图像；检测（306）所述立体图像内的多个点；计算（308）与所述立体图像中的所述多个点对应的多个特征描述符；计算（310）所述立体图像之间的视差图；以及使用所述视差图生成（312）所述场景（214，608）的深度图（112）。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：查尔斯·日特尼克，辛·秉·康，亚当·柯克，克斯图提斯·帕蒂耶尤纳斯，亚龙·埃谢，大卫·埃雷克，西蒙·温德，
申请(专利权)人：微软公司，
类型：发明
国别省市：