深度传感器校准和逐像素校正制造技术

本文描述的各种技术针对由深度传感器捕获的输入深度图像的校正。输入深度图像可以包括像素，并且像素可以具有输入深度图像中的相应深度值。此外，可以利用针对深度传感器所校准的非线性误差模型的深度校准数据来确定用于像素的逐像素校正值。逐像素校正值可以基于分别对应于像素和深度值的深度校准数据的部分来确定。逐像素校正值可以被应用于深度值以生成经校正的深度图像。另外，可以输出经校正的深度图像。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
图像传感器的使用最近已经变得更加普遍。通常采用用于在制造之后对图像传感器的本征参数进行定制校准的各种技术。常规地在图像传感器的制造之后校准的本征参数的示例包括焦距、透镜畸变、光轴中心的偏移等等。此外，基于本征参数的校准的校正可以在图像传感器产生读数时实时地应用。尽管各种常规方案往往会校准图像传感器的本征参数，但是常规方案有时候没有充分地解决深度读数偏置。因而，相比于由精确距离测量仪器（例如，激光测距仪）所测量的到这样的对象的距离而言，其中许多个在离开制造现场之后具有有限的准确度的深度传感器通常报告到对象的不正确的距离。深度传感器通常包括在用于采用到场景上的对象的距离的各种应用的视觉系统中。例如，深度传感器可以用于在室内环境中导航或者操控桌面上的对象。深度传感器典型地在离开制造现场之后具有有限的准确度，其可能是由于用于深度传感器的硬件能力和传统校准技术的组合的缘故。例如，许多深度传感器通常作为制造过程的部分而在逐传感器的基础上进行校准。通常源自于这样的常规校准技术的低准确度水平对于用于利用由深度传感器检测的距离的应用的总体系统性能而言可能是有害的，诸如二维（2D）和三维（3D）场景重构、3D扫描、场景分段、机器人导航和操控以及其它。
技术实现思路
本文描述了针对由深度传感器捕获的输入深度图像的校正的各种技术。输入深度图像可以包括像素，并且像素可以具有输入深度图像中的相应深度值。此外，用于像素的逐像素校正值可以利用针对深度传感器所校准的非线性误差模型的深度校准数据来确定。逐像素校正值可以基于分别对应于像素和深度值的深度校准数据的部分来确定。逐像素校正值可以应用于深度值以生成经校正的深度图像。另外，经校正的深度图像可以被输出。依照各种实施例，针对深度传感器所校准的非线性误差模型的深度校准数据可以包括参数矩阵，并且参数矩阵可以包括用于像素的误差拟合参数。因而，对于输入深度图像的每一个像素，来自像素的参数矩阵的误差拟合参数可以用于在评估非线性误差函数时计算逐像素校正值。根据其它实施例，针对深度传感器所校准的非线性误差模型的深度校准数据可以包括查找表，其包括在用于像素的预设深度值处的预限定的校正值。依照各种实施例，可以标识形成相应补片的输入深度图像的多个像素。可以为补片分配深度校准数据的相应子集。例如，包括在给定补片中的多个像素可以共享深度校准数据的对应子集。因而，可以基于分别对应于像素和深度值的深度校准数据的子集来确定逐像素校正值。另外，本文阐述的各种实施例针对深度传感器的校准。可以接收由深度传感器捕获的表面的深度图像。表面的深度图像的子集可以在距表面的相应距离处捕获。此外，深度图像各自包括像素，其中像素具有每一个深度图像中的相应深度值。还可以接收针对与深度图像的子集对应的表面的相应地面实况测量结果。地面实况测量结果可以由距离测量设备测量。像素的深度值可以在距表面的相应距离处所捕获的深度图像的每一个子集中的深度图像之上平均。另外，像素的平均深度值可以与地面实况测量结果比较以计算距表面的每一个相应距离处的像素的误差值。此外，可以针对深度传感器所校准的非线性误差模型而基于距表面的每一个相应距离处的像素的误差值和地面实况测量结果来生成深度校准数据。以上
技术实现思路
呈现了简化总结以便提供对本文讨论的系统和/或方法的一些方面的基本理解。该
技术实现思路
不是本文讨论的系统和/或方法的全面概述。其不意图标识关键/必要特征，也不描绘这样的系统和/或方法的范围。其唯一目的是将一些概念以简化形式呈现，以作为对随后呈现的更详细描述的前序。附图说明图1图示了校正由深度传感器生成的输入深度图像的示例性系统的功能框图。图2图示了示例性深度图像。图3图示了校正由深度传感器生成的深度图像的另一示例性系统的功能框图。图4图示了包括深度传感器的示例性系统的功能框图，其中深度传感器可以校正输入深度图像。图5图示了校准深度传感器的示例性系统的功能框图。图6图示了校准深度传感器的另一示例性系统的功能框图。图7图示了包括竖直带的示例性深度图像。图8是图示了校正输入深度图像的示例性方法的流程图。图9是图示了校准深度传感器的示例性方法的流程图。图10图示了示例性计算设备。具体实施方式现在参照附图来描述针对由深度传感器捕获的深度图像的逐像素校正和深度传感器校准的各种技术，其中相同参考标号自始至终用于指代相同元件。在以下描述中，出于解释的目的，阐述众多具体细节以便提供对一个或多个方面的透彻理解。然而，可以显而易见的是，（多个）这样的方面可以在没有这些具体细节的情况下实践。在其它实例中，以框图形式示出公知的结构和设备以便促进对一个或多个方面的描述。另外，要理解到，被描述为由某些系统组件实施的功能性可以由多个组件执行。类似地例如，组件可以配置为执行被描述为由多个组件实施的功能性。此外，术语“或”旨在意指包括性的“或”而非排他性的“或”。也就是说，除非以其它方式指定，或者从上下文清楚，否则短语“X采用A或B”旨在意指任何自然的包括性置换。也就是说，短语“X采用A或B”满足以下实例中的任一个：X采用A；X采用B；或者X采用A和B二者。此外，如在该说明书和随附权利要求中使用的冠词“一”和“一个”应当一般地解释为意指“一个或多个”，除非以其它方式指定或者从上下文清楚的是针对单数形式。现在参照附图，图1图示了校正由深度传感器102生成的输入深度图像的系统100。系统100包括深度传感器102和深度校正系统104。深度传感器102可以捕获输入深度图像106。输入深度图像106包括像素，并且像素具有输入深度图像106中的相应深度值。由深度传感器102捕获的输入深度图像106可以提供给深度校正系统104。深度校正系统104可以校正由深度传感器102捕获的输入深度图像106中的深度值以生成经校正的深度图像108。因而，在深度传感器102产生输入深度图像（例如，深度帧）时的运行时间处，深度校正系统104可以应用由深度传感器102报告的输入深度图像中的深度值的逐像素校正。各种类型的深度传感器旨在落入随附于此的权利要求的范围。例如，深度传感器102可以是结构化光3D扫描仪、飞行时间扫描仪、调制光3D扫描仪等。例如，结构化光3D扫描仪可以在场景上投射光图案，捕获光的快照，并且分析图案的畸变以确定输入深度图像106中的像素的深度值。深度校正系统104包括接收由深度传感器102捕获的输入深度图像106的输入组件110。例如，输入组件110可以响应于由深度传感器102捕获到输入深度图像106而接收输入深度图像106（例如，深度传感器102可以将输入深度图像的流发送给深度校正系统104）。根据另一示例，输入组件110可以接收批量的输入深度图像（包括输入深度图像106）（例如，深度传感器102可以收集并且发送该批量输入深度图像）。尽管本文阐述的许多示例描述了输入深度图像106，但是要领会到，这样的示例可以扩展到由深度传感器102捕获的其它输入深度图像。依照示例，输入组件110可以直接地从深度传感器102接收输入深度图像106。按照该示例的说明，计算设备可以包括深度校正系统104，并且这样的计算设备可以与深度传感器102耦合或者包括深度传感器102。根据另一示例，输入组件110可以从网络中本文档来自技高网...

【技术保护点】
一种校正输入深度图像的方法，包括：接收由深度传感器捕获的输入深度图像，其中输入深度图像包括像素，像素具有输入深度图像中的相应深度值；利用针对深度传感器所校准的非线性误差模型的深度校准数据来确定用于像素的逐像素校正值，其中逐像素校正值基于分别对应于像素和深度值的深度校准数据的部分来确定；将逐像素校正值应用于深度值以生成经校正的深度图像；以及输出经校正的深度图像。

【技术特征摘要】
【国外来华专利技术】2014.04.22 US 14/2580971.一种校正输入深度图像的方法，包括：接收由深度传感器捕获的输入深度图像，其中输入深度图像包括像素，像素具有输入深度图像中的相应深度值；利用针对深度传感器所校准的非线性误差模型的深度校准数据来确定用于像素的逐像素校正值，其中逐像素校正值基于分别对应于像素和深度值的深度校准数据的部分来确定；将逐像素校正值应用于深度值以生成经校正的深度图像；以及输出经校正的深度图像。2.权利要求1所述的方法，其中针对深度传感器所校准的非线性误差模型的深度校准数据包括参数矩阵，并且其中参数矩阵包括用于像素的误差拟合参数。3.权利要求2所述的方法，其中基于分别对应于像素和深度值的深度校准数据的部分来确定逐像素校正值还包括：对于输入深度图像的每一个像素：从参数矩阵检索用于像素的误差拟合参数，其中像素具有输入深度图像中的深度值；以及通过使用用于像素的误差拟合参数评估非线性误差函数来计算用于像素的逐像素校正值，其中针对输入深度图像而基于深度值来评估非线性误差函数。4.权利要求2所述的方法，其中输入深度图像包括多个补片，所述补片包括输入深度图像的像素中的相应多个像素，其中为补片分配参数矩阵的相应误差拟合参数，并且其中包括在补片中的多个像素共享被分配给补片的误差拟合参数。5.权利要求1所述的方法，其中针对深度传感器所校准的非线性误差模型的深度校准数据包括查找表，其中查找表包括用于像素的预设深度值处的预限定的校正值，并且其中基于分别对应于像素和深度值的深度校准数据的部分来确定逐像素校正值还包括：对于输入深度图像的每一个像素：从查找表检索用于像素的第一预设深度值处的第一预限定的校正值，其中像素具有输入深度图像中的深度值，并且其中第一预设深度值等于或者贴近地大于查找表中的像素的深度值；从查找表检索用于像素的第二预设深度值处的第二预限定的校正值，其中第二预设深度值贴近地小于查找表...

【专利技术属性】
技术研发人员：G施拉严，M雷沃夫，M加罗比努，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US