使用有源感测技术加强移动对象的深度图检索的系统和方法技术方案

本发明专利技术公开用于使用有源感测技术产生具有移动对象的场景的深度图的系统和方法。一个方面提供一种方法，其包含通过产生每一所接收帧的概率图来估计邻近帧中对应于移动对象的区域，所述概率图包括每一像素处的概率值。所述方法还包含使用多个所反射的结构化光帧来计算凸象时间平均值图，所述所反射的结构化光帧至少包含在时间t‑1处接收的前一帧、在时间t处接收的所接收帧和在时间t+1处接收的下一帧，所述凸象时间平均值图的每一像素处的值通过每一时间处的每一像素处的所述概率图来进行加权和归一化。所述方法还包含确定所述凸象时间平均值图中的每一像素处的码字，以及从所述所确定的码字产生深度图。

【技术实现步骤摘要】
【国外来华专利技术】使用有源感测技术加强移动对象的深度图检索的系统和方法
本申请案大体上涉及有源感测，且更具体地说涉及使用有源感测技术来产生移动对象(包含细型对象)的深度图的系统和方法。
技术介绍
结构化光有源感测系统产生场景的深度图或3维表示。这些系统用可识别的代码将空间掩码投影到场景中的对象上。一或多个接收器接收场景对象上的所投影空间掩码的图像。对象反射代码的深度与所接收代码位置减去原始代码位置成正比。无论移动还是静止，细型对象都可能对有源光感测带来挑战。完整的码字可能并未完全位于细型对象的内部。接近对象边界的码字可能会失真。因此，需要使用有源感测来产生具有移动对象的场景(包含具有移动的细型对象的场景)的深度图的系统和方法。
技术实现思路
本公开的示例方面的概述如下。为了方便起见，本公开的一或多个方面在本文中可以被简单地称为“一些方面”。本文中所公开的方法和设备或装置各自具有若干方面，所述方面中的任何单一方面均不独自负责其所需属性。在不限制(例如)如由所附权利要求书所表达的本专利技术的范围的情况下，现将简要地论述其较显著的特征。在考虑此论述之后，且尤其在阅读标题为“具体实施方式”的部分之后，技术人员将理解所描述的特征如何提供增加码字重复使用而不会引入码字不明确性的优点。一个创新是一种用于产生深度图的方法。在各种实施例中，所述方法可包含获得在不同时间捕捉的场景的多个所捕捉图像。所述方法可进一步包含产生场景的背景图象，所述背景图象包含场景中的非移动对象。所述方法可进一步包含，针对所述多个所捕捉图像中的每一个，确定指示所捕捉图像的像素与背景图象的对应像素之间的差异的差异图。所述方法可进一步包含，针对所述多个所捕捉图像中的每一个，基于所述差异图产生概率图，所述概率图指示所捕捉图像的每一像素描绘移动对象的概率。所述方法可进一步包含合并所述多个所捕捉图像以形成时间平均图像，所述合并包含用所述多个所捕捉图像中的至少一个中的每一像素的强度值乘以对应概率图中的对应值。所述方法可进一步包含从所述时间平均图像产生深度图。对于一些实施例，获得多个所捕捉图像包括用成像系统捕捉多个所捕捉图像。对于一些实施例，所述方法可进一步包含将多个码字投影到场景中的至少一个对象上。对于一些实施例，所述方法可进一步包含捕捉多个所捕捉图像，所述多个所捕捉图像中的每一个描绘所述多个码字中的至少一些。对于一些实施例，所述方法可进一步包含确定时间平均图像中的码字。对于一些实施例，所述方法可进一步包含从所确定的码字产生深度图。另一创新是一种用于产生深度图的设备。所述设备可包含存储器单元，其被配置成存储在不同时间捕捉的场景的多个所捕捉图像。所述设备可包含至少一个处理器，其被配置成检索所述多个所捕捉图像。所述至少一个处理器可进一步被配置成从所述多个所捕捉图像的至少一部分产生场景的背景图象，所述背景图象含有非移动对象。所述至少一个处理器可进一步被配置成确定所述多个所捕捉图像中的每一个的差异图，每一差异图指示差异图中每一像素处多个所捕捉图像中的一个与背景图象之间的差异。所述至少一个处理器可进一步被配置成产生所述多个所捕捉图像中的每一个的概率图，每一概率图指示基于多个差异图的概率图中的每一像素处的移动概率。所述至少一个处理器可进一步被配置成通过合并所述多个所捕捉图像中的至少一些来产生时间平均图像，所述合并包含用所述多个所捕捉图像中的至少一个中的每一像素的强度值乘以对应概率图中的对应值。所述至少一个处理器可进一步被配置成从时间平均图像产生深度图。对于一些实施例，所述设备可包含被配置成捕捉多个所捕捉图像的传感器。对于一些实施例，所述设备可包含被配置成将多个码字投影到场景中的至少一个对象上的发射器。对于一些实施例，所述多个所捕捉图像包含所述多个码字中的至少一些的反射。对于一些实施例，所述至少一个处理器可进一步被配置成确定时间平均图像中的所反射码字中的至少一些。对于一些实施例，所述至少一个处理器可进一步被配置成从所确定的码字产生深度图。另一创新是一种用于产生深度图的设备。所述设备可包含用于存储在不同时间捕捉的场景的多个所捕捉图像的装置。所述设备可包含用于从所述存储装置检索多个所捕捉图像的装置。所述设备可包含用于从所述多个所捕捉图像的至少一部分产生场景的背景图象的装置，所述背景图象含有非移动对象。所述设备可包含用于确定所述多个所捕捉图像中的每一个的差异图的装置，每一差异图指示差异图中每一像素处多个所捕捉图像中的一个与背景图象之间的差异。所述设备可包含用于产生多个所捕捉图像中的每一个的概率图的装置，每一概率图指示基于多个差异的概率图中的每一像素处的移动概率。所述设备可包含用于通过合并多个所捕捉图像中的至少一些来产生时间平均图像的装置，所述合并包含用多个所捕捉图像中的至少一个中的每一像素的强度值乘以对应概率图中的对应值。所述设备可包含用于从所述时间平均图像产生深度图的装置。对于一些实施例，存储装置可以是存储器单元。对于一些实施例，检索装置可以是至少一个处理器。对于一些实施例，背景图象产生装置可以是至少一个处理器。对于一些实施例，差异图确定装置可以是至少一个处理器。对于一些实施例，概率图产生装置可以是至少一个处理器。对于一些实施例，时间平均图像产生装置可以是至少一个处理器。对于一些实施例，深度图产生装置可以是至少一个处理器。对于一些实施例，所述设备可包含用于将多个码字投影到场景中的至少一个对象上的装置。对于一些实施例，所述设备可包含用于捕捉场景的多个所捕捉图像的装置，所述多个所捕捉图像包含所述多个码字中的至少一些的反射。对于一些实施例，所述设备可包含用于确定时间平均图像中的所反射码字中的至少一些的装置。对于一些实施例，所述设备可包含用于从所确定的码字产生深度图的装置。对于一些实施例，投影装置可以是发射器。对于一些实施例，图像捕捉装置可以是传感器。对于一些实施例，反射码字装置可以是至少一个处理器。对于一些实施例，深度图产生装置可以是至少一个处理器。另一创新是一种存储用于产生深度图的指令的非暂时性计算机可读媒体。所述指令在被执行时执行操作。所述操作可包含存储在不同时间捕捉的多个所捕捉图像。所述操作可包含检索所述多个所捕捉图像。所述操作可包含从多个所捕捉图像的至少一部分产生背景图象，所述背景图象包含非移动对象。所述操作可包含确定所述多个所捕捉图像中的每一个的差异图，每一差异图指示差异图中每一像素处多个所捕捉图像中的一个与背景图象之间的差异。所述操作可包含产生所述多个所捕捉图像中的每一个的概率图，每一概率图指示基于多个差异图的概率图中的每一像素处的移动概率。所述操作可包含通过合并所述多个所捕捉图像中的至少一些来产生时间平均图像，所述合并包含用所述多个所捕捉图像中的至少一个中的每一像素的强度值乘以对应概率图中的对应值。所述操作可包含从所述时间平均图像产生深度图。对于一些实施例，所述操作可包含将多个码字投影到场景中的至少一个对象上。对于一些实施例，所述操作可包含捕捉场景的多个所捕捉图像，所述多个所捕捉图像包含所述多个码字中的至少一些的反射。对于一些实施例，所述操作可包含确定时间平均图像中的所反射码字中的至少一些。对于一些实施例，所述操作可包含从所确定的码字产生深度图。对于一些实施例，投影多个码字可包含本文档来自技高网...

【技术保护点】
一种用于产生深度图的方法，所述方法包括：获得在不同时间捕捉的场景的多个所捕捉图像；产生所述场景的背景图象，所述背景图象包含所述场景中的非移动对象；针对所述多个所捕捉图像中的每一个：确定指示所述所捕捉图像的像素与所述背景图象的对应像素之间的差异的差异图，且基于所述差异图产生概率图，所述概率图指示所述所捕捉图像的每一像素描绘移动对象的概率；合并所述多个所捕捉图像以形成时间平均图像，所述合并包含用所述多个所捕捉图像中的至少一个中的每一像素的强度值乘以对应概率图中的对应值；以及从所述时间平均图像产生深度图。

【技术特征摘要】
【国外来华专利技术】2015.03.20 US 14/664,0611.一种用于产生深度图的方法，所述方法包括：获得在不同时间捕捉的场景的多个所捕捉图像；产生所述场景的背景图象，所述背景图象包含所述场景中的非移动对象；针对所述多个所捕捉图像中的每一个：确定指示所述所捕捉图像的像素与所述背景图象的对应像素之间的差异的差异图，且基于所述差异图产生概率图，所述概率图指示所述所捕捉图像的每一像素描绘移动对象的概率；合并所述多个所捕捉图像以形成时间平均图像，所述合并包含用所述多个所捕捉图像中的至少一个中的每一像素的强度值乘以对应概率图中的对应值；以及从所述时间平均图像产生深度图。2.根据权利要求1所述的方法，其中获得所述多个所捕捉图像包括用成像系统捕捉所述多个所捕捉图像。3.根据权利要求1所述的方法，其进一步包括：将多个码字投影到所述场景中的至少一个对象上；捕捉所述多个所捕捉图像，所述多个所捕捉图像中的每一个描绘所述多个码字中的至少一些；确定所述时间平均图像中的码字；以及使用所述所确定的码字来产生深度图。4.根据权利要求3所述的方法，其中投影所述多个码字包括透过代码掩码传播光，所述代码掩码具有多个符号。5.根据权利要求1所述的方法，其中每一差异图中的每一像素表示所述所捕捉图像中的对应像素的强度与所述背景图象中的所述对应像素的强度之间的差异。6.根据权利要求5所述的方法，其中时间T处的每一差异图dT(x)中的每一像素x由以下方程确定：dT(x)＝fT(x)-b(x)，至少对于时间T＝t-1、t和t+1，其中像素x＝(x1,x2)，且(x1,x2)对应于图像坐标，其中dT(x)为每一时间T处的所述差异图，其中fT(x)为在时间T捕捉的所述所捕捉图像，且其中b(x)为所述背景图象。7.根据权利要求6所述的方法，其进一步包括：通过按比例缩放每一差异图dT(x)中的每一像素x来产生多个按比例缩放的图sT(x)，从而使得每一像素x在第一值与第二值之间变化，所述第一值指示所述所捕捉图像与所述背景图象之间无强度差异，所述第二值指示所述所捕捉图像与所述背景图象之间的最大强度差异。8.根据权利要求7所述的方法，其中产生时间T＝t处的所述概率图mT(x)包括合并所述多个按比例缩放的图sT(x)以形成时间平均图像。9.根据权利要求8所述的方法，其中时间T处的每一按比例缩放的图sT(x)中的每一像素x由以下方程确定：至少对于时间T＝t-1、t和t+1，其中sT(x)为每一时间T处的所述按比例缩放的图，其中dT(x)为每一时间T处的所述差异图，且其中δ和σ为常数。10.根据权利要求9所述的方法，其中时间T＝t-1、t和t+1的每一概率图mT(x)中的每一像素x由以下方程确定：和11.根据权利要求10所述的方法，其中时间t处的所述时间平均图像中的每一像素x由以下方程确定：12.根据权利要求3所述的方法，其中确定所述时间平均图像中的所述所反射码字中的至少一些包括使用最大似然估计。13.一种用于产生深度图的设备，所述设备包括：存储器单元，其被配置成存储在不同时间捕捉的场景的多个所捕捉图像；以及至少一个处理器，其被配置成：检索所述多个所捕捉图像；从所述多个所捕捉图像的至少一部分产生所述场景的背景图象，所述背景图象含有非移动对象；确定所述多个所捕捉图像中的每一个的差异图，每一差异图指示所述差异图中每一像素处所述多个所捕捉图像中的一个与所述背景图象之间的差异；产生所述多个所捕捉图像中的每一个的概率图，每一概率图指示基于所述多个差异图的所述概率图中的每一像素处的移动概率；通过合并所述多个所捕捉图像中的至少一些来产生时间平均图像，所述合并包含用所述多个所捕捉图像中的至少一个中的每一像素的强度值乘以对应概率图中的对应值；且从所述时间平均图像产生深度图。14.根据权利要求13所述的设备，其进一步包括传感器，所述传感器被配置成捕捉所述多个所捕捉图像。15.根据权利要求13所述的设备，其进一步包括发射器，其被配置成将多个码字投影到场景中的至少一个对象上，其中所述多个所捕捉图像包含所述多个码字中的至少一些的反射；其中所述至少一个处理器进一步被配置成：确定所述时间平均图像中的所述所反射码字中的至少一些；且从所述所确定的码字产生深度图。16.根据权利要求15所述的设备，其中投影所述多个码字包括透过代码掩码传播光，所述代码掩码具有多个符号。17.根据权利要求13所述的设备，其中每一差异图中的每一像素表示所述所捕捉图像中的对应像素的强度与所述背景图象中的所述对应像素的强度之间的差异。18.根据权利要求17所述的设备，其中时间T处的每一差异图dT(x)中的每一像素x由以下方程确定：dT(x)＝fT(x)-b(x)，至少对于...

【专利技术属性】
技术研发人员：哈西卜·艾哈迈德·西迪基，卡林·米特科夫·阿塔纳索夫，詹姆斯·威尔逊·纳什，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US