为主动深度感测解码图像以应对光学失真制造技术

本公开的各方面涉及为主动深度感测解码图像。示例方法包括接收图像。该图像包括光分布的一个或多个反射。该方法还包括：使用第一采样网格对该图像的第一区域进行采样以生成第一图像样本；使用与该第一采样网格不同的第二采样网格对该图像的第二区域进行采样以生成第二图像样本；基于该第一图像样本来确定第一深度值；以及基于该第二图像样本来确定第二深度值。深度值。深度值。

【技术实现步骤摘要】
【国外来华专利技术】为主动深度感测解码图像以应对光学失真


[0001]本公开总体上涉及主动深度感测系统和设备，诸如为主动深度感测解码图像以应对光学失真的影响。

技术介绍

[0002]许多设备包括主动深度感测系统。例如，智能手机可以包括用于投射光(诸如用于面部解锁或使用深度信息的其它应用)的前置主动深度感测发送器和用于捕获由发送器投射的光的反射的图像传感器。发送器可以投射预定义光分布，并且场景中的对象的深度可以基于由图像传感器捕获的光分布的反射来确定。这种主动深度感测技术可以称为结构光深度感测。

技术实现思路

[0003]本
技术实现思路
的提供是为了以简化形式介绍对一些概念的选择，该概念将在以下具体实施方式中进一步描述。本
技术实现思路
不旨在表示所要求保护的主题的关键特征或本质特征，也不旨在限制所要求保护的主题的范围。
[0004]一种用于主动深度感测的示例设备包括存储器和一个或多个处理器。该一个或多个处理器被配置为接收图像。该图像包括光分布的一个或多个反射。该一个或多个处理器还被配置为：使用第一采样网格对该图像的第一区域进行采样；使用第二采样网格对该图像的第一区域进行采样，该第二采样网格不同于该第一采样网格；确定与该第一采样网格相关联的第一置信度值和与该第二采样网格相关联的第二置信度值；以及基于该第一置信度值大于该第二置信度值，选择该第一采样网格用于确定该第一区域的第一深度值。
[0005]提供了一种用于主动深度感测的示例方法。该方法包括：接收图像，该图像包括光分布的一个或多个反射；使用第一采样网格对该图像的第一区域进行采样；使用第二采样网格对该图像的第一区域进行采样，该第二采样网格不同于该第一采样网格；确定与该第一采样网格相关联的第一置信度值和与该第二采样网格相关联的第二置信度值；以及基于该第一置信度值大于该第二置信度值，选择该第一采样网格用于确定该第一区域的第一深度值。
[0006]一种示例非暂时性计算机可读介质存储指令，该指令在由设备的一个或多个处理器执行时使该设备：接收图像，该图像包括光分布的一个或多个反射；使用第一采样网格对该图像的第一区域进行采样；使用第二采样网格对该图像的第一区域进行采样，该第二采样网格不同于该第一采样网格；确定与该第一采样网格相关联的第一置信度值和与该第二采样网格相关联的第二置信度值；以及基于该第一置信度值大于该第二置信度值，选择该第一采样网格用于确定该第一区域的第一深度值。
[0007]另一种用于主动深度感测的示例设备包括：用于接收图像的部件，该图像包括光分布的一个或多个反射；用于使用第一采样网格对该图像的第一区域进行采样的部件；用于使用第二采样网格对该图像的第一区域进行采样的部件，该第二采样网格不同于该第一
采样网格；用于确定与该第一采样网格相关联的第一置信度值和与该第二采样网格相关联的第二置信度值的部件；以及用于基于该第一置信度值大于该第二置信度值来选择该第一采样网格用于确定该第一区域的第一深度值的部件。
[0008]在一些方面中，该光分布是光点分布。
[0009]在一些方面中，上述方法、设备和计算机可读介质还包括：基于使用该第一采样网格对该图像的第一区域进行采样来确定第一图像样本；以及基于该第一图像样本来确定该第一区域的第一深度值。
[0010]在一些方面中，上述方法、设备和计算机可读介质还包括：基于该第一图像样本在该第一区域中识别该光分布的阵列中的第一码字；以及基于该第一码字在该阵列中的位置来确定第一视差，其中确定该第一深度值是基于该第一视差。
[0011]在一些方面中，上述方法、设备和计算机可读介质还包括：使用第三采样网格对该图像的第二区域进行采样以生成第二图像样本；以及基于该第二图像样本来确定第二深度值。
[0012]在一些方面中，该第二采样网格的采样点的布置不同于该第一采样网格的采样点的布置。
[0013]在一些方面中，该第一采样网格的采样点的布置包括该第一采样网格的采样点之间的第一间距，并且该第二采样网格的采样点的布置包括该第二采样网格的采样点之间的第二间距。
[0014]在一些方面中，该第一间距和该第二间距沿着基线轴和与该基线轴正交的轴，该基线轴与发送该光分布的发送器和捕获该图像的接收器相关联。
[0015]在一些方面中，该第二采样网格的采样点的总数不同于该第一采样网格的采样点的总数。
[0016]在一些方面中，该第一采样网格是各向同性采样网格，而该第二采样网格是各向异性采样网格。
[0017]在一些方面中，上述方法、设备和计算机可读介质还包括：基于使用该第一采样网格对该图像的第一区域进行采样来确定第一图像样本；基于使用该第二采样网格对该图像的第一区域进行采样来确定第二图像样本；将该第一图像样本与该第二图像样本进行比较；以及基于将该第一图像样本与该第二图像样本进行比较，选择要用于确定该第一深度值的第一图像样本。
[0018]在一些示例中，为了确定与该第一采样网格相关联的第一置信度值，上述方法、设备和计算机可读介质可以包括确定该第一图像样本的第一置信度值。在一些示例中，为了确定与该第二采样网格相关联的第二置信度值，上述方法、设备和计算机可读介质可以包括确定该第二图像样本的第二置信度值。在一些示例中，上述方法、设备和计算机可读介质可以包括选择该第一采样网格用于确定该第一区域的第一深度值，该一个或多个处理器被配置为基于该第一置信度值大于该第二置信度值来选择该第一图像样本。
[0019]在一些方面中，该设备包括被配置为捕获该图像的接收器。
[0020]在一些方面中，该设备包括被配置为发送该光分布的发送器，其中该发送器与该接收器沿着基线轴分开基线距离。
[0021]在一些方面中，该设备包括一个或多个信号处理器，该一个或多个信号处理器被
配置为处理该图像，然后由该一个或多个处理器对该处理后的图像进行解码。
[0022]在一些方面中，上述方法、设备和计算机可读介质还包括基于该图像生成深度图，其中该深度图包括多个深度值，多个深度值包括该第一深度值，并且其中该多个深度值指示在该图像中捕获的场景中的一个或多个对象的一个或多个深度。
[0023]在一些方面中，该设备是以下各项、是以下各项的一部分和/或包括以下各项：移动设备(例如，移动电话或所谓的“智能手机”或其它移动设备)、可穿戴设备、扩展现实设备(例如，虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、相机、个人计算机、膝上型计算机、服务器计算机、车辆或车辆的计算设备或组件、机器人设备或系统、电视机或其它设备。在一些方面中，该设备包括用于捕获一个或多个图像的一个或多个相机。在一些方面中，该设备包括用于显示一个或多个图像、通知和/或其它可显示数据的显示器。在一些方面中，该设备可以包括一个或多个传感器(例如，一个或多个惯性测量单元(IMU)，诸如一个或多个陀螺仪、一个或多个加速度计、其任何组合，和/或其它传感器)。
[0024]本
技术实现思路
既非意图识别所要求保护的主题的关键或本质特征，也非本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于主动深度感测的设备，其包括：存储器；以及一个或多个处理器，所述一个或多个处理器被配置为：接收图像，所述图像包括光分布的一个或多个反射；使用第一采样网格对所述图像的第一区域进行采样；使用第二采样网格对所述图像的第一区域进行采样，所述第二采样网格不同于所述第一采样网格；确定与所述第一采样网格相关联的第一置信度值和与所述第二采样网格相关联的第二置信度值；以及基于所述第一置信度值大于所述第二置信度值，选择所述第一采样网格用于确定所述第一区域的第一深度值。2.根据权利要求1所述的设备，其中所述光分布是光点分布。3.根据权利要求1所述的设备，其中所述一个或多个处理器被配置为：基于使用所述第一采样网格对所述图像的第一区域进行采样来确定第一图像样本；以及基于所述第一图像样本来确定所述第一区域的第一深度值。4.根据权利要求3所述的设备，其中所述一个或多个处理器还被配置为：基于所述第一图像样本在所述第一区域中识别所述光分布的阵列中的第一码字；以及基于所述第一码字在所述阵列中的位置来确定第一视差，其中确定所述第一深度值是基于所述第一视差。5.根据权利要求4所述的设备，其中所述一个或多个处理器被配置为：使用第三采样网格对所述图像的第二区域进行采样以生成第二图像样本；以及基于所述第二图像样本来确定第二深度值。6.根据权利要求1所述的设备，其中所述第二采样网格的采样点的布置不同于所述第一采样网格的采样点的布置。7.根据权利要求6所述的设备，其中所述第一采样网格的采样点的布置包括所述第一采样网格的采样点之间的第一间距，并且其中所述第二采样网格的采样点的布置包括所述第二采样网格的采样点之间的第二间距。8.根据权利要求7所述的设备，其中所述第一间距和所述第二间距沿着基线轴和与所述基线轴正交的轴，所述基线轴与发送所述光分布的发送器和捕获所述图像的接收器相关联。9.根据权利要求1所述的设备，其中所述第二采样网格的采样点的总数不同于所述第一采样网格的采样点的总数。10.根据权利要求1所述的设备，其中所述第一采样网格是各向同性采样网格，而所述第二采样网格是各向异性采样网格。11.根据权利要求1所述的设备，其中所述一个或多个处理器还被配置为：基于使用所述第一采样网格对所述图像的第一区域进行采样来确定第一图像样本；基于使用所述第二采样网格对所述图像的第一区域进行采样来确定第二图像样本；将所述第一图像样本与所述第二图像样本进行比较；以及
基于将所述第一图像样本与所述第二图像样本进行比较，选择所述第一图像样本要被用于确定所述第一深度值。12.根据权利要求11所述的设备，其中：为了确定与所述第一采样网格相关联的第一置信度值，所述一个或多个处理器被配置为确定所述第一图像样本的第一置信度值；为了确定与所述第二采样网格相关联的第二置信度值，所述一个或多个处理器被配置为确定所述第二图像样本的第二置信度值；以及为了选择所述第一采样网格用于确定所述第一区域的第一深度值，所述一个或多个处理器被配置为基于所述第一置信度值大于所述第二置信度值来选择所述第一图像样本。13.根据权利要求1所述的设备，其还包括被配置为捕获所述图像的接收器。14.根据权利要求13所述的设备，其还包括被配置为发送所述光分布的发送器，其中所述发送器与所述接收器沿着基线轴分开基线距离。15.根据权利要求1所述的设备，其还包括一个或多个信号处理器，所述一个或多个信号处理器被配置为处理所述图像，然后由所述一个或多个处理器对经处理的图像进行解码。16.根据权利要...

【专利技术属性】
技术研发人员：I，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：