成像设备内的对象深度估计过程制造技术

技术编号:45722998 阅读:11 留言:0更新日期:2025-07-04 18:46
提供了用于确定捕获的图像内的对象深度的方法、系统和装置。例如,诸如VR或AR设备的成像设备捕获图像。该成像设备将第一编码过程应用于该图像以生成特征的第一集合。该成像设备还基于该图像来生成稀疏深度图,并且将第二编码过程应用于该稀疏深度图以生成特征的第二集合。此外,该成像设备将解码过程应用于特征的该第一集合和特征的该第二集合以生成预测的深度值。在一些示例中,该解码过程从该第二编码过程的层接收跳跃连接作为到该解码过程的对应层的输入。该成像设备基于该预测的深度值来生成输出图像,诸如3D图像。

【技术实现步骤摘要】
【国外来华专利技术】

本公开整体涉及成像设备,并且更具体地涉及在成像设备中使用机器学习过程的对象深度估计。相关技术描述成像设备(诸如虚拟现实设备、增强现实设备、蜂窝设备、平板计算机和智能设备)可使用各种信号处理技术来渲染三维(3d)图像。例如,成像设备可捕获图像,并且可将常规的图像处理技术应用于所捕获的图像以重建3d图像。在一些示例中,成像设备可包括深度传感器以确定对象在成像设备的相机的视场中的深度。在一些示例中,成像设备可执行深度估计算法所捕获的图像(例如,左眼图像和右眼图像)以确定对象深度。有机会改进成像设备内的深度估计。


技术介绍


技术实现思路

1、根据一个方面,一种通过成像设备的方法包括从六自由度(6dof)跟踪器接收三维特征点。该方法还包括基于这些三维特征点来生成稀疏深度值。此外,该方法包括基于图像和这些稀疏深度值来生成预测的深度值。该方法还包括将这些预测的深度值存储在数据储存库中。

2、根据另一方面,一种装置包括存储指令的非暂态机器可读存储介质,以及耦合到该非暂态机器可读存储介质的至少一个处理器。该至少一个处理器被配置本文档来自技高网...

【技术保护点】

1.一种装置,所述装置包括:

2.根据权利要求1所述的装置,其中所述至少一个处理器被配置为执行所述指令以基于所述预测的深度值来生成输出图像。

3.根据权利要求2所述的装置,其中所述至少一个处理器被配置为执行所述指令以生成表征用户的位姿的位姿数据,并且基于所述位姿数据来生成所述输出图像。

4.根据权利要求2所述的装置,所述装置包括扩展现实环境,其中所述至少一个处理器被配置为执行所述指令以提供所述输出图像以供在所述扩展现实环境中观看。

5.根据权利要求1所述的装置,其中所述至少一个处理器被进一步配置为执行所述指令以:

6.根据权利要...

【技术特征摘要】
【国外来华专利技术】

1.一种装置,所述装置包括:

2.根据权利要求1所述的装置,其中所述至少一个处理器被配置为执行所述指令以基于所述预测的深度值来生成输出图像。

3.根据权利要求2所述的装置,其中所述至少一个处理器被配置为执行所述指令以生成表征用户的位姿的位姿数据,并且基于所述位姿数据来生成所述输出图像。

4.根据权利要求2所述的装置,所述装置包括扩展现实环境,其中所述至少一个处理器被配置为执行所述指令以提供所述输出图像以供在所述扩展现实环境中观看。

5.根据权利要求1所述的装置,其中所述至少一个处理器被进一步配置为执行所述指令以:

6.根据权利要求5所述的装置,其中所述至少一个处理器被进一步配置为执行所述指令以将至少一个跳跃连接从所述第二编码过程提供给所述解码过程。

7.根据权利要求6所述的装置,其中所述至少一个跳跃连接包括第一跳跃连接和第二跳跃连接,其中所述至少一个处理器被配置为执行所述指令以:

8.根据权利要求5所述的装置,其中所述至少一个处理器被配置为执行所述指令以:

9.根据权利要求1所述的装置,其中所述图像是单色图像。

10.根...

【专利技术属性】
技术研发人员:吴彦仪刘于硕郑仙资A·拉达克里希南
申请(专利权)人:高通股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1