用于使用低分辨率相机的低计算高分辨率深度图生成的系统和方法技术方案

一种用于使用低分辨率相机的低计算高分辨率深度图生成的系统被配置为：获得立体图像对；并且通过对所述立体图像对执行立体匹配来生成深度图

【技术实现步骤摘要】
【国外来华专利技术】用于使用低分辨率相机的低计算高分辨率深度图生成的系统和方法

技术介绍

[0001]混合现实
(MR)
系统，包括虚拟现实和增强现实系统，因其能够为用户创造真正独特的体验而受到广泛关注
。
作为参考，常规的虚拟现实
(VR)
系统通过将其用户的视图限制到仅虚拟环境来创建完全沉浸式的体验
。
在
VR
系统中，这常常通过使用头戴式设备
(HMD)
来实现，所述
HMD
完全阻止了真实世界的任何视图
。
因此，用户完全沉浸在虚拟环境内
。
相比之下，常规的增强现实
(AR)
系统通过视觉地呈现被放置在真实世界中或者与真实世界交互的虚拟对象来创建增强现实体验
。
[0002]如在本文中所使用的，
VR
和
AR
系统可互换地描述和引用
。
除非另有说明，否则在本文中的描述同样适用于所有类型的混合现实系统，其
(
如上文详细描述的
)
包括
AR
系统
、VR
现实系统和
/
或能够显示虚拟对象的任何其他类似系统
。
[0003]许多混合现实系统包括深度重构系统
(
例如，飞行时间相机
、
测距仪
、
立体深度相机等
)。
深度重构系统提供关于围绕混合现实系统的真实世界环境的深度信息，以使得所述系统能够准确地呈现关于真实世界对象的混合现实内容
(
例如，全息图
)。
作为说明性示例，深度重构系统能够获得针对位于真实世界环境内的真实世界桌子的深度信息
。
然后，混合现实系统能够渲染和显示被准确定位在真实世界桌子上的虚拟雕像，使得用户感知虚拟雕像，就好像它是用户的真实世界环境的一部分
。
[0004]一些混合现实系统采用立体相机用于深度检测或者用于除了深度检测之外的其他目的
。
例如，混合现实系统可以利用由立体相机获得的图像来向用户提供用户环境的直通
(pass
‑
through)
视图
。
直通视图能够辅助用户在过渡到沉浸式混合现实环境和
/
或在沉浸式混合现实环境内导航时避免迷失方向和
/
或安全隐患
。
[0005]一些混合现实系统也配置有不同模态的相机，以增强用户在低可见度环境中的视图
。
例如，配置有长波长热成像相机的混合现实系统有助于在烟
、
霾
、
雾和
/
或灰尘中的可见度
。
类似地，配置有微光成像相机的混合现实系统有助于在黑暗环境中的可见度，在黑暗环境中，周围光水平低于人类视觉所需的水平
。
在一些情况下，微光和热图像可以被融合或者组合，以同时向用户提供来自多个相机模态的可视化
。
[0006]混合现实系统能够以多种方式向用户呈现由立体相机捕获的视图
。
使用由面向世界的相机所捕获的图像向用户提供真实世界环境的三维视图的过程产生了许多挑战
。
[0007]最初，立体相机的物理定位与用户眼睛的物理定位物理地分离
。
因此，将由立体相机捕获的图像直接提供给用户的眼睛将导致用户错误地感知真实世界环境
。
例如，在用户眼睛的定位与立体相机的定位之间的垂直偏移会使得用户感知到真实世界对象相对于用户从其真实位置垂直地偏移
。
在另一示例中，在用户眼睛之间的间距与在立体相机之间的间距的差异会导致用户感知具有错误深度的真实世界对象
。
[0008]在相机如何观察对象与用户的眼睛如何观察对象之间的感知差异常常被称为“视差问题”或者“视差误差”。
图1图示了视差问题的概念表示，其中，立体相机对
105A
和
105B
与用户的眼睛
110A
和
110B
物理地分离
。
传感器区域
115A
概念性地描绘相机
105A(
例如，像素网
格
)
和用户眼睛
110A(
例如，视网膜
)
的图像感测区域
。
类似地，传感器区域
115B
概念性地描绘相机
105B
和用户眼睛
110B
的图像感测区域
。
[0009]相机
105A
和
105B
以及用户的眼睛
110A
和
110B
感知对象
130
，如在图1中分别由从对象
130
延伸到相机
105A
和
105B
以及用户的眼睛
110A
和
110B
的线所指示的
。
图1图示了相机
105A
和
105B
在其各自的传感器区域
115A、115B
上的不同位置处感知对象
130。
类似地，图1示出了用户的眼睛
110A
和
110B
在其各自的传感器区域
115A、115B
上的不同位置处感知对象
130。
此外，用户的眼睛
110A
在传感器区域
115A
上与相机
105A
不同的位置处感知对象
130
，并且用户的眼睛
110B
在传感器区域
115B
上与相机
105B
不同的位置处感知对象
130。
[0010]用于校正视差问题的一些方案涉及执行从立体相机的视角到用户眼睛的视角的相机重新投影
。
例如，一些方案涉及执行校准步骤以确定在立体相机与用户眼睛之间的物理定位的差异
。
然后，在利用立体相机捕获立体图像对之后，
(
例如，通过执行立体匹配
)
执行基于立体图像对计算深度信息
(
例如，深度图
)
的步骤
。
随后，系统能够重新投影计算出的深度信息以对应于用户左眼和右眼的视角
。
[0011]然而，基于立体图像对计算深度信息
(
例如，深度图
)(
例如，用于解决视差问题
)
与许多挑战相关联
。
例如，如上文所提到的，通常使用立体相机捕获立体图像对
。
为了提供经改进的用户体本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种用于促进低计算深度图生成以提供视差校正的图像的系统，所述系统包括：一个或多个处理器；以及一个或多个硬件存储设备，其存储指令，所述指令能由所述一个或多个处理器执行以通过将所述系统配置用于以下操作来将所述系统配置为促进低计算深度图生成以提供视差校正的图像：获得环境的立体图像对；通过对所述立体图像对执行立体匹配来生成所述环境的深度图，所述深度图包括针对所述环境的深度信息；获得包括针对所述环境的第一纹理信息的第一图像，所述第一图像包括高于所述立体图像对的图像的图像分辨率的第一图像分辨率；通过重新投影所述第一图像以对应于与所述深度图相关联的图像捕获视角来生成重新投影的第一图像，对所述第一图像的所述重新投影是基于来自所述深度图的所述深度信息的，所述重新投影的第一图像包括针对所述环境的重新投影的第一纹理信息；以及基于所述深度图来生成上采样的深度图
。2.
根据权利要求1所述的系统，其中，所述上采样的深度图和所述重新投影的第一图像包括相同的图像分辨率，并且其中，所述上采样的深度图的所述生成是基于所述重新投影的第一纹理信息的
。3.
根据权利要求1所述的系统，其中，生成所述上采样的深度图包括利用边缘保持滤波器
。4.
根据权利要求3所述的系统，其中，所述边缘保持滤波器包括联合双边滤波器
。5.
根据权利要求1所述的系统，其中，所述指令能由所述一个或多个处理器执行以将所述系统进一步配置为：通过重新投影所述重新投影的第一图像以对应于用户视角来生成视差校正的图像，对所述重新投影的第一图像进行所述重新投影以生成所述视差校正的图像是基于来自所述上采样的深度图的上采样的深度信息的
。6.
根据权利要求5所述的系统，其中，所述系统还包括显示器，并且其中，所述指令能由所述一个或多个处理器执行以将所述系统进一步配置为在所述显示器上显示所述视差校正的图像
。7.
根据权利要求1所述的系统，其中，所述系统包括立体相机对和第一相机，并且其中，所述立体图像对是由所述立体相机对捕获的，并且其中，所述第一图像是由所述第一相机捕获的
。8.
根据权利要求7所述的系统，其中，所述第一相机具有与所述立体相机对不同的模态
。9.
根据权利要求7所述的系统，其中，所述立体相机对和所述第一相机具有相同的相机模态
。10.
根据权利要求9所述的系统，其中，所述指令能由所述一个或多个处理器执行以将所述系统进一步配置为：获得包括针对所述环境的第二纹理信息的第二图像，所述第二图像包括高于所述立体图像对的所述图像的所述图像分辨率的第二图像分辨率，其中，所述第二图像与不同于所述第一图像的相机模态相关联；以及
通过重新投影所述第二图像以对应于与所述深度图相关联的所述图像捕获视角来生成重新投影的第二图像，对所述第二图像的所述重新投影是基于来自所...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：