改进的沉浸式观看体验制造技术

本专利提供了一套新颖的立体成像技术

【技术实现步骤摘要】
【国外来华专利技术】改进的沉浸式观看体验


[0001]本公开的方面通常涉及头部显示单元上的立体图像
。
[0002]相关申请的交叉引用
[0003]本申请要求于
2021
年4月8日提交的美国专利申请
17/225,610
的优先权
。
[0004]引言
[0005]虚拟现实显示器向用户提供
3D
图像
。

技术实现思路

[0006]本文中提到的所有实施例
、
方面和特征可以以任何技术上可以想到的方式组合
。
[0007]本专利教导了通过实现一系列立体成像系统用于沉浸式观看体验的方法
、
软件和设备
。
[0008]本专利的优选实施方案是从智能装置获取图像
。
智能装置可以包括笔记本电脑
、
电话
、
平板电脑
、HDU、
电视机或监视器
。
智能装置配有左摄像头和右摄像头
。
所述左摄像头和所述右摄像头相隔立体距离
。
优选实施方案具有等于普通成人的立体距离间隔
。
所述左摄像头在第一时间点获取区域的左视透视图像
。
所述右摄像头也在所述第一时间点获取所述区域的右视透视图像
。
所述左视透视图像和所述右视透视图像包括立体图像
。
接着，将所述立体图像经由无线连接从所述智能装置发送到头部显示单元r/>(head display unit,HDU)。
通常，这将通过蓝牙或互联网来完成
。
接着，将立体图像显示到头部显示单元
(HDU)
上，该头部显示单元可以包括虚拟现实显示器
、
增强现实显示器或混合现实显示器
。HDU
具有左眼显示器和右眼显示器
。
左眼显示器匹配在用户的左眼上
。
右眼显示器匹配在用户的右眼上
。HDU
由第一用户佩戴
。HDU
在接近实时的第二时间点
(
例如，在所述第一时间点的5秒内
)
向所述第一用户显示所述立体图像
。
左视透视图像显示在所述左眼显示器上，右视透视图像显示在所述右眼显示器上
。
[0009]一些实施方式包括近实时立体图像的双向通信和显示
。(
注：随着这种发展，假设带宽随着
5G
通信的出现而增加
。
如果由于某种原因，
5G
不可用，那么摄像头分辨率可以调节到本地可用的带宽
。)
用户1将被立体摄像头实时观看，并且这些立体图像将通过互联网
(
或其他传输手段
)
传输给用户2，用户2将接收图像并在立体显示单元
(
例如，虚拟现实
、
混合现实头戴设备
)
上接近实时地显示这些图像
。
同时，用户2将被立体摄像头实时观看，并且这些立体图像将通过互联网
(
或其他传输手段
)
传输给用户1，用户1将接收图像并在立体显示单元
(
例如，虚拟现实
、
混合现实头戴设备
)
上接近实时地显示这些图像
。
[0010]在一些实施方式中，多个用户将被立体摄像头同时实时观看，并且这些立体图像将通过互联网
(
或其他传输手段
)
传输给其他用户，其他用户将接收图像并在他们各自的立体显示单元
(
例如，虚拟现实
、
混合现实头戴设备
)
上接近实时地显示这些图像
。
[0011]在一些实施方式中，用户可以选择将立体摄像头指向感兴趣的风景场景或对象，而不是被他们的立体摄像头观看
。
[0012]在一些实施方式中，不会同时发送和显示，而是更像当前的电子邮件系统，其中，
用户1写入电子邮件并发送它，并且在一段时间之后，用户2将检索电子邮件并随后回复它
。
在这种情况下，用户1将记录一系列立体图像；将这些立体图像发送给用户2，用户2在随后的某个时间检索立体图像并在立体显示单元上显示该立体图像
。
此时，用户2可以通过创建并发送他的
/
她的立体图像集来响应
。
在这些实施过程中，预计用户将提供音频以伴随立体图像
。
[0013]一些实施方式包括近实时立体图像的单向通信和由独立用户显示
。
用户1将被立体摄像头实时观看，并且这些立体图像将通过互联网
(
或其他传输手段
)
传输给用户2，用户2将接收图像并在立体显示单元
(
例如，虚拟现实
、
混合现实头戴设备
)
上接近实时地显示这些图像
。
在该实施方式下，用户2将不配备立体摄像头，而用户1可以或可以不配备立体显示单元，但是在任一情况下，用户1将不接收用户2的立体图像
。
在该实施方式下，对仅接收的用户的数量没有限制
。
例如，教授可以采用立体摄像头进行讲座，课堂上的人员将接收立体图像
。
在其他实施方式中，用户1将记录一系列立体图像；将这些立体图像发送给用户2，用户2在随后的某个时间检索立体图像并在立体显示单元上显示该立体图像
。
在这些实施过程中，预计用户将提供音频以伴随立体图像
。
[0014]一些实施方式包括以接近实时的方式实时记录并显示
/
回放立体图像
。
用户可以使用具有立体摄像头
(
在说明书的后面部分描述
)
和连接到立体摄像头的记录介质的混合现实头部显示单元
。
用户可以：选择将立体摄像头指向感兴趣的风景场景或对象；使用立体摄像头拍摄这些感兴趣的区域
/
对象；将立体图像记录并存储在记录介质中；并且可以选择显示正在混合现实头部显示单元上记录的内容
。
在拍摄阶段之后，用户可以选择将记录的立体图像转发给配备有立体显示单元的其他人
。
[0015]一些实施方式包括实时记录由激光测距仪
(laser range finder,LRF)(
也称为激光雷达
(LIDAR))
获得的立体图像和相关距离
。
在一些实施方式中，用户可以：使用具有立体摄像头和激光测距仪的混合现实头部显示单元
(
在说明书的后面部分描述
)
；以及连接到头部显示单元的记录介质，以接收
、
记录并存储来自立体本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种方法，包括：从智能装置获取图像其中，所述智能装置包括由以下组成的组中的至少一种：笔记本电脑；电话；和平板电脑，其中，所述智能装置配备有左摄像头和右摄像头，其中，所述左摄像头和所述右摄像头相隔立体距离，其中，所述左摄像头在第一时间点获取区域的左视透视图像，其中，所述右摄像头在所述第一时间点获取所述区域的右视透视图像，并且其中，所述左视透视图像和所述右视透视图像包括立体图像；并且将所述立体图像经由无线连接从所述智能装置发送到头部显示单元
(HDU)
；并且将来自所述显示所述立体图像的所述立体图像显示到所述头部显示单元
(HDU)
上；其中，所述
HDU
包括由以下组成的组中的至少一种：虚拟现实显示器；增强现实显示器；和混合现实显示器；其中，所述
HDU
包括左眼显示器和右眼显示器，其中，所述
HDU
由第一用户佩戴，其中，所述
HDU
在第二时间点向所述第一用户显示所述立体图像，其中，所述第二时间点在所述第一时间点的5秒内，其中，所述左视透视图像显示在所述左眼显示器上，并且其中，所述右视透视图像显示在所述右眼显示器上
。2.
根据权利要求1所述的方法，还包括：在所述智能装置附近使用麦克风；在所述智能装置处记录声音；并且在所述
HDU
附近的扬声器上播放所述声音，其中，所述播放所述声音与所述立体图像同步发生
。3.
根据权利要求1所述的方法，还包括由以下组成的组中的至少一种：其中，所述智能装置被移动得更远离所述区域内的对象，并且其中，所述对象出现在所述
HDU
上，以被移动远离所述第一用户；并且其中，所述智能装置被移动得更靠近所述区域内的对象，并且其中，所述对象出现在所述
HDU
上，以更靠近所述第一用户
。4.
根据权利要求1所述的方法，还包括：其中，在初始时间点，对应于所述左摄像头的传感器所面对的方向与对应于所述右摄像头的传感器所面对的方向是平行的；并且其中，在随后的时间点，对应于所述左摄像头的所述传感器所面对的方向与对应于所述右摄像头的所述传感器所面对的方向会聚
。5.
根据权利要求1所述的方法，还包括：其中，所述左眼摄像头包括摄像头集群，并且所
述右眼摄像头包括摄像头集群
。6.
根据权利要求1所述的方法，还包括由以下组成的组中的至少一种：其中，所述立体图像是所述第一用户的，并且其中，佩戴所述
HDU
的所述用户观看自己；并且其中，所述立体图像是第二用户的，并且其中，佩戴所述
HDU
的所述第一用户观看所述第二用户
。7.
根据权利要求1所述的方法，还包括：其中，所述智能装置具有至少两对立体摄像头
。8.
根据权利要求1所述的方法，还包括：其中，由所述第一用户佩戴的所述
HDU
具有用于头部跟踪的惯性测量单元
(IMU)
，以及其中，显示在由所述第一用户佩戴的所述
HDU
上的所述立体图像的视野根据所述第一用户的头部转动而改变
。9.
根据权利要求1所述的方法，还包括：其中，由所述第一用户佩戴的所述
HDU
具有用于头部跟踪的惯性测量单元
(IMU)
，以及其中，显示在由所述第一用户佩戴的所述
HDU
上的所述立体图像的会聚根据所述第一用户的会聚而改变
。10.
根据权利要求1所述的方法，还包括：其中，由所述第一用户佩戴的所述
HDU
具有眼部跟踪系统，以及其中，显示在由所述第一用户佩戴的所述
HDU
上的视野根据所述第一用户的视角而改变
。11.
根据权利要求1所述的方法，还包括：其中，所述智能装置包括由以下组成的组中的至少一种：
HDU
；电视机；和监视器
。12.
根据权利要求1所述的方法，还包括：其中，所述智能装置包括由以下组成的组中的至少一种：凸面；和一组机械臂
。13.
根据权利要求1所述的方法，还包括：其中，所述区域包括第二用户...

【专利技术属性】
技术研发人员：罗伯特，
申请(专利权)人：大卫，
类型：发明
国别省市：