混合现实系统及使用该系统生成虚拟内容的方法技术方案

一种用于使来自两个源的虚拟内容扭曲的计算机实现的方法包括第一源基于第一姿势生成第一虚拟内容

【技术实现步骤摘要】
混合现实系统及使用该系统生成虚拟内容的方法
[0001]本申请是申请号为
201880018506.1
的中国专利申请“混合现实系统及使用该系统生成虚拟内容的方法”(
申请日为
2018
年3月
16
日
)
的分案申请
。


[0002]本公开涉及具有虚拟内容合成的混合现实系统，以及使用该系统生成包括合成虚拟内容的混合现实体验的方法
。

技术介绍

[0003]现代计算和显示技术促进了用于所谓的“虚拟现实
(VR)”或“增强现实
(AR)”体验的“混合现实
(MR)”系统的开发，其中数字再现的图像或其部分以其看起来是或可能被感知为是真实的方式呈现给用户
。VR
情景通常涉及呈现数字或虚拟图像信息而对于实际的现实世界视觉输入不透明
。AR
情景通常涉及呈现数字或虚拟图像信息作为对于用户周围的真实世界的可视化的增强
(
即，对于真实世界视觉输入透明
)。
因此，
AR
情景涉及呈现数字或虚拟图像信息而对于现实世界视觉输入透明
。
[0004]各种光学系统在各种深度处生成图像，用于显示
MR(VR
和
AR)
情景
。
在
2014
年
11
月
27
日提交的美国实用专利申请序列号
14/555,585(r/>代理人案卷号
ML.20011.00)
中描述了一些这样的光学系统，其内容通过引用明确且全部并入本文，如同全文阐述
。
[0005]MR
系统通常采用可穿戴显示设备
(
例如，头戴式显示器
、
头盔式显示器或智能眼镜
)
，其至少松散地耦合到用户的头部，并因此在用户的头部移动时移动
。
如果显示设备检测到用户的头部运动，则可以更新正在显示的数据以考虑头部姿势的变化
(
即，用户头部的方位和
/
或位置
)。
[0006]作为示例，如果佩戴头戴式显示设备的用户在显示设备上观看虚拟对象的虚拟表示，并在该虚拟对象出现的区域周围走动，则可以针对每个视点渲染该虚拟对象，从而给予用户他们在占据真实空间的对象周围走动的感觉
。
如果头戴式显示设备用于呈现多个虚拟对象，则可以使用头部姿势的测量来渲染场景以与用户动态变化的头部姿势相匹配并提供增加的沉浸感
。
[0007]能够进行
AR
的头戴式显示设备提供真实对象和虚拟对象的同时观看
。
利用“光学透视”显示器，用户可以透视显示系统中的透明
(
或半透明
)
元件，以直接观看来自环境中的真实对象的光
。
透明元件，通常被称为“组合器”，将来自显示器的光叠加在用户的现实世界视图上，其中来自显示器的光将虚拟内容的图像投影在环境中真实对象的透视视图上
。
相机可以安装在头戴式显示设备上，以捕获用户正在观看的场景的图像或视频
。
[0008]当前的光学系统，例如
MR
系统中的光学系统，光学地渲染虚拟内容
。
内容是“虚拟的”，因为它不对应于位于空间中的相应位置的真实物理对象
。
相反，虚拟内容当被引导到用户眼睛的光束刺激时仅存在于头戴式显示设备的用户的大脑
(
例如，光学中心
)
中
。
在应用程序富集的环境中，
3D
光学系统可以同时渲染由多个源
/
应用程序生成的虚拟对象
。
[0009]一些光学系统可以包括接收来自多个源
/
应用程序的输出的合成软件
/
系统
。
然
后，合成系统对于接收到的输出进行“扭曲”(
即，变换参考帧
)
并且合成
/
组合，以便显示在单个参考帧中
(
即，显示系统
/
观看者的参考帧；“显示参考帧”)。
扭曲或变换改变了虚拟内容的呈现方式
。
该方法采用最初渲染的虚拟对象，并且转变呈现虚拟对象的方式以尝试从不同的角度显示这些虚拟对象
。
[0010]一些合成软件
/
系统在与提供待合成的输出的多个源
/
应用程序对应的多个处理轮次
(pass)
中，将扭曲的虚拟内容输出进行合成
/
组合
。
在每个轮次中，来自一个源
/
应用程序的输出被变换到显示参考帧
。
在各个输出被变换到相同参考帧之后，扭曲的输出能够进行合成
/
组合
。
然而，这种用于扭曲和合成来自多个源
/
应用程序的输出的多轮次系统在计算上可能是昂贵的
(
导致处理器相关的系统限制
)
并且耗时
(
导致系统延滞
)。

技术实现思路

[0011]在一个实施例中，一种用于使来自两个源的虚拟内容扭曲的计算机实现的方法包括第一源基于第一姿势生成第一虚拟内容
。
该方法还包括第二源基于第二姿势生成第二虚拟内容
。
该方法还包括合成器在单个轮次中处理第一和第二虚拟内容
。
处理第一和第二虚拟内容包括通过基于第三姿势扭曲第一虚拟内容来生成扭曲的第一虚拟内容，通过基于第三姿势扭曲第二虚拟内容来生成扭曲的第二虚拟内容，以及通过将扭曲的第一和第二虚拟内容进行合成来生成输出内容
。
[0012]在一个或多个实施例中，第一虚拟内容包括
X、Y
位置处的第一图像信息，第一亮度和
/
或第一颜色
。
第二虚拟内容可以包括
X、Y
位置处的第二图像信息，第二亮度和
/
或第二颜色
。
[0013]在一个或多个实施例中，将扭曲的第一和第二虚拟内容进行合成包括对于扭曲的第一和第二虚拟内容进行深度测试
。
对于第一和第二虚拟内容进行深度测试的步骤可以包括：基于第三姿势确定扭曲的第一虚拟内容的第一深度，基于第三姿势确定扭曲的第二虚拟内容的第二深度，以及基于第三姿势比较第一深度和第二深度
。
[0014]在一个或多个实施例中，基于第三姿势对于第一虚拟内容进行扭曲包括将第一变换应用于第一虚拟内容以生成扭曲的第一虚拟内容
。
基于第三姿势对第二虚拟内容进行扭曲包括将第二变换应用于第二虚拟内容以生成扭曲的第二虚拟内容...

【技术保护点】

【技术特征摘要】
1.
一种用于扭曲虚拟内容的计算机实现的方法，包括：合成器接收基于显示系统的第一姿势的第一虚拟内容；所述合成器接收基于所述显示系统的第二姿势的第二虚拟内容；以及所述合成器在单个管线中在单个轮次中处理所述第一虚拟内容和所述第二虚拟内容，其中，处理所述第一虚拟内容和所述第二虚拟内容包括：所述合成器选择所述第一虚拟内容的第一像素以对应于输出像素位置，所述合成器基于所述显示系统的第三姿势来扭曲所述第一虚拟内容的所述第一像素以生成第一扭曲像素，所述合成器选择所述第二虚拟内容的第二像素以对应于所述输出像素位置，所述合成器基于所述显示系统的所述第三姿势来扭曲所述第二虚拟内容的所述第二像素以生成第二扭曲像素，以及所述合成器比较所述第一扭曲像素的第一深度和所述第二扭曲像素的第二深度以识别在所述输出像素位置处的显示像素
。2.
根据权利要求1所述的方法，其中，所述第一虚拟内容包括在所述第一像素处的第一图像信息
。3.
根据权利要求2所述的方法，其中，所述第一图像信息包括第一亮度
。4.
根据权利要求2所述的方法，其中，所述第一图像信息包括第一颜色
。5.
根据权利要求2所述的方法，其中，所述第二虚拟内容包括在所述第二像素处的第二图像信息
。6.
一种用于扭曲虚拟内容的系统，包括：扭曲单元，用于接收基于显示设备的第一姿势和第二姿势所生成的第一虚拟内容和第二虚拟内容，并且从其生成相应的第一扭曲的虚拟内容和第二扭曲的虚拟内容，所述扭曲单元包括：姿势估计器，用于预测所述显示设备的第三姿势；以及变换单元；以及合成单元，包括混合单元，其中，所述系统在单个管线中在单个轮次中处理所述第一虚拟内容和所述第二虚拟内容，包括：所述扭曲单元选择所述第一虚拟内容的第一像素以对应于输出像素位置，所述扭曲单元基于所述显示设备的所述第三姿势来扭曲所述第一虚拟内容的所述第一像素以生成第一扭曲像素，所述扭曲单元选择所述第二虚拟内容的第二像素以对应于所述输出像素位置，所述扭曲单元基于所述显示设备的所述第三姿势来扭曲所述第二虚拟内容的所述第二像素以生成第二扭曲像素，所述合成单元比较所述第一扭曲像素的第一深度和所述第二扭曲像素的第二深度以识别在所述输出像素位置处的显示像素
。7.
一种体现在非瞬态计算机可读介质中的计算机程序产品，所述计算机可读介质在其上存储有指令序列，当所述指令序列由处理器执行时使所述处理器执行一种用于扭曲虚拟内容的方法，所述方法包括：
合成器接收基于显示系统的第一姿势的第一虚拟内容；所述合成器接收基于所述显示系统的第二姿势的第二虚拟内容；以及所述合成器在单个管线中在单个轮次中处理所述第一虚拟内容和所述第二虚拟内容，其中，处理所述第一虚拟内容和所述第二虚拟内容包括：所述合成器选择所述第一虚拟内容的第一像素以对应于输出像素位置，所述合成器基于所述显示系统的第三姿势来扭曲所述第一虚拟内容的所述第一像素以...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：