在人工现实环境中生成和修改动态对象的表示制造技术

一种方法包括使用用户穿戴的相机接收真实环境的图像，以及确定该图像中包括关注对象的部分

【技术实现步骤摘要】
【国外来华专利技术】在人工现实环境中生成和修改动态对象的表示


[0001]本公开总体上涉及增强现实环境
、
虚拟现实环境
、
混合现实
(mixed
‑
reality)
环境或混合现实
(hybrid
‑
reality)
环境
。

技术介绍

[0002]人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，人工现实例如可以包括虚拟现实
(virtual reality
，
VR)、
增强现实
(augmented reality
，
AR)、
混合现实
(mixed reality
，
MR)、
混合现实
(hybrid reality)、
或它们的某种组合和
/
或衍生物
。
人工现实内容可以包括完全生成的内容
、
或与捕获到的内容
(
例如，真实世界照片
)
相结合的生成的内容
。
人工现实内容可以包括视频
、
音频
、
触觉反馈
、
或它们的某种组合，并且以上任何一种均可以以单通道或多通道呈现
(
例如，为观看者带来三维效果的立体视频
)。
人工现实可以与应用
、
产品
、
附件
、
服务
、
或它们的某种组合相关联，这些应用
、
产品
、
附件
、
服务
、
或它们的某种组合例如用于在人工现实中创建内容，和
/
或在人工现实中使用
(
例如，在人工现实中执行活动
)。
提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主控计算机系统的头戴式显示器
(head
‑
mounted display
，
HMD 104)、
独立
HMD 104、
移动设备或计算系统
、
或能够向一位或多位观看者提供人工现实内容的任何其他硬件平台
。
[0003]可以对机器学习模型进行训练以识别图像中已捕获的对象特征
。
然而，这类模型通常很大，需要进行许多操作
。
虽然大型且复杂的模型可以在具有快速处理器
(
例如，多个中央处理单元
(central processing unit
，“CPU”)
和
/
或图形处理单元
(graphics processing unit
，“GPU”))
和大容量存储器
(
例如，随机存取存储器
(random access memory
，“RAM”)
和
/
或高速缓存
)
的高配计算机上充分运行，但是这样的模型可能不能在具有性能低得多的硬件资源的计算设备上运行
。
需要来自模型的接近实时结果
(
例如，每秒
10
帧
、20
帧或
30
帧
)
的应用加剧了这一问题，上述应用例如为，基于在实况视频中检测到的特征来动态调整计算机生成的组件的增强现实应用
。

技术实现思路

[0004]所公开的方法提供了用于通过检测
、
预测和生成表面以表示动态关注对象
(
例如，人
、
动物
、
车辆等
)
在真实环境中的运动来检测
AR/VR/MR
环境中的二维和三维虚拟对象的遮挡的技术
。
在高级别上，与人工现实系统相关联的计算系统可以接收环境的图像数据，并且检测人工现实环境中的一个或多个关注对象
。
例如，使用计算机视觉和
/
或机器学习模型，计算系统可以在显示给用户的人工现实环境中生成表示所检测到的真实关注对象
(
二维或三维
)
的表面并设置其姿态
。
具体公开的方法还可以确定表面的深度，并基于该深度来设置表面的姿态
。
姿态还可以基于对关注对象和
/
或
HMD
的用户在未来时间的移动的预测
。
在这样做时，计算系统可以向
HMD
的用户精确地预测并生成沉浸式人工现实环境的视图，而不管例如用户的头部或一个或多个对象在真实环境中的突然移动
。
尽管本公开的各部分具体描
述了检测和预测真实环境的图像中的人的姿态，但是应当理解的是，可以结合这些技术来检测和预测真实环境中其他关注对象
(
例如，动物
、
车辆
、
投射物等
)
的姿态
。
[0005]在特定实施例中，所生成的视图可以由计算系统中与设备
(
例如，膝上型计算机
、
手机
、
台式计算机
、
可穿戴设备
)
关联的一个或多个部件
(
例如，
CPU、GPU
等
)
来渲染
。
在特定实施例中，该设备与
HMD
上的计算系统通信，但是该设备可以物理地与
HMD
分开
。
作为示例而非限制，该设备可以是有线连接到
HMD
或与
HMD
无线通信的膝上型设备
。
作为另一示例而非限制，该设备可以是可穿戴的
(
例如，绑在手腕上的设备
)、
手持设备
(
例如，电话
)
或有线连接到
HMD
或与
HMD
无线通信的某种其它合适的设备
(
例如，膝上型计算机
、
平板电脑
、
台式机
)。
在特定实施例中，该设备可以向
HMD
发送该初始视图以供显示
。
在特定实施例中，该设备中生成初始视图的部件还可以为该视图生成表示关注对象的一个或多个表面
。
作为另一示例而非限制，
HMD
的机载计算系统可以在其从单独的计算系统
(
例如，从可穿戴设备
、
手持设备或膝上型设备的
CPU
或
GPU)
接收到初始视图之后，对一个或多个表面的姿态进本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种方法，所述方法包括由计算系统：使用用户穿戴的相机接收真实环境的图像，所述图像包括关注对象；确定所述图像的一部分包括所述关注对象；基于确定的所述图像中包括所述关注对象的部分，生成表示所述关注对象的表面；接收所述真实环境的与所述图像中包括所述关注对象的部分相对应的深度测量值；基于所述深度测量值，确定表示所述关注对象的表面的深度；基于所述表面的深度，在对应于所述真实环境的坐标系中设置所述表面的姿态；通过将虚拟对象的模型与所述表面进行比较，来确定所述虚拟对象相对于所述关注对象的可见性；以及基于确定的所述虚拟对象的可见性，生成输出图像
。2.
根据权利要求1所述的方法，其中，设置所述表面的姿态包括，调整所述表面的位置或取向以考虑对所述关注对象的视角变化，所述视角变化由以下导致：在捕获接收到的所述图像之后所述用户穿戴的所述相机的一个或多个移动；或者在捕获接收到的所述图像之后所述关注对象的一个或多个移动
。3.
根据权利要求2所述的方法，其中，调整所述表面的位置或取向是由所述计算系统的一个或多个部件执行的，所述一个或多个部件物理地连接到所述用户穿戴的头戴式设备
。4.
根据权利要求1所述的方法，其中，确定所述图像中包括所述关注对象的部分包括：使用机器学习模型的神经网络生成包围所述关注对象的边界框；以及使用所述边界框输出与所述关注对象相关联的分割掩模
。5.
根据权利要求4所述的方法，其中，所述表面基于与所述关注对象相关联的所述分割掩模
。6.
根据权利要求1所述的方法，其中，确定表示所述关注对象的表面的深度包括：从接收的所述深度测量值中去除一个或多个异常值；在去除所述一个或多个异常值之后，生成包括接收的所述深度测量值的直方图；以及使用所述直方图确定所述深度测量值的最频繁观测值
。7.
根据权利要求1所述的方法，其中，所述表面包括多个纹素，其中，每个纹素被分配如下值：所述值指定要给予所述纹素的透明度级别
。8.
根据权利要求1所述的方法，其中，所述深度测量值是在捕获接收到的所述图像时相对于所述相机的姿态进行计算的
。9.
根据权利要求1所述的方法，其中，所述用户穿戴的相机连接到头戴式显示器
。10.
根据权利要求1所述的方法，其中，所述坐标...

【专利技术属性】
技术研发人员：亚历山大，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：