视图合成方法及相应装置制造方法及图纸

本发明专利技术提供了一种视图合成方法及相应装置。视图合成方法包括：从布置在头戴式显示器周围的多个追踪相机接收在HMD的第一侧上的场景的图像数据；以及使用与场景有关的图像数据和深度信息执行视图合成，以产生从与HMD的第一侧相对的第二侧的观看位置观看场景的透视效果。本发明专利技术的视图合成方法及相应装置可以合成被遮挡的场景的图像。

【技术实现步骤摘要】
视图合成方法及相应装置
本公开总体上涉及基于计算机的交互式体验，并且更具体地，涉及用于虚拟现实(virtualreality，简写为VR)和增强现实(augmentedreality，简写为AR)的头戴式显示器(HMD)上的相机视图合成。
技术介绍
除非本文另有说明，否则本部分中描述的方法不是下面列出的权利要求的现有技术，并且不包括在本部分中作为现有技术。在VR和AR应用程序中，用户通常会佩戴HMD以在计算机模拟环境(对于VR)或现实环境(对于AR)中进行交互体验。当将HMD戴在用户的头上时，通常将HMD的头戴件戴在用户的眼前，并且将显示装置布置在用户的眼前，以显示用于VR/AR的视觉效果。因此，由于HMD的一部分戴在用户的眼前，因此用户无法直接观看用户面前被遮挡的场景。
技术实现思路
以下概述仅是说明性的，并不旨在以任何方式进行限制。也就是说，提供以下概述以介绍本文描述的新颖和进步的技术的概念、要点、益处和优点。下面在详细描述中进一步描述选择实现。因此，以下
技术实现思路
并非旨在标识所要求保护的主题的必要本文档来自技高网...

【技术保护点】
1.一种视图合成方法，包括：/n从布置在头戴式显示器周围的多个追踪相机接收在该头戴式显示器的第一侧上的场景的图像数据；以及/n使用与该场景有关的该图像数据和深度信息执行视图合成，以产生从与该头戴式显示器的该第一侧相对的第二侧的观看位置观看该场景的透视效果。/n

【技术特征摘要】
20190605 US 16/431,9501.一种视图合成方法，包括：
从布置在头戴式显示器周围的多个追踪相机接收在该头戴式显示器的第一侧上的场景的图像数据；以及
使用与该场景有关的该图像数据和深度信息执行视图合成，以产生从与该头戴式显示器的该第一侧相对的第二侧的观看位置观看该场景的透视效果。


2.根据权利要求1所述的视图合成方法，其中，执行该视图合成以产生从该头戴式显示器的该第二侧上的该观看位置观看该场景的该透视效果包括：
从多个预定观看位置中选择一个，每个预定位置是固定位置；以及
从该多个预定观看位置中所选择的位置合成观看该场景。


3.根据权利要求1所述的视图合成方法，其中，执行该视图合成以产生从该头戴式显示器的该第二侧上观看该场景的该透视效果包括：
通过该头戴式显示器的该第一侧的一个或多个透视相机生成具有观看该场景的效果的该场景图像，该图像的位置与佩戴该头戴式显示器的用户的眼睛相对应。


4.根据权利要求1所述的视图合成方法，其中，执行该视图合成以产生从该头戴式显示器的该第二侧上观看该场景的该透视效果包括：通过执行基于深度图像的渲染和空洞填补来合成出经由在该头戴式显示器的该第一侧上的一个或多个透视相机来观看该场景。


5.根据权利要求1所述的视图合成方法，其中，该多个追踪相机至少包括具有第一帧速率的第一追踪相机和具有等同或不同于该第一帧速率的第二帧速率的第二追踪相机，并且其中，执行该视图合成以产生从该头戴式显示器的该第二侧上观看该场景的该透视效果包括：通过头戴式显示器的该第一侧的单个透视相机以低于该第一帧速率以及该第二帧速率的第三帧速率合成观看该场景。


6.根据权利要求1所述的视图合成方法，其中，该多个追踪相机至少包括具有第一帧速率的第一追踪相机和具有等同或不同于该第一帧速率的第二帧速率的第二追踪相机，并且其中，执行该视图合成以产生从该头戴式显示器的该第二侧上观看该场景的该透视效果包括：以该第一帧速率或该第二帧速率合成出经由该头戴式显示器的该第一侧的单个透视相机来观看该场景。


7.根据权利要求1所述的视图合成方法，其中，该多个追踪相机至少包括具有第一帧速率的第一追踪相机和具有等同或不同于该第一帧速率的第二帧速率的第二追踪相机，并且其中，执行该视图合成以产生从该头戴式显示器的该第二侧上观看该场景的该透视效果包括：经由该头戴式显示器的该第一侧上的第一透视相机以该第一帧速率或该第二帧速率，以及经由该头戴式显示器的该第一侧上的第二透视相机以该第一帧速率或该第二帧速率来合成观看该场景。


8.根据权利要求1所述的视图合成方法，其中，该多个追踪相机至少包括具有第一分辨率的第一追踪相机和具有等同或不同于该第一分辨率的第二分辨率的第二追踪相机，并且其中执行该视图合成以生成观看该头戴式显示器的该第二侧上的该场景的该透视效果包括：经由该头戴式显示器的该第一侧上的单个透视相机以该第一分辨率、该第二分辨率或与该第一分辨率和该第二分辨率不同的第三分辨率来合成观看该场景。


9.根据权利要求1所述的视图合成方法，其中，该多个追踪相机至少包括具有第一分辨率的第一追踪相机和具有等同或不同于该第一分辨率的第二分辨率的第二追踪相机，并且其中执行该视图合成以生成观看该头戴式显示器的该第二侧上的该场景的该透视效果包括：经由该头戴式显示器的该第一侧上的第一透视相机以该第一分辨率、该第二分辨率或第三分辨率，以及经由该头戴式显示器的该第一侧上的第二透视相机以该第一分辨率、该第二分辨率或该第三分辨率来合成观看该场景，其中，该第三分辨率不同于该第一分辨率和该第二分辨率。


10.根据权利要求1所述的视图合成方法，还包括：
使用来自该多个追踪相机的该图像数据生成深度信号；以及
基于该深度信号确定该深度信息。


11.一种视图合成装置，包括：
头戴式显示器，包括：
用户可佩戴在用户头部上...

【专利技术属性】
技术研发人员：李元仲，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71