面向虚拟现实的协同渲染方法技术

面向虚拟现实的协同渲染方法，是一种虚拟现实领域中的创新型渲染技术，其目的在于在当前的移动设备上实现高质量的虚拟现实体验，同时也无需耗尽移动设备的计算资源和网络传输的带宽资源；其主要思路为：1)将虚拟现实应用的内容拆分为动态交互内容和静态环境内容，并利用云计算中手机和服务器的分离式架构分别渲染这两个部分；2)服务器将连续虚拟空间离散化为大量的采样点，提前渲染每个点对应的全景图并存储；3)客户端根据接收的用户信息，从服务器上获取对应位置的全景图，本地实时渲染交互内容并最终将两部分内容结合实现整个协同渲染的过程；本发明专利技术旨在根据虚拟现实应用交互内容和环境内容的不同特征，充分利用云计算的分离式架构实现了移动设备上高质量的虚拟现实体验。

Collaborative rendering method for virtual reality

Collaborative rendering method for virtual reality, is an innovative rendering technology in the field of virtual reality, its purpose is to realize the virtual reality experience of high quality in current mobile devices, the bandwidth resources of computing resources and network transmission at the same time without depleting mobile devices; its main idea is as follows: 1) will the contents of the split application of virtual reality for dynamic interactive content and static environment, and the use of separate type mobile phone and server architecture in cloud computing these two separate rendering part; 2) the server will be continuous virtual space discretization for a large number of sampling points, the corresponding panorama render ahead of each point and storage; 3) according to the client receiving the user information, access to the corresponding position of the panorama from the server, the real-time rendering of interactive content and eventually realize the content of the two part combined with the collaborative rendering The invention aims at realizing the high quality virtual reality experience of the mobile device by utilizing the separated architecture of the cloud computing according to the different characteristics of the interactive content and the environment content of the virtual reality.

【技术实现步骤摘要】
面向虚拟现实的协同渲染方法
本专利技术属于虚拟现实
，特别涉及一种面向虚拟现实的协同渲染方法。
技术介绍
虚拟现实(VirtualReality，以下简称VR)，旨在利用计算机视觉、传感等技术及专门的硬件设备，给用户呈现逼真的虚拟环境和颠覆性的交互体验。随着相关技术的成熟，国内外各大公司(诸如Facebook、Google、HTC等)也纷纷进入VR领域，推出自己的VR系统。当下主流的VR系统通常都由三个关键的部件组成：头戴式显示器、传感器和渲染器。为了能够提供沉浸式的虚拟现实体验，VR系统需要利用传感器不断追踪、接收用户的姿势信息(包括位置和方向信息)。根据不同的姿势信息，渲染器将实时地渲染出相应视角的画面并在头戴式显示器上以双眼畸变的形式显示。目前主流的商业级VR系统分为两大类：连线型和移动型。连线型VR系统，将复杂的渲染、计算工作交给强大的主机，然后通过高速数据线(HDMI等)将主机渲染的每一帧图像传给单独的头戴式显示器。另一类移动型VR系统则摒弃了主机和数据线，将智能手机自身的GPU和显示屏分别作为渲染器和头戴式显示器来提供沉浸式VR体验。VR系统特殊的工作流程以及头戴式显示器所引入的近眼显示都给系统带来了巨大的计算和渲染开销。为了使用户能够舒适地体验各种VR应用，VR系统通常需要满足下面三个性能和特征需求。1)响应性：VR系统的端到端延迟需要小于10–25毫秒，过高的端到端延迟将使用户在体验过程中出现眩晕等不适症状；2)高质量的视觉效果：为了营造逼真的虚拟环境，VR系统需要提供照片级真实感的高质量画面，同时每秒帧刷新率也至少需要达到60来保证流畅的体验；3)移动性：VR系统复杂的渲染、计算工作通常可以在强大的主机上完成，这时头戴式显示器通常需要连接HDMI数据线来传输好几个Gbps级别的数据量，也就是连线型VR系统。但这样的方式也极大地降低了用户体验(例如用户容易被数据线绊倒)，因此如何提供具备移动性的VR系统也是至关重要的。目前两类主流的VR系统均无法满足以上三个相互矛盾的性能和特征需求。连线型VR系统虽然能够提供很好的响应性和高质量的视觉效果，但却无法提供必要的移动性。移动型VR虽然在移动性上有先天的优势，但由于手机上较弱的渲染能力和电池容量，他们往往无法同时满足前两个基本的性能需求。与此同时，目前的无线数据传输技术也无法直接替代高速数据线来支撑VR应用所需的几个Gbps的带宽和极低的端到端延迟。
技术实现思路
为了克服上述现有技术的缺点，本专利技术的目的在于提供一种面向虚拟现实的协同渲染方法，基于云计算，使移动型VR系统能够同时满足VR系统的三个性能和特征需求，可针对移动型VR系统在移动设备(智能手机)上提供高质量的沉浸式虚拟现实体验。为了实现上述目的，本专利技术采用的技术方案是：一种面向虚拟现实的协同渲染方法，包括如下步骤：首先，将VR应用的内容拆分成动态交互内容和静态环境内容两个部分；其次，利用手机本身的GPU实时地根据用户输入渲染、显示所述动态交互内容；利用云端的服务器渲染所述静态环境内容；最后，手机在运行VR应用时，向服务器请求已渲染的静态环境内容，并与本地渲染好的动态交互内容在客户端进行叠加、组合得到最终VR应用的画面。所述动态交互内容主要包括会根据用户的输入而发生改变的一些物体，它们的模型规模相对较小、渲染纹理相对简单，但是需要实时响应用户的输入；所述静态环境内容是构成整个虚拟环境的主要成分，它们的模型规模相对庞大、渲染纹理相对复杂，但是通常只随着用户在虚拟空间内的移动才发生连续性的改变和更新。在虚拟现实场景下，通过如下步骤实现：步骤(1)，将目标VR应用的3D渲染模型拆分成两部分：交互模型和环境模型，分别对应VR应用的动态交互内容和静态环境内容；步骤(2)，服务器端加载VR应用的环境模型，并按固定间隔在模型空间中可到达的范围内遍历取点，对于每一个采样点，服务器都渲染出一张全景图，并以采样点对应三维位置信息作为其索引存储在服务器端；步骤(3)，客户端实时追踪、接收用户的姿势信息，客户端利用位置信息向服务器请求、获取对应位置的全景图；步骤(4)，客户端实时追踪、接收用户的交互信息，客户端根据交互信息利用手机的GPU实时渲染出动态交互内容；步骤(5)，客户端将获取的全景图加载、映射到球面上以产生360度环绕效果；同时客户端还利用全景图的深度信息将本地实时渲染得出的交互物体叠加到球面全景图上，完成前后景结合；步骤(6)，客户端根据方向信息在手机屏幕上以双眼畸变的形式显示出对应角度的最终合成画面。所述步骤(2)中，固定间隔一般小于0.05米，所述步骤(3)中，姿势信息包括位置和方向信息。与现有技术相比，本专利技术可以直接在当前移动设备(移动VR系统)上利用已有的网络传输技术满足VR系统所需的三个性能和特征需求。同时本专利技术方案也在无需耗尽移动设备计算资源和网络技术带宽资源的情况下，实现了高质量的VR体验，对于提升移动VR系统的性能具有十分重大的意义。附图说明图1是本专利技术协同渲染示意图。具体实施方式下面结合附图和实施例详细说明本专利技术的实施方式。本专利技术技术原理如下：首先，将VR应用的内容拆分成动态交互内容和静态环境内容两个部分。动态交互内容通常是那些会根据用户的输入而发生改变的一些物体。它们的模型规模较小、渲染纹理相对简单但是需要实时响应用户的输入。静态环境内容则是构成整个虚拟环境的主要成分。它们的模型规模庞大、渲染纹理十分复杂但是通常只随着用户在虚拟空间内的移动才发生连续性的改变和更新。针对动态交互内容，考虑它们的实时性和轻便性，本方案利用手机本身的GPU来实时地根据用户输入渲染、显示它们。针对静态环境内容，考虑它们的复杂性，本方案利用云计算的思想，将渲染这部分内容的繁重工作交给云端的服务器。手机在运行VR应用时，将向服务器请求渲染好的静态环境内容，并与自己本地渲染好的动态交互内容在客户端进行叠加、组合得到最终VR应用的画面。为了解决网络传输无法提供足够高的带宽和足够低的延迟来满足实时渲染、传输静态环境内容的问题，本方案还利用其静态、连续的特点，设计了基于预渲染的环境加载方案。该方案首先将VR应用中可到达的虚拟空间按照固定间隔(小于0.05米，之前的研究表明人眼无法识别这一间隔带来的细微变化)遍历取点。对于每一个采样点，服务器将提前渲染并存储一张全景图来包含这个点上所有可能方向的画面信息。当用户的位置不发生改变时，无论用户的头部如何转动，手机也无需从服务器上获取不同方向所对应的帧。而当用户在虚拟空间内移动时，手机将按需地从服务器上获取相应位置的全景图并逐帧地将其在本地加载、显示出来。具体地，在虚拟现实场景下，如图1所示，基于边缘计算的协同渲染方案的具体实施方式包含以下几个主要步骤：步骤(1)将VR应用的3D模型拆分为交互模型和环境模型两部分。它们将分别对应VR应用的动态交互内容和静态环境内容。以游戏应用为例，动态交互内容通常为玩家的角色及武器，静态环境内容则为玩家所处的虚拟世界。利用游戏开发工具(Unity等)能轻松地将两种模型解耦、拆分。步骤(2)在服务器端加载解耦、拆分得到的环境模型。对环境模型对应的空间进行离散化处理。即position_set＝{p1,p2,p3,p4,...,p本文档来自技高网...

【技术保护点】
一种面向虚拟现实的协同渲染方法，其特征在于，包括如下步骤：首先，将VR应用的内容拆分成动态交互内容和静态环境内容两个部分；其次，利用手机本身的GPU实时地根据用户输入渲染、显示所述动态交互内容；利用云端的服务器渲染所述静态环境内容；最后，手机在运行VR应用时，向服务器请求已渲染的静态环境内容，并与本地渲染好的动态交互内容在客户端进行叠加、组合得到最终VR应用的画面。

【技术特征摘要】
1.一种面向虚拟现实的协同渲染方法，其特征在于，包括如下步骤：首先，将VR应用的内容拆分成动态交互内容和静态环境内容两个部分；其次，利用手机本身的GPU实时地根据用户输入渲染、显示所述动态交互内容；利用云端的服务器渲染所述静态环境内容；最后，手机在运行VR应用时，向服务器请求已渲染的静态环境内容，并与本地渲染好的动态交互内容在客户端进行叠加、组合得到最终VR应用的画面。2.根据权利要求1所述面向虚拟现实的协同渲染方法，其特征在于，所述动态交互内容主要包括会根据用户的输入而发生改变的一些物体，它们的模型规模相对较小、渲染纹理相对简单，但是需要实时响应用户的输入；所述静态环境内容是构成整个虚拟环境的主要成分，它们的模型规模相对庞大、渲染纹理相对复杂，但是通常只随着用户在虚拟空间内的移动才发生连续性的改变和更新。3.根据权利要求1所述面向虚拟现实的协同渲染方法，其特征在于，在虚拟现实场景下，通过如下步骤实现：步骤(1)，将目标VR应用的3D渲染模型拆分成两部分：...

【专利技术属性】
技术研发人员：崔勇，孙霖晖，赖泽祺，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11