一种用于虚拟现实的云游戏系统实现方法技术方案

本发明专利技术涉及一种用于虚拟现实的云游戏系统实现方法，其特征在于，客户端采集、预测显示设备及控制器姿态信息，并上传至云服务器，在云端服务器运行游戏，进行大量的数据处理、图像渲染，完成后将数据压缩成指定格式传送回客户端，客户端对数据进行解码、时间卷曲、畸变处理计算后显示。本发明专利技术的优点在于利用云服务器运行游戏，客户端只做姿态、交互数据上传和图像解码显示、音频播放，因此降低了对客户端的硬件要求；设计了游戏控制仿真器，使普通虚拟现实单机游戏可以无需改动直接运行在云端服务器；同时针对虚拟现实系统特点进行优化，有效降低延迟，以此给用户提供良好的虚拟现实沉浸感。

A Realization Method of Cloud Game System for Virtual Reality

The invention relates to a realization method of a cloud game system for virtual reality, which is characterized in that the client collects, predicts the attitude information of display devices and controllers, uploads it to the cloud server, runs the game on the cloud server, carries out a lot of data processing and image rendering, compresses the data into a specified format and transmits it back to the client after completion, and the client decodes the data. Time curling and distortion processing are calculated and displayed. The advantages of the invention are that the cloud server is used to run games, and the client only does posture, interactive data upload, image decoding display and audio playback, thus reducing the hardware requirements of the client; a game control simulator is designed to enable the ordinary VR single-machine games to run directly on the cloud server without changing; at the same time, the characteristics of the VR system are optimized. In order to provide users with a good immersion in virtual reality, the delay is effectively reduced.

【技术实现步骤摘要】
一种用于虚拟现实的云游戏系统实现方法
本专利技术涉及一种云游戏系统实现方法，尤其是一种用于虚拟现实的云游戏系统实现方法。
技术介绍
虚拟现实(virtualreality，VR)技术是利用电脑模拟产生一个三维空间的虚拟世界，提供给用户关于视觉等感官的模拟，让用户仿佛身临其境，为了营造逼真的效果，虚拟现实技术对计算元件单位时间内的数据处理量要求较高。目前基于个人计算机(PersonalComputer,PC)端的虚拟现实设备要达到所述的数据处理量要求，需要很高的硬件配置，用户想要体验好的虚拟现实游戏效果需要配置价格高昂的计算机硬件。为了降低用户使用成本，推广虚拟现实技术，本专利技术技术方案设计了虚拟现实云游戏系统。云游戏(Cloudgaming)技术是一种以云计算(CloudComputing)技术为基础的在线游戏技术，可使得图形处理与数据运算能力相对有限的轻端设备(thinclient)能运行高品质游戏，其仅需拥有基本的流媒体播放能力与获取玩家输入指令并传送给云端服务器的能力即可。本专利技术技术方案旨在将虚拟现实游戏运行在云端服务器上，利用云端服务器强大的渲染计算能力，进行快速、大量的数据处理，客户端虚拟现实头戴显示设备只做姿态、交互数据收集上传和图像解码显示、音频播放，因此无需为游戏渲染配置高性能显卡，有效的降低了硬件要求和使用成本并缩短了虚拟现实游戏系统的响应延时。
技术实现思路
本专利技术目的是：提供一种用于虚拟现实的云游戏系统实现方法，使图形处理与数据运算能力相对有限的客户端设备能够运行高品质的虚拟现实游戏。本专利技术的技术方案是：本专利技术设计了一种云游戏系统实现方法，系统主要由云服务器和客户端两部分组成，数据处理和交互过程分为以下步骤：1.客户端虚拟现实头戴显示设备采集、预测用户头部姿态信息和游戏控制器交互数据，并上传给云端服务器；2.在云端服务器上运行虚拟现实游戏，根据客户端传回的姿态信息和交互数据进行游戏待显示画面的渲染及相关的数据处理；3.云端服务器将渲染结果图像和音频压缩成指定格式，与图像对应的设备姿态信息一起传送给客户端；所述图像数据格式包括但不限于H264、H265；所述音频数据格式包括但不限于PCM、AAC；4.客户端接收数据后进行解码、时间卷曲和畸变处理等操作，最终将图像显示在头戴显示设备屏幕上，并播放与图像匹配的音频。所述云端服务器实现方法如下：1.利用网络协议栈在云端服务器和客户端之间传输图像、声音、姿态信息、游戏交互数据；为降低游戏延时，所述网络协议需采用低延迟协议，包括但不限于HRTP协议；2.云端服务器将游戏渲染图像和与图像匹配的音频经过编码器压缩后进行传输；为了保证数据压缩性能，所述编码器需支持ROI(RegionofInterest)编码技术；为了有效降低延迟，所述数据传输以片(slice)而非帧(frame)作为编解码和传输操作的单位，使编码-传输-解码的操作可以并行进行；3.采用姿态数据管理模块接收和保存客户端传送的用户姿态信息，并提供数据接口给游戏应用在图像渲染时查询使用；4.游戏控制仿真器接收到客户端传送的游戏控制器交互数据，并对数据进行判断分析，如果符合预设条件则发出windows标准游戏控制事件，虚拟现实游戏应用将响应这些控制事件。所述客户端实现方法如下：1.利用网络协议栈在云端服务器和客户端之间传输图像、声音、姿态信息、游戏交互数据；2.将云端服务器传送的图像和音频数据用解码器解码；3.利用虚拟现实渲染器对解码后的图像根据最新采集到的姿态信息进行时间卷曲和畸变处理微调，最后显示在头戴显示器屏幕上；4.利用姿态和游戏控制信息采集器以一定频率采集头戴显示器姿态信息和游戏控制器的控制信息，并根据网络传输延迟情况，对用户姿态进行预测。本专利技术技术创新点在于：1.创新的设计了虚拟现实云游戏系统实现的整体框架及模块化的实现方法；2.创新的实现了虚拟现实云游戏的用户姿态数据处理方法，客户端预测用户姿态信息，传送给云端服务器指导图像渲染，并且在接收渲染图像后显示之前根据最新采集到的姿态信息进行时间卷曲和畸变处理操作，以减少延迟；3.创新的运用了游戏控制仿真器，将网络数据转化为windows标准游戏控制事件，使普通单机VR游戏无需进行改动即可工作在云端服务器上并且响应用户的交互操作。与现有技术相比，本专利技术技术方案具有以下有益效果：本专利技术所设计的实现方法将VR游戏运行在云端服务器上，客户端设备无需为游戏渲染配置高性能显卡，有效降低了硬件配置要求和使用成本；且通过本专利技术方法普通单机VR游戏可以无需修改直接运行在云端服务器，有利于于虚拟现实技术的推广和普及。附图说明图1为本专利技术技术方案虚拟现实云游戏系统实现方法框架图；图2为本专利技术技术方案设备姿态信息数据处理流程图；图3为本专利技术技术方案控制信号数据处理流程图。具体实施方式如
技术介绍
所述，现有技术中VR游戏存在对个人计算机的硬件配置要求较高，用户使用成本高昂等问题。在本专利技术方案中，提供一种用于虚拟现实的云游戏系统实现方法，使图形处理与数据运算能力相对有限的客户端设备能够运行高品质的虚拟现实游戏。为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。图1本专利技术技术方案虚拟现实云游戏系统实现方法框架图；本专利技术方案中云游戏系统主要由云服务器(101)和客户端(102)两部分组成，数据处理和交互过程如下：1.客户端(102)虚拟现实设备的姿态和游戏控制信息采集器(109)采集、预测用户头部姿态信息和游戏控制器(108)交互数据，通过客户端网络协议栈(110)上传给云端服务器(101)；2.云端服务器网络协议栈(107)接收客户端上传的数据后，运行虚拟现实游戏，根据客户端传回的姿态信息(105)，利用游戏控制仿真器交互数据(106)，进行虚拟现实游戏应用(103)待显示画面的渲染及相关的数据处理；3.云端服务器将渲染结果图像和音频通过编码器(104)压缩成指定格式，与图像对应的设备姿态信息一起通过云服务器网络协议栈(107)传送回客户端(102)；所述图像数据格式包括但不限于H264、H265；所述音频数据格式包括但不限于PCM、AAC；4.客户端接收数据后通过解码器(111)进行解码，利用渲染器和图像处理计算器(112)进行时间卷曲和畸变处理等操作，最终将图像显示在头戴显示设备屏幕上，并播放与图像匹配的音频。图2为本专利技术技术方案设备姿态信息数据处理流程图；按照处理流程的时间顺序分别在云端服务器(201)和客户端(202)进行：1.当客户端设备收到采集信息命令信号(203)后，进行用户姿态信息的采集，并根据网络延迟做出姿态预测(204)，再将所采集到的信息传送至云端服务器；所述采集信息命令信号(203)每隔2ms发送一次。2.云端服务器接收客户端传送的姿态信息数据，保留最新的姿态信息(205)，在收到同步信号(206)后，根据所得到的姿态信息渲染相应的游戏图像，并匹配相关音频数据(207)；图像、音频数据处理完成后，通过编码器压缩编码(208)，并传送回客户端。3.客户端接收数据后进行解码操作(209)，并查询虚拟现实设备的最新姿态信息，根据最新姿态信息对渲染图像进行时间卷曲和畸变处理操作(210)，最后将本文档来自技高网...

【技术保护点】
1.一种用于虚拟现实的云游戏系统实现方法，其特征在于，包括：客户端虚拟现实设备采集、预测用户头部姿态信息和游戏控制器交互数据，并上传给云端服务器；云端服务器运行虚拟现实游戏，根据客户端传送的姿态信息和交互数据进行游戏待显示图像的渲染及音频数据处理，并将处理完成的数据编码压缩后传送给客户端；客户端接收数据后进行解码、时间卷曲和畸变处理等操作，最终将图像显示在头戴显示设备屏幕上，并播放与图像匹配的音频。

【技术特征摘要】
1.一种用于虚拟现实的云游戏系统实现方法，其特征在于，包括：客户端虚拟现实设备采集、预测用户头部姿态信息和游戏控制器交互数据，并上传给云端服务器；云端服务器运行虚拟现实游戏，根据客户端传送的姿态信息和交互数据进行游戏待显示图像的渲染及音频数据处理，并将处理完成的数据编码压缩后传送给客户端；客户端接收数据后进行解码、时间卷曲和畸变处理等操作，最终将图像显示在头戴显示设备屏幕上，并播放与图像匹配的音频。2.根据权利要求1所述的一种用于虚拟现实的云游戏系统实现方法，其特征在于，云端服务器将渲染图像和音频数据压缩成指定格式传送给客户端；所述图像数据格式包括但不限于H264、H265；所述音频数据格式包括但不限于PCM、AAC。3.根据权利要求1所述的一种用于虚拟现实的云游戏系统实现方法，其特征在于，所述云端服务器与客户端之间的数据传输采用网...

【专利技术属性】
技术研发人员：田巍，黄柴铭，许欢，于成龙，陈玉琨，
申请(专利权)人：上海拆名晃信息科技有限公司，
类型：发明
国别省市：上海,31