一种一对多虚拟现实展示方法及装置制造方法及图纸

本发明专利技术实施例公开了一种一对多虚拟现实展示方法及装置，方法包括：实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包，对数据包进行解包解码，获取当前姿态数据，计算展示者虚拟现实设备的姿态数据与当前姿态数据的差值，根据姿态数据的差值、展示者虚拟现实设备的视场角和展示对象虚拟现实设备的视场角将展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上。本发明专利技术每台虚拟现实设备会根据当前设备实际的姿态进行渲染，从而使得各自的展示对象以各自的姿态看到的内容会跟随展示对象的头部姿态转动而变化，因为展示对象的动作与所见的画面是匹配的，从而避免了晕动症的产生。

One to many virtual reality display method and device

The embodiment of the invention discloses a one-to-many virtual reality display method and device, the method includes: receiving the data packet transmitted by the virtual reality SDK server through the network communication module in real time, unpacking and decoding the data packet, obtaining the current attitude data, calculating the difference between the attitude data of the virtual reality device of the presenter and the current attitude data, and developing according to the difference between the attitude data The visual field angle of the virtual reality device and the visual field angle of the virtual reality device will process the picture of the virtual reality device and render it to the screen in real time. Each virtual reality device of the invention will render according to the actual posture of the current device, so that the content seen by each display object in its own posture will change with the rotation of the head posture of the display object, because the action of the display object matches the picture seen, thus avoiding the occurrence of motion sickness.

【技术实现步骤摘要】
一种一对多虚拟现实展示方法及装置
本专利技术涉及虚拟现实
，尤其涉及一种一对多虚拟现实展示方法及装置。
技术介绍
虚拟现实(VirtualReality，VR)技术是当前正在快速发展的新兴智能硬件形态。利用计算机及显示设备模拟产生一个三维虚拟世界，将使用者的真实运动实时计算并视觉为主、其他感官为辅的方式反馈给使用者，给人更强的身临其境的沉浸感。常见的虚拟现实应用的实时计算与反馈通常只针对单个用户。虚拟现实技术因其身临其境的沉浸感，被广泛应用于各个行业，其中教育、培训、旅游等行业因其特殊性，存在一人(操作)展示、多人观看的“一对多”展示需求。具体的，需要有一个展示者负责与场景的交互以及引导内容的展示，若干展示对象旁观展示者的操作，并且共享展示者的视野(和其他感官)。在确保展示者的正常体验的同时，带给展示对象实时的沉浸体验。现有一对多的展示技术有两种方案，第一种现有方案是类似网络游戏的方式，本质上，是每个虚拟设备终端分别渲染了各自的虚拟场景内容，通过网络通信技术实时共享实现定义的操作指令和数据变化。使得使用者感觉访问了“同一个”虚拟场景，进行了实时的互动。该方法缺点在于：一方面在软件上需要特殊定制支持网络通信的应用内容，另一方面在硬件上每一台设备都需要较高的性能进行独立渲染。第二种现有方案采用了视频、音频信号的一拖多的分线器，使得展示对象能够完全共享展示者的视觉、听觉。这种方案的成本较低，仅需要一台高性能电脑负责展示者的虚拟现实设备进行实时计算，展示对象只需要若干台虚拟现实头盔即可。该方案的缺点在于显示画面是完全跟随展示者而非展示对象的头部动作，而两者往往是不匹配的，从而会造成展示对象的强烈眩晕感(晕动症)从而影响沉浸效果。
技术实现思路
本专利技术实施例提供一种一对多虚拟现实展示方法及装置，用以解决现有技术中不支持任意的虚拟现实应用，需特殊定制应用内容，会造成展示对象的眩晕感的问题。第一方面，本专利技术实施例提供一种一对多虚拟现实展示方法，包括：实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包；对所述数据包进行解包解码，得到展示者虚拟现实设备的视场角、姿态数据和姿态数据对应的画面内容；获取当前姿态数据，计算所述展示者虚拟现实设备的姿态数据与所述当前姿态数据的差值；根据所述姿态数据的差值、所述展示者虚拟现实设备的视场角和所述展示对象虚拟现实设备的视场角将所述展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上；其中，姿态数据的差值用于确认屏幕渲染的位置，展示者虚拟现实设备的视场角以及展示对象虚拟现实设备的视场角用于确认画面内容的视角。上述方案，虚拟现实SDK服务端除了获取展示者虚拟现实设备的当前姿态等数据，并将虚拟现实应用左右眼的内容输出给展示对象虚拟现实设备之外，同时虚拟现实SDK服务端会将该左右眼内容实时编码成视频流，并结合其他数据(例如当前内容对应的姿态数据、当前的视频帧编号、校验码、音频数据等)，通过网络通信模块广播发送给N台展示对象虚拟现实设备，每台虚拟现实设备通过网络通信模块各自独立接收到虚拟现实SDK服务端发送的网络数据包之后，独立进行解码并渲染到各自的屏幕上，由于数据包中已经包含了对应的姿态数据，每台虚拟现实设备会根据当前设备实际的姿态进行渲染，从而使得各自的展示对象以各自的姿态看到的内容会跟随展示对象的头部姿态转动而变化(而非跟随展示者的头部姿态变化)，因为展示对象的动作与所见的画面是匹配的，从而避免了晕动症的产生。可选的，所述数据包由虚拟现实SDK服务端将接收的所述展示者虚拟现实设备的姿态数据发送至虚拟现实应用后将所述虚拟现实应用输出的所述姿态数据对应的画面内容进行实时编码打包得到。需要说明的是，虚拟现实SDK服务端运行在服务器模块上，普通的虚拟现实应用运行在服务器模块上，该应用调用虚拟现实SDK服务端，获取展示者虚拟现实设备的姿态数据。虚拟现实SDK服务端将虚拟现实应用的左右眼内容实时编码成视频流，并结合其他数据(例如当前内容对应的姿态数据、当前的视频帧编号、校验码、音频数据、视场角等等)打包成符合通信协议的数据包，通过网络通信模块广播发送给N台展示对象虚拟现实设备E。可选的，在所述实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包之前，还包括：通过所述网络通信模块与所述虚拟现实SDK服务端配对并通信。上述方案，网络通信模块用于实现一对多展示功能中的服务器模块和多台展示对象虚拟现实设备的组网、配对、通信功能。该模块包含通信所需的硬件部分，通信方式包括但不限于无线或有线通信的方式，并且定义了以服务器模块为服务端，展示对象虚拟现实设备为客户端的通信协议。可选的，当网络丢包或视频流帧率大于所述展示对象虚拟现实设备刷新率时进行插帧计算。上述方案，在网络丢包或者视频流帧率跟不上展示对象虚拟现实设备屏幕刷新率的时候还需要进行插帧计算(包括但不限于使用异步时间扭曲算法进行插帧)，从而使得各自的用户(展示对象)以各自的姿态看到的内容会跟随展示对象的头部姿态转动而变化，从而避免了晕动症的产生。第二方面，本专利技术实施例提供一种一对多虚拟现实展示系统，包括：获取模块，用于实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包；处理模块，用于对所述数据包进行解包解码，得到展示者虚拟现实设备的视场角、姿态数据和姿态数据对应的画面内容；获取当前姿态数据，计算所述展示者虚拟现实设备的姿态数据与所述当前姿态数据的差值；根据所述姿态数据的差值、所述展示者虚拟现实设备的视场角和所述展示对象虚拟现实设备的视场角将所述展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上；其中，姿态数据的差值用于确认屏幕渲染的位置，展示者虚拟现实设备的视场角以及展示对象虚拟现实设备的视场角用于确认画面内容的视角。可选的，所述数据包由虚拟现实SDK服务端将接收的所述展示者虚拟现实设备的姿态数据发送至虚拟现实应用后将所述虚拟现实应用输出的所述姿态数据对应的画面内容进行实时编码打包得到。可选的，所述处理模块还用于：在所述实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包之前，通过所述网络通信模块与所述虚拟现实SDK服务端配对并通信。可选的，所述处理模块还用于：当网络丢包或视频流帧率大于所述展示对象虚拟现实设备刷新率时进行插帧计算。第三方面，本专利技术实施例提供一种计算机设备，包括：存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述第一方面所述的方法。第四方面，本专利技术实施例提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述第一方面所述的方法。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创本文档来自技高网...

【技术保护点】
1.一种一对多虚拟现实展示方法，其特征在于，包括：/n实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包；/n对所述数据包进行解包解码，得到展示者虚拟现实设备的视场角、姿态数据和姿态数据对应的画面内容；/n获取当前姿态数据，计算所述展示者虚拟现实设备的姿态数据与所述当前姿态数据的差值；/n根据所述姿态数据的差值、所述展示者虚拟现实设备的视场角和所述展示对象虚拟现实设备的视场角将所述展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上；其中，姿态数据的差值用于确认屏幕渲染的位置，展示者虚拟现实设备的视场角以及展示对象虚拟现实设备的视场角用于确认画面内容的视角。/n

【技术特征摘要】
1.一种一对多虚拟现实展示方法，其特征在于，包括：
实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包；
对所述数据包进行解包解码，得到展示者虚拟现实设备的视场角、姿态数据和姿态数据对应的画面内容；
获取当前姿态数据，计算所述展示者虚拟现实设备的姿态数据与所述当前姿态数据的差值；
根据所述姿态数据的差值、所述展示者虚拟现实设备的视场角和所述展示对象虚拟现实设备的视场角将所述展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上；其中，姿态数据的差值用于确认屏幕渲染的位置，展示者虚拟现实设备的视场角以及展示对象虚拟现实设备的视场角用于确认画面内容的视角。


2.根据权利要求1所述的方法，其特征在于，所述数据包由虚拟现实SDK服务端将接收的所述展示者虚拟现实设备的姿态数据发送至虚拟现实应用后将所述虚拟现实应用输出的所述姿态数据对应的画面内容进行实时编码打包得到。


3.根据权利要求1所述的方法，其特征在于，在所述实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包之前，还包括：
通过所述网络通信模块与所述虚拟现实SDK服务端配对并通信。


4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
当网络丢包或视频流帧率大于所述展示对象虚拟现实设备刷新率时进行插帧计算。


5.一种一对多虚拟现实展示装置，其特征在于，包括：
获取模块，用于实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包；
处理模块，用于对所述数据包进行解包解码，得到展示者虚...

【专利技术属性】
技术研发人员：许孜奕，陈朝阳，
申请(专利权)人：上海乐相科技有限公司，
类型：发明
国别省市：上海;31