一种视频串流的系统及方法技术方案

本发明专利技术公开了一种视频串流的系统及系统，其中，该方法包括如下步骤：获取定位追踪装置采集的定位数据；根据获取的定位数据获得预测定位数据；将预测定位数据发送给应用平台软件进行画面渲染；获取渲染好的画面，发送给VR设备进行显示。该方法能准确预测定位数据，减少数据抖动和延迟。

A video streaming system and method

【技术实现步骤摘要】
一种视频串流的系统及方法
本专利技术涉及一种视频串流的系统；尤其涉及一种面向虚拟现实应用的视频串流的系统；同时涉及该系统实现的定位同步方法，属于虚拟现实

技术介绍
视频串流(videostreaming)是指将一连串的视频数据压缩之后分段传送，在网络上即时传输影音以供观赏的视频播放技术。曾经流行的QuickTimePlayer、RealPlayer等播放器就采用了视频串流技术。目前，随着网络游戏、游戏直播等产业的深入发展，视频串流得到了越来越广的应用。虚拟现实(VirtualReality，简称VR)是指采用计算机技术为核心，利用现代高科技手段生成一种虚拟环境，用户借助特殊的输入/输出设备，通过视觉、听觉和触觉等获得与真实世界相同的感受。虚拟现实技术是一种综合应用计算机图形学、人机接口技术、传感器技术以及人工智能等技术，制造逼真的人工模拟环境，并能有效地模拟人在自然环境中的各种感知的高级的人机交互技术。头戴式显示器(简称头显)是用于虚拟现实显示的核心设备之一，主要分为三类：第一类是PC头显，需要用数据线连接头显和PC，此种头显可以在PC上显示头显上的画面；第二类是一体式头显，它本质上是一个具有运行存储能力、显示能力和定位能力的VR设备，无需外接设备，因此也称为VR一体机；第三类是移动式头显，通过一个VR盒子配合移动终端使用。现有的VR一体机中，用户通常只能使用头显预装的应用程序，而不能使用只能在PC头显上使用的应用程序，例如运行在SteamVR平台上的视频和游戏等，限制了其应用范围。针对现有技术的不足，有人尝试在VR一体机中应用视频串流技术播放SteamVR平台上的视频和游戏。但是，如果不加限制地将相关数据送入SteamVR平台，即每接收到一个相关数据就直接放入SteamVR平台，由于每个VR一体机的频率不同、传输延迟不同，最终可能导致画面延迟以及画面抖动等诸多问题。
技术实现思路
针对现有技术的不足，本专利技术所要解决的首要技术问题在于提供一种视频串流的系统。本专利技术所要解决的另一技术问题在于提供一种视频串流的方法。为实现上述专利技术目的，本专利技术采用下述的技术方案：根据本专利技术实施例的第一方面，提供一种视频串流的系统，包括终端、VR设备、定位追踪装置；其中，所述终端上安装有应用平台软件和串流软件的服务端；所述定位追踪装置用于采集用户的定位数据；所述VR设备用于将所述定位追踪装置采集的定位数据发送给所述串流软件的服务端；所述串流软件的服务端用于根据所述VR设备发送的定位数据获得预测定位数据；所述应用平台软件用于根据预测定位数据进行画面渲染。其中较优地，所述VR设备上安装有串流软件的客户端，所述VR设备通过所述串流软件的客户端将定位追踪装置采集的定位数据发送给所述串流软件的服务端；所述串流软件的服务端获取渲染好的画面，发送给串流软件的客户端，所述串流软件的客户端将画面发送给所述VR设备进行显示。其中较优地，所述串流软件的服务端包括server驱动，定位预测单元位于所述server驱动中，用于根据所述VR设备发送的定位数据获得预测定位数据。其中较优地，所述定位预测单元根据所述VR设备发送的定位数据获得预测定位数据，包括：获取第一时间戳和第二时间戳，其中第一时间戳是串流软件的服务端收到第i定位数据的时刻，所述第二时间戳是串流软件的服务端收到第i+1定位数据的时刻；获取所述串流软件的服务端收到所述定位数据的数据延迟；获取第三时间戳，其中第三时间戳是所述应用平台软件从所述串流软件的服务端进行采样的时间；根据所述第一时间戳和第一时间戳的定位数据、所述第二时间戳和第二时间戳的定位数据、数据延时，获得所述第三时间戳的预测定位数据。根据本专利技术实施例的第二方面，提供一种视频串流的方法，包括如下步骤：获取定位追踪装置采集的定位数据；根据获取的定位数据获得预测定位数据；将预测定位数据发送给应用平台软件进行画面渲染；获取渲染好的画面，发送给VR设备进行显示。其中较优地，获取定位追踪装置采集的定位数据是将定位追踪装置采集的定位数据发送到终端的串流软件的服务端，包括如下步骤：通过定位追踪装置采集用户的定位数据；将定位追踪装置采集的定位数据发送到VR设备上；将VR设备获取的定位数据通过UDP发送到串流软件的服务端。其中较优地，所述根据获取的定位数据获得预测定位数据包括如下步骤：获取第一时间戳和第二时间戳，其中第一时间戳是串流软件的服务端收到第i定位数据的时刻，所述第二时间戳是串流软件的服务端收到第i+1定位数据的时刻；获取所述串流软件的服务端收到所述定位数据的数据延迟；获取第三时间戳，其中第三时间戳是应用平台软件从所述串流软件的服务端进行采样的时间；根据所述第一时间戳和第一时间戳的定位数据、所述第二时间戳和第二时间戳的定位态数据、数据延时，获得所述第三时间戳的预测定位数据。其中较优地，所述数据延迟，采用如下公式得到：M＝T0+(t2–t1)+ΔT；其中，M为数据延迟；t1为传感器获取到定位数据的时刻；t2为将定位数据发送到串流软件的服务端的时刻；ΔT为网络延迟。其中较优地，所述根据第一时间戳和第一时间戳的定位数据、第二时间戳和第二时间戳的定位数据、数据延时，获得第三时间戳的预测定位数据，采用如下公式：其中，Vj′是Tj′时刻的预测定位数据；Ti是第一时间戳；Vi是第一时间戳的定位数据；Ti+1是第二时间戳；Vi+1是第二时间戳的定位数据；Tj′是第三时间戳；M是数据延迟。其中较优地，所述将预测定位数据发送给应用平台软件进行画面渲染，包括如下步骤：将预测定位数据发送给数据接口，经数据接口传送给所述应用平台软件中的VR应用；根据所述VR应用得到的预定位态数据以及应用逻辑，确定应用引擎渲染的画面内容，进行画面的渲染。根据本专利技术实施例的第三方面，提供一种实现视频串流的装置，包括处理器及存储器，所述处理器用于执行存储器中存储的视频串流的程序，以实现如上所述的视频串流的方法。本专利技术所提供的视频串流的方法，通过计算串流软件的服务端接收到定位数据的数据延迟，根据定位追踪装置采集的定位数据，预测应用平台软件进行画面渲染时的定位数据，根据预测定位数据进行画面渲染，将渲染好的画面发送给VR设备进行画面显示。串流软件的服务端安装在PC终端，该方法使得负责运行VR应用的是PC机，VR设备要负责的仅仅是画面显示而已；因此即可通过PC的硬件进行画面处理，VR设备屏幕上就可以得到让人满意的画面，而且通过准确的预测定位数据，可以减少数据抖动和延迟，是画面质量更高。附图说明图1为本专利技术所提供的视频串流的系统的结构示意图；图2为本专利技术所提供的视频串流的方法的流程图；图3为本专利技术所提供的定位预测单元预测定位数据的流程图；本文档来自技高网...

【技术保护点】
1.一种视频串流的系统，其特征在于包括终端、VR设备、定位追踪装置；/n其中，所述终端上安装有应用平台软件和串流软件的服务端；/n所述定位追踪装置用于采集用户的定位数据；/n所述VR设备用于将所述定位追踪装置采集的定位数据发送给所述串流软件的服务端；/n所述串流软件的服务端用于根据所述VR设备发送的定位数据获得预测定位数据；/n所述应用平台软件用于根据预测定位数据进行画面渲染。/n

【技术特征摘要】
1.一种视频串流的系统，其特征在于包括终端、VR设备、定位追踪装置；
其中，所述终端上安装有应用平台软件和串流软件的服务端；
所述定位追踪装置用于采集用户的定位数据；
所述VR设备用于将所述定位追踪装置采集的定位数据发送给所述串流软件的服务端；
所述串流软件的服务端用于根据所述VR设备发送的定位数据获得预测定位数据；
所述应用平台软件用于根据预测定位数据进行画面渲染。


2.如权利要求1所述的视频串流的系统，其特征在于：
所述VR设备上安装有串流软件的客户端，所述VR设备通过所述串流软件的客户端将定位追踪装置采集的定位数据发送给所述串流软件的服务端；
所述串流软件的服务端获取渲染好的画面，发送给串流软件的客户端，所述串流软件的客户端将画面发送给所述VR设备进行显示。


3.如权利要求2所述的视频串流的系统，其特征在于：
所述串流软件的服务端包括server驱动，定位预测单元位于所述server驱动中，用于根据所述VR设备发送的定位数据获得预测定位数据。


4.如权利要求3所述的视频串流的系统，其特征在于所述定位预测单元根据所述VR设备发送的定位数据获得预测定位数据，包括：
获取第一时间戳和第二时间戳，其中第一时间戳是串流软件的服务端收到第i定位数据的时刻，所述第二时间戳是串流软件的服务端收到第i+1定位数据的时刻；
获取所述串流软件的服务端收到所述定位数据的数据延迟；
获取第三时间戳，其中第三时间戳是所述应用平台软件从所述串流软件的服务端进行采样的时间；
根据所述第一时间戳和第一时间戳的定位数据、所述第二时间戳和第二时间戳的定位数据、数据延时，获得所述第三时间戳的预测定位数据。


5.一种视频串流的方法，其特征在于包括如下步骤：
获取定位追踪装置采集的定位数据；
根据获取的定位数据获得预测定位数据；
将预测定位数据发送给应用平台软件进行画面渲染；
获取渲染好的画面，发送给VR设备进行显示。


6.如权利要求5所述的视频串流的方法，其特征在于所述获取定位追踪装置采集的定位数据是将定位追踪装置采集的定位数据发送到...

【专利技术属性】
技术研发人员：冉瑞元，张佳宁，张道宁，
申请(专利权)人：北京凌宇智控科技有限公司，
类型：发明
国别省市：北京;11