一种多模态VR视频播放方法及系统技术方案

本发明专利技术公开了一种多模态VR视频播放方法及系统，其中，多模态VR视频播放方法包括以下步骤：视频采集、视频传输和视频融合呈现。视频采集时，通过多个摄像头采集所需视频，产生多个视频；其中，所述视频包括一个VR视频和至少一个平面视频；视频传输时，将所述多个视频传输到播放端；视频融合呈现中，将所述多个视频融合为多模态视频，并将所述多模态视频呈现在同一个屏幕的不同位置。该发明专利技术具备混合其它数据、视频信息进行画中画播放的优点，解决了现有VR直播技术，通常只能在一个画面中全部呈现VR，无法混合其它数据、视频信息进行画中画播放的问题。放的问题。

【技术实现步骤摘要】
一种多模态VR视频播放方法及系统


[0001]本专利技术属于视频处理
，尤其涉及一种多模态VR视频播放方法及系统。

技术介绍

[0002]VR实际上是一种可创建和体验虚拟世界(Virtual World)的计算机系统，是一种可以创建和体验虚拟世界的计算机仿真系统。它利用计算机生成一种模拟环境，是一种多源信息融合的交互式三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。VR的核心准则：使用技术手段，尽可能地满足人类的感官，最终达到甚至超越人在自然世界的感官效果。这种感官认识能力是人作为一个完整的接收设备，对自然的认识能力，包括了视觉、听觉甚至整个身体的感受能力。
[0003]目前VR视频技术已在行业中有众多应用，主要以下几个方面：VR图片：例如展示VR街景、VR景区、VR房产等，方便浏览者了解现场真实情况，比传统平面地图更加直观。VR视频：分为直播和点播，VR直播近几年用于晚会、活动、看房等直播，点播用于舞蹈、电影等录制VR视频观看。VR游戏：通过3D建模场景，让用户带上VR头显后，沉浸式体验游戏。
[0004]在VR的呈现过程中难免需要多维度的信息作为补充，例如医疗手术的直播，如果仅仅是VR画面，看不清具体的手术开刀位置细节，无法获知患者在实时监测设备信息(造影、肛肠镜信息等)，生命体征监护信息(心率、脉搏、血氧等)，作为远程的专家，根据VR视频直播就无法做出有效的判断，去指导。
[0005]现有技术存在的问题是：现有VR直播技术，通常只能在一个画面中全部呈现VR，无法混合其它数据、视频信息进行画中画播放。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术提供了一种多模态VR视频播放方法及系统，具备混合其它数据、视频信息进行画中画播放的优点，解决了现有VR直播技术，通常只能在一个画面中全部呈现VR，无法混合其它数据、视频信息进行画中画播放的问题。
[0007]本专利技术是这样实现的，一种多模态VR视频播放方法，包括以下步骤：
[0008]视频采集，通过多个摄像头采集所需视频，产生多个视频；其中，视频包括一个VR视频和至少一个平面视频；
[0009]视频传输，将多个视频传输到播放端；
[0010]视频融合呈现，将多个视频融合为多模态视频，并将多模态视频呈现在同一个屏幕的不同位置。
[0011]作为本专利技术优选的，视频采集的方法包括：
[0012]将多个摄像头对准同一个物体，或相关联的不同物体；
[0013]多个摄像头同时进行拍摄，形成多个视频。
[0014]作为本专利技术优选的，视频传输的方法包括：
[0015]通过流媒体服务器分发和相关网络协议将视频传输到播放端。
[0016]作为本专利技术优选的，视频融合呈现的方法包括：
[0017]设置视频播放的三维空间架构；
[0018]设置三维空间VR视频画布，渲染播放VR视频；
[0019]对多个视频中的至少部分视频进行播放时间调节，减小多模态视频中各个视频的播放时间差；
[0020]将平面视频画布按照所需的画面比例放置在三维空间VR视频画布之前，跟随视角方向固定平面视频画布的位置，使多个视频融合为多模态视频，并将多模态视频呈现在同一个屏幕的不同位置，并渲染播放。
[0021]作为本专利技术优选的，对多个影像中的至少部分影像进行播放时间调节，减小多模态影像中各个影像的播放时间差的方法包括：
[0022]基于流媒体服务器时间统一校验时钟，对VR视频打时间戳；
[0023]对平面视频的画面和平面视频的音频分别打时间戳；
[0024]根据测试拼接时间，对平面视频的画面的时间戳和平面视频的音频的时间戳进行固定的时间戳延后，使平面视频的画面和平面视频的音频延迟预设的时间，使平面视频的画面和平面视频的音频与VR视频同步播放。
[0025]作为本专利技术优选的，对多个影像中的至少部分影像进行播放时间调节，减小多模态影像中各个影像的播放时间差的方法还包括：每隔预设的时间周期，对时间戳进行校验，当时间戳的差值大于允许的时间延迟，再次进行时间戳同步设置。
[0026]作为本专利技术优选的，同步抓取两者的画面，对画面进行对比，然后对平面视频的时间戳进行调整，从而增加VR视频和平面视频的同步程度。
[0027]作为本专利技术优选的，间隔预定的时间，多次同时抓取VR视频和平面视频中的画面；
[0028]将VR视频的画面和同次抓取的平面视频的画面和进行对比；
[0029]若VR视频的画面和同次抓取的平面视频的画面不同，则将VR视频的画面和不同次抓取的平面视频的画面和进行对比，直至找到相同的画面，并且确定相差的时间；
[0030]对平面视频的时间戳进行相应时间的调整。
[0031]作为本专利技术优选的，设置视频播放的三维空间架构的方法包括：
[0032]播放端web浏览器搭建基础webVR服务；
[0033]基于webVR技术，在three.js和unity的三维空间架构设置VR播放球体，在球心放置观看视角，球体体内壁进行VR画面的视频分块渲染。
[0034]一种多模态VR视频播放系统，包括：
[0035]视频采集模块，通过多个摄像头采集所需视频，产生多个视频；其中，视频包括一个VR视频和至少一个平面视频；
[0036]视频传输模块；信号连接于视频采集模块，用于将多个视频传输到播放端；
[0037]视频融合呈现模块；信号连接于视频传输模块，用于将多个视频融合为多模态视频，并将多模态视频呈现在同一个屏幕的不同位置。
[0038]与现有技术相比，本专利技术的有益效果如下：
[0039]1、本专利技术通过将一个VR视频和至少一个平面视频融合为多模态视频，并将多模态视频呈现在同一个屏幕的不同位置。因此，可将平面视频中的信息融合到VR视频中进行同时播放，从而在VR的呈现过程中进行多维度的信息作为补充。多种视频和数据能够同时同
步在一个页面混合显示直播的技术，让VR真正落地应用，更好地服务社会民生。
[0040]2、本专利技术通过将VR视频与平面视频、音频在同一终端屏幕呈现，能够让原本需要多块屏幕、多套设备才能够呈现的内容，在一个终端上实现，大大降低了远程教学、医疗、科研的成本。通过多模画面融合直播呈现，让复杂多模态、多参数的场景，也能够方便的远程，远程端只需要普通的手机、电脑、VR头显即可实现全场景、多模态的观看，降低了实现难度。
附图说明
[0041]图1是本专利技术实施例提供的多模态VR视频播放方法的流程示意图；
[0042]图2是本专利技术实施例提供的视频采集的方法的流程示意图；
[0043]图3是本专利技术实施例提供的在web端构建三维球体模型，布置VR视频作为球体内壁画面和平面视频图层的结构示意图；
[0044]图4是本专利技术实施例提供的Three.js的VR构建流程示意图；
[0045]图5是本专利技术实施例提供的视频融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态VR视频播放方法，其特征在于，包括以下步骤：视频采集，通过多个摄像头采集所需视频，产生多个视频；其中，所述视频包括一个VR视频和至少一个平面视频；视频传输，将所述多个视频传输到播放端；视频融合呈现，将所述多个视频融合为多模态视频，并将所述多模态视频呈现在同一个屏幕的不同位置。2.如权利要求1所述的一种多模态VR视频播放方法，其特征在于：所述视频采集的方法包括：将多个摄像头对准同一个物体，或相关联的不同物体；多个摄像头同时进行拍摄，形成多个视频。3.如权利要求1所述的一种多模态VR视频播放方法，其特征在于：所述视频传输的方法包括：通过流媒体服务器分发和相关网络协议将所述视频传输到播放端。4.如权利要求1所述的一种多模态VR视频播放方法，其特征在于：所述视频融合呈现的方法包括：设置视频播放的三维空间架构；设置三维空间VR视频画布，渲染播放VR视频；对所述多个视频中的至少部分视频进行播放时间调节，减小所述多模态视频中各个视频的播放时间差；将平面视频画布按照所需的画面比例放置在三维空间VR视频画布之前，跟随视角方向固定所述平面视频画布的位置，使多个视频融合为多模态视频，并将所述多模态视频呈现在同一个屏幕的不同位置，并渲染播放。5.如权利要求4所述的一种多模态VR视频播放方法，其特征在于：对所述多个影像中的至少部分影像进行播放时间调节，减小所述多模态影像中各个影像的播放时间差的方法包括：基于流媒体服务器时间统一校验时钟，对所述VR视频打时间戳；对平面视频的画面和平面视频的音频分别打时间戳；根据测试拼接时间，对平面视频的画面的时间戳和平面视频的音频的时间戳进行固定的时间戳延后，使平面视频的画面和平面视频的音频延迟预设的时间，使平面视频的画面和平面视频的音...

【专利技术属性】
技术研发人员：林添如，李炜钦，黄鹏，王岗，孙平杰夫，
申请(专利权)人：深圳市桓健科技有限公司，
类型：发明
国别省市：