一种基于无人机全景视频的虚拟现实直播系统技术方案

本发明专利技术适用于无人机领域，提供一种基于无人机全景视频的虚拟现实直播系统，包括无人机、移动控制终端、VR直播云服务器、沉浸式可视设备、 VR处理器、全景视频相机；优选方案中，还包括用于佩戴在用户各部位的各种可穿戴智能传感器。本发明专利技术有三种体验方式实现无人机全景视频的VR直播，特别的，通过可穿戴智能传感器感受用户身体的运动趋势，将其转换成相应的无人机飞行控制指令，通过VR直播云服务器转发到移动控制终端，移动控制终端将控制指令发送到无人机，无人机接收到控制指令后同步实现其飞行动作，并将其全景视频相机抓取的全景视频中，嵌入虚拟的操作用户,然后反向实时传递到用户的沉浸式可视设备，达到VR互动直播的效果。

【技术实现步骤摘要】


本专利技术属于无人机领域，尤其涉及一种基于无人机全景视频的虚拟现实直播系统。

技术介绍

VR（VirtualReality，即虚拟现实，简称VR）技术是采用以计算机技术为核心的现代高科技手段生成逼真的视觉、听觉、触觉、嗅觉、味觉等一体化的虚拟环境，用户从自己的视点出发，借助特殊的输入输出设备，采用自然的方式与虚拟世界的物体进行交互，相互影响。传统的无人机是通过遥控器及手机软件对无人机飞行进行一定操作，遥控操作与传统的遥控玩具飞机无太大差异，可玩性不强，无新颖性。

技术实现思路

鉴于上述问题，本专利技术的目的在于提供一种基于无人机全景视频的虚拟现实直播系统，该系统能够为用户提供一种便利性、交互性、真实性极强的虚拟现实飞行体验，如同普通的电视直播一样观看无人机全景视频并进行VR交互体验。
本专利技术采用如下技术方案：
所述基于无人机全景视频的虚拟现实直播系统包括无人机、移动控制终端、VR直播云服务器、沉浸式可视设备，所述无人机内设置有VR处理器，并且无人机搭载有全景视频相机，所述无人机与移动控制端采用无线数据连接，所述VR直播云服务器与移动控制终端、可视设备采用互联网或者虚拟专用网方式连接，其中，
所述全景视频相机包含双目或多目摄像头，用于采集现场360°全景视频，保证视场的全方位覆盖，能够提供立体三维建模所需要的全部信息；
所述VR处理器作为VR图像处理中心，接收所述360°全景视频以及全景视频相机参数，确定场景内各目标的相关信息，最终生成三维全景视频，所述相关信息包括场景内各目标的空间位置、距离、大小、方位、速度；
所述移动控制终端用于将从无人机的VR处理器回传的三维全景视频实时上传到VR直播云服务器；
所述VR直播云服务器用于高速缓存一套或多套无人机对应的移动控制终端传输过来的三维全景视频，根据直播用户需求进行实时转播；
所述沉浸式可视设备具有内部图形处理器及控制器，用于实时接收VR直播云服务器转播的三维全景视频，并快速处理视频图像还原真实的3D场景，实时展示。
进一步的，所述VR直播云服务器还用于根据直播用户需求配置离线缓存后进行用户体验转播；所述沉浸式可视设备还用于从VR直播云服务器中下载用户选择的三维全景视频离线缓存实现全景体验或模拟VR飞行。
进一步的，所述系统还包括用于佩戴在用户各部位的各种可穿戴智能传感器，所述可穿戴智能传感器用于捕捉人体动作运动趋势，并实时转换为控制指令，通过VR直播云服务器、移动控制终端发送至前端的无人机，无人机更新控制信息和飞行状态；所述VR处理器还用于将根据无人机最新状态虚拟出现实模型，模拟出操控者和无人机人机一体的个体模型，并将所述个体模型插入到所述三维全景视频中，得到完整的VR场景。
本专利技术的有益效果是：本专利技术中，直播用户可以选择实时在线飞行的任何一架支持VR直播的无人机进行点播，选择全景体验，或VR飞行，或选择已离线缓存到VR直播云服务器的三维全景视频做全景体验或模拟VR飞行，这样普通用户在互联网或虚拟专网远程终端，也能体验无人机全景视频或交互的虚拟飞行，让用户在获得授权的前提下能直接通过身体的各种动作控制无人机的飞行，并同时获取到飞机的视角，称为真正的空中飞人。
附图说明
图1是基于无人机全景视频的VR直播系统的结构图；
图2是实现基于无人机全景视频的VR直播方法的一种流程图；
图3是实现基于无人机全景视频的VR直播方法的另一种流程图；
图4是实现基于无人机全景视频的VR直播方法的第三种流程图。
具体实施方式
为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。
实施例一如图1所示，本实施例提供的基于无人机全景视频的虚拟现实直播系统包括无人机10、移动控制终端50、VR直播云服务器70、沉浸式可视设备80，所述无人机10内设置有VR处理器20，并且无人机搭载有全景视频相机30，所述无人机10与移动控制端50采用无线数据连接，所述VR直播云服务器70与移动控制终端50、可视设备80采用互联网或者虚拟专用网VPN方式连接。
本实施例中，所述无人机10由智能飞控、电调、电机、螺旋桨、机架、动力锂电池等组成，用于携带全景视频相机，或载荷云台等任何可挂载物件飞行。
所述全景视频相机30包含双目或多目摄像头，用于采集现场360°全景视频，保证视场的全方位覆盖，能够提供立体三维建模所需要的全部信息。
所述VR处理器20作为VR图像处理中心，接收全景视频相机输出的360°全景视频，根据全景视频相机参数，确定场景内各目标的空间位置、距离、大小、方位、速度等相关信息，最终生成三维全景视频。
所述移动控制终端50用于将从无人机的VR处理器回传的三维全景视频实时上传到VR直播云服务器；这里所述移动控制终端包括但不限于传统遥控器、手机、平板、遥控手环等针对无人机飞行平台的移动控制装置，可以与VR直播云服务器进行互联网或VPN连接，能够将从无人机回传的三维全景视频实时上传到VR直播云服务器。
所述VR直播云服务器70基于云存储、云计算和云负载均衡技术，用于高速缓存一套或多套无人机对应的移动控制终端传输过来的三维全景视频，即接收一路或多路三维全景视频，根据直播用户需求进行实时转播。
所述沉浸式可视设备80包括但不限于眼镜、头盔、显示屏等可VR显示的设备，具有内部图形处理器及控制器，用于实时接收VR直播云服务器转播的三维全景视频，并快速处理视频图像还原真实的3D场景，实时展示，形成与玩家的实时互动。
本实施例中，所述无人机与移动控制端采用的无线数据连接，包括所有基于无线射频传输图像或控制状态数字信息的传输方式，用于无线传递三维全景视频和状态控制信息，包括各种频段的射频传输、WIFI或编码正交频分复用COFDM等等。所述VR直播云服务器与移动控制终端、可视设备采用的互联网或者虚拟专用网连接方式，具备高速度高带宽，能满足三维全景视频的传输需要，能够传播无人机回传的三维全景视频和无人机的状态控制信息。所述移动控制终端是针对无人机的移动控制装置，用于将从无人机回传的三维全景视频实时上传到VR直播云服务器，所述移动控制终端包括遥控器、手机、平板、遥控手环等等。
所述VR处理器20作为VR图像处理中心，具体实现时，包括：
实时场景抓取模块，用于当用户选定无人机直播频道之后，接收前端无人机的全景视频相机采集的实时场景信息；
全景拼接成像模块，用于将接收到的实时场景信息，进行实时360度全景图像拼接，单帧的360度全景成像信息开始生成，得到360°全景视频；
立体三维建模模块，用于通过拼接的360°全景视频信息和全景视频相机参数，并结合无人机的遥测定位信息，开始执行立体三维建模，该模型具备场景内所有目标的空间位置、距离、大小、方位、速度等相关信息。
下面通过具体步骤来描述本系统的具体实现方法。如图2所示，包括下述步骤：
S201、用户选择无人机VR直播频道。本步骤中，用户选择跟随系统飞行VR体验，即只进行立体三维环游，但飞行状态跟随当前的前端无本文档来自技高网...

【技术保护点】
一种基于无人机全景视频的虚拟现实直播系统，其特征在于，所述系统包括无人机、移动控制终端、VR直播云服务器、沉浸式可视设备，所述无人机内设置有VR处理器，并且无人机搭载有全景视频相机，所述无人机与移动控制端采用无线数据连接，所述VR直播云服务器与移动控制终端、可视设备采用互联网或者虚拟专用网方式连接，其中，所述全景视频相机包含双目或多目摄像头，用于采集现场360°全景视频，保证视场的全方位覆盖，能够提供立体三维建模所需要的全部信息；所述VR处理器作为VR图像处理中心，接收所述360°全景视频以及全景视频相机参数，确定场景内各目标的相关信息，最终生成三维全景视频，所述相关信息包括场景内各目标的空间位置、距离、大小、方位、速度；所述移动控制终端用于将从无人机的VR处理器回传的三维全景视频实时上传到VR直播云服务器；所述VR直播云服务器用于高速缓存一套或多套无人机对应的移动控制终端传输过来的三维全景视频，根据直播用户需求进行实时转播；所述沉浸式可视设备具有内部图形处理器及控制器，用于实时接收VR直播云服务器转播的三维全景视频，并快速处理视频图像还原真实的3D场景，实时展示。

【技术特征摘要】
1.一种基于无人机全景视频的虚拟现实直播系统，其特征在于，所述系统包括无人机、移动控制终端、VR直播云服务器、沉浸式可视设备，所述无人机内设置有VR处理器，并且无人机搭载有全景视频相机，所述无人机与移动控制端采用无线数据连接，所述VR直播云服务器与移动控制终端、可视设备采用互联网或者虚拟专用网方式连接，其中，
所述全景视频相机包含双目或多目摄像头，用于采集现场360°全景视频，保证视场的全方位覆盖，能够提供立体三维建模所需要的全部信息；
所述VR处理器作为VR图像处理中心，接收所述360°全景视频以及全景视频相机参数，确定场景内各目标的相关信息，最终生成三维全景视频，所述相关信息包括场景内各目标的空间位置、距离、大小、方位、速度；
所述移动控制终端用于将从无人机的VR处理器回传的三维全景视频实时上传到VR直播云服务器；
所述VR直播云服务器用于高速缓存一套或多套无人机对应的移动控制终端传输过来的三维全景视频，根据直播用户需求进行实时转播；
所述沉浸式可视设备具有内部图形处理器及控制器，用于实时接收VR直播云服务器转播的三维全景视频，并快速处理视频图像还原真实的3D场景，实时展示。
2.如权利要求1所述基于无人机全景视频的虚拟现实直播系统，其特征在于，所述VR直播云服务器还用于根据直播用户需求配置离线缓存后进行用户体验转播；所述沉浸式可视设备还用于从VR直播云服务器中下载用户选择的三维全景视频离线缓存实现全景体验或模拟VR飞行。
3.如权利要求2所述基于无人机全景视频的虚拟现实直播系统，其特征在于，所述系统还包括用于佩戴在用户各部位的各种可穿戴智能传感器，所述可穿戴智能传感器用于捕捉人体动作运动趋势，并实时转换为控制指令，通过VR直播云服务器、移动控制终端发送至前端的无人机，无人机更新控制信息和飞行状态；所述VR处理器还用于将根据无人机最新状态虚拟出现实模型，模拟出操控...

【专利技术属性】
技术研发人员：黄立，刘华斌，
申请(专利权)人：普宙飞行器科技深圳有限公司，
类型：发明
国别省市：广东;44