一种基于无人机双目视频的多用户VR直播系统技术方案

一种基于无人机双目视频的多用户VR直播系统，包括相机驱动模块、视频编码模块、无线图传模块、流媒体分发服务器、VR视频播放模块、VR控制服务器；相机驱动模块为视频编码模块提供数据源；视频编码模块通过RTP协议将该编码输出缓冲区的视频数据实时发送出去；无线图传模块为视频数据的传输提供点对点的局域网络环境；流媒体分发服务器，包括实现视频数据的接收单元与转发单元；VR视频播放模块，主要实现视频数据的接收、解码与渲染；VR控制服务器以心跳模式与服务器建立长连接，判定服务器与该设备网络连接异常，推送网络连接断开的报警消息，收到数据包时解除异常；具有便利性、交互性、真实性和多用户的特点。

A Multiuser VR Live Broadcasting System Based on UAV Binocular Video

A multi-user VR live broadcasting system based on UAV binocular video includes camera driver module, video encoding module, wireless image transmission module, streaming media distribution server, VR video playback module and VR control server; camera driver module provides data source for video encoding module; video encoding module transmits video data of the encoding output buffer in real time through RTP protocol. The wireless image transmission module provides a point-to-point local area network environment for the transmission of video data; the streaming media distribution server, including the receiving unit and forwarding unit for the realization of video data; the VR video playback module, which mainly realizes the reception, decoding and rendering of video data; the VR control server establishes a long connection with the server in the heartbeat mode to determine the network connection between the server and the device. Abnormal, push the alarm message of disconnection of network connection, and remove abnormal when receiving data packet; it has the characteristics of convenience, interactivity, authenticity and multi-user.

【技术实现步骤摘要】
一种基于无人机双目视频的多用户VR直播系统
本专利技术属于VR直播
领域，尤其涉及一种基于无人机双目视频的多用户VR直播系统。
技术介绍
VR(VirtualReality，即虚拟现实，简称VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。目前的VR体验普遍存在以下特点。第一，内容形式单一，基本都是佩戴头显设备体验提前录制剪辑好的视频，缺乏沉浸式的感觉。第二，点对点单一服务，不支持多用户同时体验。第三，收费方式传统，需要人工值守。
技术实现思路
为可否上述现有技术的不足，本专利技术的目的在于提供一种基于无人机双目视频的多用户VR直播系统，该系统能够为用户提供一种便利性、交互性、真实性极强的多用户虚拟现实直播体验。为实现上述目的，本专利技术采用的技术方案是：一种基于无人机双目视频的多用户VR直播系统，包括相机驱动模块、视频编码模块、无线图传模块、流媒体分发服务器、VR视频播放模块、VR控制服务器；所述的相机驱动模块包括双目相机模组，双目相机模组连接TX2核心板，在TX2端利用V4L2实现摄像头驱动，输出拼接处理后的MJPEG视频流，为视频编码模块提供数据源；所述的视频编码模块，主要实现使用CUDA高性能解码模块将MJPEG流解码为YUV420P存储到视频待编码缓冲队列，然后使用CUDA高性能编码模块将待编码缓冲区的视频数据编码成H264/H265格式输出到编码输出缓冲区，再通过RTP协议将该编码输出缓冲区的视频数据实时发送出去；所述的无线图传模块，主要包括发送模块和接收模块两部分，发送模块连接TX2端搭载在无人机上，接收模块嵌入在地面站的无人机控制平台，为视频数据的传输提供点对点的局域网络环境；所述的流媒体分发服务器，主要包括实现视频数据的接收单元与转发单元；接收单元基于RTP协议，接收TX2端发送过来的H264/H265数据并存入接收缓冲区；转发单元基于Live555的RTSP服务器实现，负责将接收缓冲区的数据转换成H264/H265格式的视频流，在网络中通过RTSP协议实时分发传播，同时支持多个RTSP客户端拉流。所述的Live555是一个基于RTSP协议的跨平台的c++开源流媒体框架，主要包含RTSP服务器和客户端；它的核心功能是将若干种格式的视频文件或者音频文件转换成视频流或音频流在网络中通过RTSP协议分发传播；所述的VR视频播放模块，以VR设备为载体，主要实现视频数据的接收、解码与渲染；接收，主要基于Live555的RTSP客户端，实现视频数据的接收并存储到接收缓冲区。解码，采用Android硬编解码技术MediaCodec，对接收缓冲区中H264/H265格式的数据进行解码处理，并通过共享堆外内存的方式与native层进行数据交换。渲染，主要利用OpenGL技术实现，在native层将应用层共享的视频数据拆分为左右眼，再使用OpenVRSDK驱动VR设备，将视频数据送入VR设备播放。所述的VR设备选择HTCViveFocus一体机。所述的VR控制服务器，基于TCP协议，各VR设备以心跳模式与服务器建立长连接，若服务器连续3个心跳周期未收到设备网络数据包，则判定服务器与VR设备网络连接异常，推送网络连接断开的报警消息，再次收到数据包时解除异常；用户通过扫描VR设备上的二维码，生成订单并支付成功；服务器收到第三方支付平台反馈的有效订单标志，向对应VR设备下发播放视频的指令；用户在工作人员的协助下正确佩戴VR设备，开启VR直播体验。本专利技术的有益效果是：与现有技术相比，由于相机驱动模块采用双目相机模组，无需软件方式拼接左右眼视频图像，所以具有硬同步的优点；由于视频编码模块采用CUDA(ComputeUnifiedDeviceArchitecture，统一计算设备架构)实现，所以具有编解码效率高的优点；由于VR视频播放模块的载体(VR设备)选择HTCViveFocus一体机，所以具有自在沉浸、佩戴舒适、携带方便、内容丰富的优点；由于转发单元是基于Live555的RTSP服务器实现，所以具有点对多点的广播优势；由于支付方式采用无人值守的自助扫码方式，所以具有节能、高效的优势。附图说明图1为本专利技术的系统结构框图。具体实施方式下面结合附图和实施例对本专利技术的结构原理和工作原理作进一步详细说明。参见图1，一种基于无人机双目视频的多用户VR直播系统，包括相机驱动模块、视频编码模块、无线图传模块、流媒体分发服务器、VR视频播放模块、VR控制服务器；所述的相机驱动模块包括有双目相机模组，双目相机模组连接TX2核心板，在TX2端利用V4L2实现摄像头驱动，输出拼接处理后的MJPEG视频流，为视频编码模块提供数据源；所述的视频编码模块，主要实现使用CUDA(ComputeUnifiedDeviceArchitecture，统一计算设备架构)高性能解码模块将MJPEG流解码为YUV420P存储到视频待编码缓冲队列，然后使用CUDA高性能编码模块将待编码缓冲区的视频数据编码成H264/H265格式输出到编码输出缓冲区，再通过RTP协议将该编码输出缓冲区的视频数据实时发送出去。所述的无线图传模块，主要包括发送模块和接收模块两部分，发送模块连接TX2端搭载在无人机上，接收模块嵌入在地面站的无人机控制平台，为视频数据的传输提供点对点的局域网络环境；所述的流媒体分发服务器，主要包括实现视频数据的接收单元与转发单元；接收单元基于RTP协议，接收TX2端发送过来的H264/H265数据并存入接收缓冲区；转发单元基于Live555的RTSP服务器实现，负责将接收缓冲区的数据转换成H264/H265格式的视频流，在网络中通过RTSP协议实时分发传播，同时支持多个RTSP客户端拉流。注：Live555是一个基于RTSP协议的跨平台的c++开源流媒体框架，主要包含RTSP服务器和客户端。它的核心功能是将若干种格式的视频文件或者音频文件转换成视频流或音频流在网络中通过RTSP协议分发传播，具有点对多点的广播优势。所述的VR视频播放模块，主要实现视频数据的接收、解码与渲染；接收，主要基于Live555的RTSP客户端，实现视频数据的接收并存储到接收缓冲区。解码，采用Android硬编解码技术MediaCodec，对接收缓冲区中H264/H265格式的数据进行解码处理，并通过共享堆外内存的方式与native层进行数据交换。渲染，主要利用OpenGL技术实现。在native层将应用层共享的视频数据拆分为左右眼，再使用OpenVRSDK驱动VR设备，将视频数据送入VR设备播放。所述的VR设备选择HTCViveFocus一体机，具有自在沉浸、佩戴舒适、携带方便、内容丰富的优点。所述的VR控制服务器，基于TCP协议，各VR设备以心跳模式与服务器建立长连接，若服务器连续3个心跳周期未收到设备网络数据包，则判定服务器与该设备网络连接异常，推送网络连接断开的报警消息，再次收到数据包时解除异常；用户通过扫描VR设备上的二维码，生成订单并支付成功；服务器收到第三方支付平台反馈的有效订单标志，向对应VR设备下发播放视频的指令；用户在工作人员的协本文档来自技高网...

【技术保护点】
1.一种基于无人机双目视频的多用户VR直播系统，其特征在于，包括相机驱动模块、视频编码模块、无线图传模块、流媒体分发服务器、VR视频播放模块、VR控制服务器；所述的相机驱动模块包括双目相机模组，双目相机模组连接TX2核心板，在TX2端利用V4L2实现摄像头驱动，输出拼接处理后的MJPEG视频流，为视频编码模块提供数据源；所述的视频编码模块，主要实现使用CUDA高性能解码模块将MJPEG流解码为YUV420P存储到视频待编码缓冲队列，然后使用CUDA高性能编码模块将待编码缓冲区的视频数据编码成H264/H265格式输出到编码输出缓冲区，再通过RTP协议将该编码输出缓冲区的视频数据实时发送出去；所述的无线图传模块，主要包括发送模块和接收模块两部分，发送模块连接TX2端搭载在无人机上，接收模块嵌入在地面站的无人机控制平台，为视频数据的传输提供点对点的局域网络环境；所述的流媒体分发服务器，主要包括实现视频数据的接收单元与转发单元；所述的VR视频播放模块，以VR设备为载体，主要实现视频数据的接收、解码与渲染；所述的VR控制服务器，基于TCP协议，各VR设备以心跳模式与服务器建立长连接，若服务器连续3个心跳周期未收到设备网络数据包，则判定服务器与VR设备网络连接异常，推送网络连接断开的报警消息，再次收到数据包时解除异常。...

【技术特征摘要】
1.一种基于无人机双目视频的多用户VR直播系统，其特征在于，包括相机驱动模块、视频编码模块、无线图传模块、流媒体分发服务器、VR视频播放模块、VR控制服务器；所述的相机驱动模块包括双目相机模组，双目相机模组连接TX2核心板，在TX2端利用V4L2实现摄像头驱动，输出拼接处理后的MJPEG视频流，为视频编码模块提供数据源；所述的视频编码模块，主要实现使用CUDA高性能解码模块将MJPEG流解码为YUV420P存储到视频待编码缓冲队列，然后使用CUDA高性能编码模块将待编码缓冲区的视频数据编码成H264/H265格式输出到编码输出缓冲区，再通过RTP协议将该编码输出缓冲区的视频数据实时发送出去；所述的无线图传模块，主要包括发送模块和接收模块两部分，发送模块连接TX2端搭载在无人机上，接收模块嵌入在地面站的无人机控制平台，为视频数据的传输提供点对点的局域网络环境；所述的流媒体分发服务器，主要包括实现视频数据的接收单元与转发单元；所述的VR视频播放模块，以VR设备为载体，主要实现视频数据的接收、解码与渲染；所述的VR控制服务器，基于TCP协议，各VR设备以心跳模式与服务器建立长连接，若服务器连续3个心跳周期未收到设备网络数据包，则判定服务器与VR设备网络连接异常，推送网络连接断开的报警消息，再次收到数据包时解除异常。2.根据权利要求1所述的一种基于无人机双目视频的多用户VR直播系统，其特征在于...

【专利技术属性】
技术研发人员：白洋，
申请(专利权)人：西安勺子智能科技有限公司，
类型：发明
国别省市：陕西,61