一种基于云端服务器的全景直播系统及全景直播方法技术方案

本发明专利技术公开了一种基于云端服务器的全景直播系统及全景直播方法，系统包括视频采集模块、云端服务器、客户端，视频采集模块用于视频数据的采集和整合后上传至云端服务器；云端服务器用于接收视频数据，创建服务器全景直播三维模型，根据客户端的请求下发对应的视频数据；客户端用于创建与服务器全景直播三维模型对应的客户端全景三维模型，向云端服务器发送直播请求，获取云端服务器发送的数据解码后投影到客户端全景三维模型进行播放。本发明专利技术通过将大量的图像处理与运算都集成在云端服务器，根据不同的客户端请求的不同内容从云端全景模型中实时裁切局部画面下发到客户端，大大减少了网络传输所需的带宽，提高了全景直播的画面清晰度和流畅性。

Panoramic broadcast system based on cloud server and panoramic broadcast method

The invention discloses a method for live broadcast system and panoramic panorama based on the cloud server, the system includes video capture module, cloud server, client, video acquisition module for video data acquisition and integration after upload to the cloud server; the cloud server for receiving video data, the server create panoramic live 3D model, according to the video data client the request issued corresponding to the client; for client and server to create three-dimensional model of panoramic panoramic live 3D model corresponding to the broadcast request to the cloud server, cloud server sends access data decoded to 3D panoramic projection client playback. The image processing and operations are integrated in the cloud server, according to different contents and different client requests from the cloud model in real-time panoramic cutting parts picture is sent to the client, greatly reduces the network bandwidth required for the transmission, improve the picture clarity and fluency of the panorama broadcast.

【技术实现步骤摘要】

本专利技术涉及全景直播
，尤其涉及一种基于云端服务器的全景直播系统及全景直播方法。
技术介绍
目前VR技术成为一个新的技术热点，各种VR技术诸如OCULUSSDK，VR设备诸如头盔等层出不穷。其中OCULUS是虚拟现实头盔厂商。全景作为VR技术中的一个重要组成，可以为头盔设备提供360度无死角的视频节目源，目前也有众多公司积极研发相关技术。全景是以空间中的一点为中心，对周围景象以某种几何关系进行映射生成平面图片或视频，只有通过全景播放器的矫正处理才能成为360°全景视频。全景视频全面的展示了中心点周围360°范围内的所有景致；可在图像当中用鼠标左键按住拖动，观看场景的各个部分，虽然照片或视频都是平面的，但是通过软件处理之后得到的360实景，却能给人以三维立体的空间感觉，使用户犹如身在其中。由于全景视频的每一帧是通过采集两个或多个摄像头的视频图片拼接而成，因此全景视频通常比普通的视频要大得多，在网络带宽有限的条件下，在线直播的数据无法实时传输。另外，由于摄像头一般集成在嵌入式设备中，因此，高清画面的矫正、拼接、图像优化处理等都对嵌入式CPU、GPU提出比较大的挑战，按照目前的ARM架构的嵌入式设备的处理能力来看，都无法完成高质量（4K分辨率以上）视频帧的图像处理。因此，现有技术还有待于改进和发展。
技术实现思路
鉴于现有技术的不足，本专利技术目的在于提供一种基于云端服务器的全景直播系统及全景直播方法，旨在解决现有技术中全景视频直播时由于数据大无法实时传输，而且无法完成高分辨率视频帧的图像处理的技术问题。本专利技术的技术方案如下：一种基于云端服务器的全景直播系统，其中，系统包括视频采集模块、云端服务器、客户端，所述视频采集模块用于视频数据的采集和整合后上传至所述云端服务器；所述云端服务器用于接收视频数据，创建服务器全景直播三维模型，根据所述客户端的请求下发对应的视频数据；所述客户端用于创建与所述服务器全景直播三维模型对应的客户端全景三维模型，向所述云端服务器发送直播请求，获取所述云端服务器发送的数据解码后投影到所述客户端全景三维模型进行播放。权利要求所述的基于云端服务器的全景直播系统，其中，所述云端服务器具体包括视频接收与处理单元，全景建模单元，视频拷贝与下发单元，所述视频接收与处理单元用于接收并解压编码视频数据，将编码视频数据依次进行畸变矫正、拼接、及图像处理后生成全景视频数据，并传递给所述全景建模单元；所述全景建模单元用于创建一个用于全景数据帧按时间顺序投射的服务器全景直播三维模型；所述视频拷贝与下发单元用于根据客户端播放窗参数在三维球体纹理上的选取范围，从服务器全景直播三维模型上拷贝视窗范围内的纹理数据形成局部视频帧数据，压缩编码下发到客户端。权利要求所述的基于云端服务器的全景直播系统，其中，所述客户端具体包括客户端建模单元，数据解码与投射单元，所述客户端建模单元用于创建与服务器全景直播三维模型的模型参数相同的客户端全景三维模型；所述数据解码与投射单元，用于接收到云端服务器发送的视频数据后解码，并将解码后的帧数据投射到的客户端全景三维模型的对应位置。所述的基于云端服务器的全景直播系统，其中，所述视频采集模块具体包括视频采集单元、控制单元、编码单元、网络单元，所述视频采集单元用于用于采集360度图像对应的视频数据，所述控制单元用于将视频采集单元获取的视频帧进行同步，并将同步后的视频帧数据进行整合后生成整合视频数据；所述编码单元用于将所述整合视频数据进行压缩编码生成编码视频数据；所述网络单元用于将所述编码视频数据上传到云端服务器。一种基于云端服务器的全景直播方法，其中，方法包括步骤：A、视频采集模块采集视频数据，并将采集到的视频数据进行同步和整合，将整合后的视频数据发送至云端服务器；B、云端服务器对接收到的视频数据进行解压并处理的生成全景视频帧，创建一个三维球体模型，将全景视频帧以一预定的时间顺序不断投射到三维球体模型生成服务器全景直播三维模型；C、客户端向云端服务器发送直播请求并设定播放视窗在服务器全景直播三维模型的选取范围；D、云端服务器根据播放视窗在服务器全景直播三维模型的选取范围，从服务器全景直播三维模型上拷贝视窗范围内的纹理数据形成局部视频帧数据，将局部视频帧数据压缩编码后下发到客户端；E、客户端创建与服务器全景直播三维模型参数相同的客户端全景三维模型，根据接收到的云端服务器发来的压缩编码后的局部视频帧数据后解码，将解码后的局部视频帧数据投射到客户端三维球体模型上进行播放。所述的基于云端服务器的全景直播方法，其中，所述步骤A具体包括步骤：A1、视频采集模块采集360度范围视野内的N路视频帧数据，其中N为大于等于2的自然数；A2、视频采集模块将N路视频帧数据进行同步处理，将同步好的N路视频帧数据拷贝到内存区的指定位置；A3、视频采集模块检测到N路视频帧数据拷贝完成后，将内存区的视频帧数据进行压缩生成编码视频数据；A4、视频采集模块将编码视频数据上传至云端服务器。所述的基于云端服务器的全景直播方法，其中，所述步骤B具体包括步骤：B1、云端服务器接收到编码视频数据后进行解码；B2、将解码后的视频数据依次进行畸变矫正、拼接及图像处理后生成全景视频帧；B3、云端服务器创建一个三维球体模型，将全景视频帧以一预定时间的时间顺序不断投射到三维球体模型生成服务器全景直播三维模型。所述的基于云端服务器的全景直播方法，其中，所述步骤C具体包括步骤：C1、客户端连接云端服务器后，云端服务器为每一个客户端生成两个连接CHANNEL，分别用于传输媒体控制参数和直播数据流；C2、客户端向云端服务器发送直播请求及分辨率，并设定播放窗在在服务器全景直播三维模型上的选取范围对应的经纬度值。所述的基于云端服务器的全景直播方法，其中，所述步骤D具体包括步骤：D1、云端服务器根据根据播放视窗的选取范围对应的经纬度值锁定服务器全景直播三维模型的点，并根据客户端请求的分辨率确定视窗的尺寸参数后，从全景模型上拷贝视窗范围内的纹理数据形成局部视频帧数据；D2、将局部视频帧数据压缩编码后下发到客户端。所述的基于云端服务器的全景直播方法，其中，所述步骤E具体包括步骤：E1、客户端创建与服务器全景直播三维模型参数相同的客户端全景三维模型；E2、当客户端接收到云端服务器发送的压缩编码后的局部视频帧数据后解码；E3、根据客户端请求的参考基点经纬度及分辨率所围成的区域确定的投射位置，将解码后的局部视频帧数据投射到客户端三维球体模型上的投射位置后进行播放。本专利技术提供了一种基于云端服务器的全景直播系统及全景直播方法，本专利技术通过将大量的图像处理与运算都集成在云端服务器，根据不同的客户端请求的不同内容从云端全景模型中实时裁切局部画面下发到客户端，大大减少了网络传输所需的带宽，提高了全景直播的画面清晰度和流畅性。附图说明图1为本专利技术的一种基于云端服务器的全景直播系统的较佳实施例的功能原理框图。图2为本专利技术的一种基于云端服务器的全景直播系统的具体应用实施例的视频采集模块采集的图像示意图。图3为本专利技术的一种基于云端服务器的全景直播系统的较佳实施例的流程图。图4为本专利技术的一种基于云端服务器的全景直播系统的具体应用实施例的视频采集模块采集的采集流程示意图。图5为本发本文档来自技高网...

【技术保护点】
一种基于云端服务器的全景直播系统，其特征在于，所述系统包括视频采集模块、云端服务器、客户端，所述视频采集模块用于视频数据的采集和整合后上传至所述云端服务器；所述云端服务器用于接收视频数据，创建服务器全景直播三维模型，根据所述客户端的请求下发对应的视频数据；所述客户端用于创建与所述服务器全景直播三维模型对应的客户端全景三维模型，向所述云端服务器发送直播请求，获取所述云端服务器发送的数据解码后投影到所述客户端全景三维模型进行播放。

【技术特征摘要】
1.一种基于云端服务器的全景直播系统，其特征在于，所述系统包括视频采集模块、云端服务器、客户端，所述视频采集模块用于视频数据的采集和整合后上传至所述云端服务器；所述云端服务器用于接收视频数据，创建服务器全景直播三维模型，根据所述客户端的请求下发对应的视频数据；所述客户端用于创建与所述服务器全景直播三维模型对应的客户端全景三维模型，向所述云端服务器发送直播请求，获取所述云端服务器发送的数据解码后投影到所述客户端全景三维模型进行播放。2.根据权利要求1权利要求所述的基于云端服务器的全景直播系统，其特征在于，所述云端服务器具体包括视频接收与处理单元，全景建模单元，视频拷贝与下发单元，所述视频接收与处理单元用于接收并解压编码视频数据，将编码视频数据依次进行畸变矫正、拼接、及图像处理后生成全景视频数据，并传递给所述全景建模单元；所述全景建模单元用于创建一个用于全景数据帧按时间顺序投射的服务器全景直播三维模型；所述视频拷贝与下发单元用于根据客户端播放窗参数在三维球体纹理上的选取范围，从服务器全景直播三维模型上拷贝视窗范围内的纹理数据形成局部视频帧数据，压缩编码下发到客户端。3.根据权利要求2权利要求所述的基于云端服务器的全景直播系统，其特征在于，所述客户端具体包括客户端建模单元，数据解码与投射单元，所述客户端建模单元用于创建与服务器全景直播三维模型的模型参数相同的客户端全景三维模型；所述数据解码与投射单元，用于接收到云端服务器发送的视频数据后解码，并将解码后的帧数据投射到的客户端全景三维模型的对应位置。4.根据权利要求1所述的基于云端服务器的全景直播系统，其特征在于，所述视频采集模块具体包括视频采集单元、控制单元、编码单元、网络单元，所述视频采集单元用于用于采集360度图像对应的视频数据，所述控制单元用于将视频采集单元获取的视频帧进行同步，并将同步后的视频帧数据进行整合后生成整合视频数据；所述编码单元用于将所述整合视频数据进行压缩编码生成编码视频数据；所述网络单元用于将所述编码视频数据上传到云端服务器。5.一种基于云端服务器的全景直播方法，其特征在于，方法包括步骤：A、视频采集模块采集视频数据，并将采集到的视频数据进行同步和整合，将整合后的视频数据发送至云端服务器；B、云端服务器对接收到的视频数据进行解压并处理的生成全景视频帧，创建一个三维球体模型，将全景视频帧以一预定的时间顺序不断投射到三维球体模型生成服务器全景直播三维模型；C、客户端向云端服务器发送直播请求并设定播放视窗在服务器全景直播三维模型的选取范围；...

【专利技术属性】
技术研发人员：王丛华，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：广东;44