一种实时全景直播系统及方法技术方案

一种实时全景直播系统及方法，其中系统包括：全景相机镜头模组，用于采集视频数据；FPGA芯片，与全景相机镜头模组相连，以接收全景相机镜头模组所采集的视频数据，并对视频数据进行图像拼接处理；麦克风，用于采集音频数据；视频处理芯片，分别与FPGA芯片和麦克风相连，用于接收音频数据和图像拼接处理的视频数据并分别进行压缩编码，以封装成包含视频和音频的标准格式的多媒体流文件；以及通讯模块；与视频处理芯片相连，用于将多媒体流文件推送出去实现直播。本发明专利技术实时全景直播系统及方法可根据直播平台的协议自适应地设置直播图像分辨率、码率等参数，无需全景直播平台服务器进行二次转码，大大降低了直播过程中的延时。

【技术实现步骤摘要】
一种实时全景直播系统及方法
本专利技术属于全景摄像和直播
，具体涉及一种实时全景直播系统及方法。
技术介绍
随着网络技术的不断发展，视频直播越来越受大众的欢迎，涉及的领域包括游戏、体育、社交、财经投资、娱乐现场、股票金融、校园、旅游、音乐现场、婚庆、在线教育、创业路演、招聘、亲子、健身、电子商务、医疗以及各类直播服务提供等数十个领域。由互联网以及流媒体技术进行直播，从而能够实时、全面地传播视频。目前，VR直播大都采用全景摄像机，全景摄像机的视野范围比普通摄像机大，通常认为水平视野达到360度，垂直视野达到及超过180度，可以满足一个场所的全景录像。全景相机需要在机内完成视频采集，视频处理，视频编码和推流等处理，在进行全景直播时，需要一台高性能的本地服务器，并推送到直播平台服务器进行直播；有的甚至需要在平台服务器端进行二次转码，才能在客户端实现3D或VR直播。另外，观看全景直播时，由于全景图像是映射在一个球面上实现3D或VR显示，显示面积比传统的4:3或16:9的平面大得多，高清分辨率已无法提供足够的像素密度保证画面的清晰度。
技术实现思路
现有技术中，全景直播系统接入设备多、系统架本文档来自技高网...

【技术保护点】
一种实时全景直播系统，其特征在于，该系统包括：全景相机镜头模组，用于采集视频数据；FPGA芯片，与所述全景相机镜头模组相连，以接收全景相机镜头模组所采集的视频数据，并对所述视频数据进行图像拼接处理；麦克风，用于采集音频数据；视频处理芯片，分别与所述FPGA芯片和麦克风相连，用于接收音频数据和图像拼接处理的视频数据并分别进行压缩编码，以封装成包含视频和音频的标准格式的多媒体流文件；以及通讯模块；与所述视频处理芯片相连，用于将多媒体流文件推送出去实现直播。

【技术特征摘要】
1.一种实时全景直播系统，其特征在于，该系统包括：全景相机镜头模组，用于采集视频数据；FPGA芯片，与所述全景相机镜头模组相连，以接收全景相机镜头模组所采集的视频数据，并对所述视频数据进行图像拼接处理；麦克风，用于采集音频数据；视频处理芯片，分别与所述FPGA芯片和麦克风相连，用于接收音频数据和图像拼接处理的视频数据并分别进行压缩编码，以封装成包含视频和音频的标准格式的多媒体流文件；以及通讯模块；与所述视频处理芯片相连，用于将多媒体流文件推送出去实现直播。2.根据权利要求1所述的系统，其特征在于，所述全景相机镜头模组包括4个鱼眼摄像头，以及与每个鱼眼摄像头相对应的图像传感器；四个鱼眼摄像头间隔90度固定在同一水平面，且各鱼眼摄像头的相对位置固定不变。3.根据权利要求2所述的系统，其特征在于，所述系统还包括陀螺仪，所述陀螺仪用于采集全景相机镜头模组围绕预设轴向的旋转角速率，并发送给所述视频处理芯片以计算全景摄像机当前的空间姿态，并计算出全景直播图像。4.根据权利要求3所述的系统，其特征在于，所述系统还包括HDMI处理模块，所述HDMI处理模块用于实时地输出4K高清图像，所述HDMI处理模块还附带有音频输出。5.根据权利要求4所述的系统，其特征在于，所述通讯模块的网络连接为无线局域网和/或有线广域网；其中，当所述网络连接为无线局域网时，所述通讯模块与安装有相机APP的用户终端通过无线局域网进行通讯连接，以使得终端用户通过相机APP对全景摄像机进行调节设置；当所述网络连接为有线广域网时，所述通讯模块通过网线连接路由器并接入广域网，并与广域网中的直播平台服务器建立通讯连接，以使得终端用户通过浏览器插件或直播APP在客户端采用3D/VR方式进行全景直播观看。6.一种实时全景直播方法，其特征在于，包括如下步骤：步骤S1，直播初始化设置；步骤S2，通过FPGA芯片实时读取每路鱼眼摄像头所采集的视频数据，并对视频数据进行图像拼接；步骤S3，实时对视频、音频进行编码，并将编码后的音视频进行封装以转换成多媒体流；步骤S4，实时推送用于全景直播的多媒体流至CDN云端，以使用户终端通过连接CDN云端中的流媒体服务器以实现全景播放。7.根据权利要求6所述的方法，其特征在于，所述步骤S1中直播初始化设置具体包括：通过网线连接全景摄像机与有线路由器，并通过路由器接入到广域网中，以建立直播所需的网络协议连接；通过无线局域网连接相机APP与全景摄像机，根据流媒体服务器协议，在相机APP中设置全景相机内部的直播参数，所述直播参数包括直播全景视频的分辨率、码率，以及在相机APP中输入CDN云端提供的唯一的直播ID及流媒体服务器地址，建立全景摄像机与所述流媒体服务器的协议连接。8.根据权利要求7所述的方法，其特征在于，所述步骤S2中通过FPGA芯片对视频数据进行图像拼接包括：步骤S21，采用坐标映射表进行图像畸变矫正；具体包括：步骤S211，对给定的实时全景直播系统，利用棋盘格标定方法计算出各个鱼眼摄像头的内参数和畸变系数，以及相邻鱼眼摄像头之间的空间关系参数；步骤S212：利用鱼眼摄像头的内参数和畸变系数以及...

【专利技术属性】
技术研发人员：许会，张智福，余思洋，陈捷，郭玉其，
申请(专利权)人：长沙全度影像科技有限公司，
类型：发明
国别省市：湖南,43