一种3D全景音视频直播系统及音视频采集方法技术方案

本发明专利技术公开了一种3D全景音视频直播系统及音视频采集方法。该3D全景音视频直播系统包括音视频采集设备、服务器以及多个用户终端。音视频采集设备用于硬件同步采集多路原始视频数据以及多路原始音频数据，对多路原始视频数据以及多路原始音频数据进行处理，获得3D全景音视频数据，并将3D全景音视频数据推流到服务器；服务器接收音视频采集设备推流的3D全景音视频数据，将3D全景音视频数据进行转码处理，并将转码后的3D全景音视频数据分发给用户终端；用户终端从服务器实时获取转码后的3D全景音视频数据，并实时直播转码后的3D全景音视频数据。本发明专利技术实施例可以提高画质的清晰度、减小图像畸变，实现多路视频数据与多路音频数据的硬件同步采集。

【技术实现步骤摘要】
一种3D全景音视频直播系统及音视频采集方法
本专利技术涉及音视频处理
，尤其涉及一种3D全景音视频直播系统及音视频采集方法。
技术介绍
随着计算机技术、微电子技术、光学技术以及多媒体技术的飞速发展，人们信息交流互通的需求不断加大，信息沟通方式革新的需求更是与日俱增，传统的单个摄像头进行音视频信息采集和网络传输到远程的方式进行可视对讲等等的方式已经不满足人们日益增长无死角的图像视频信息采集的需求，一种突破传统，带给用户720度无死角沉浸式体验的全景音视频采集设备应运而生。目前，全景音视频采集设备主要分为两大类，第一类是采用双目摄像头方案，即两个摄像头模组背靠背放置或者水平方向错位放置，第二类则是多个摄像头方案，即多目摄像头模组自由排布使得能够无死角采集。然而实践中发现，第一类存在着像素密度不够、图像畸变较大和画质不清晰等问题，第二类无法进行多个摄像头的视频数据帧同步，这两类全景音视频采集设备采集的视频数据都给全景视频的拼接带来影响。可见，如何实现一种图像畸变比较小、画质清晰、多个摄像头采集且同步性好的全景音视频采集系统是一个亟待解决的技术难题。
技术实现思路
本专利技术实施例提供了一本文档来自技高网...

【技术保护点】
一种3D全景音视频直播系统，其特征在于，包括：音视频采集设备、服务器以及多个用户终端，其中：所述音视频采集设备，用于硬件同步采集多路原始视频数据以及多路原始音频数据，对所述多路原始视频数据以及所述多路原始音频数据进行处理，获得3D全景音视频数据，并将所述3D全景音视频数据推流到所述服务器；所述服务器，用于接收所述音视频采集设备推流的所述3D全景音视频数据，将所述3D全景音视频数据进行转码处理，以及将转码后的3D全景音视频数据分发给所述用户终端；所述用户终端，用于从所述服务器实时获取所述转码后的3D全景音视频数据，并实时直播所述转码后的3D全景音视频数据。

【技术特征摘要】
1.一种3D全景音视频直播系统，其特征在于，包括：音视频采集设备、服务器以及多个用户终端，其中：所述音视频采集设备，用于硬件同步采集多路原始视频数据以及多路原始音频数据，对所述多路原始视频数据以及所述多路原始音频数据进行处理，获得3D全景音视频数据，并将所述3D全景音视频数据推流到所述服务器；所述服务器，用于接收所述音视频采集设备推流的所述3D全景音视频数据，将所述3D全景音视频数据进行转码处理，以及将转码后的3D全景音视频数据分发给所述用户终端；所述用户终端，用于从所述服务器实时获取所述转码后的3D全景音视频数据，并实时直播所述转码后的3D全景音视频数据。2.根据权利要求1所述的3D全景音视频直播系统，其特征在于，所述音视频采集设备包括采集模块和处理模块，所述采集模块通过M路第一移动产业处理器接口MIPI与所述处理模块连接，所述采集模块包括N路摄像头模组、P路拾音器以及现场可编程门阵列FPGA芯片，所述N路摄像头模组通过N路第二MIPI与所述FPGA芯片连接，所述P路拾音器通过P路第一音频数据接口与所述FPGA芯片连接，其中，M、N、P均为正整数，且M小于N；其中：所述FPGA芯片，用于通过所述N路第二MIPI硬件同步采集来自所述N路摄像头模组的原始视频数据，并通过所述M路第一MIPI将所述原始视频数据并行发送给所述处理模块；所述FPGA芯片，还用于通过所述P路第一音频数据接口硬件同步采集来自所述P路拾音器的原始音频数据，并通过第二音频数据接口将所述原始音频数据发送给所述处理模块；所述处理模块，用于对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。3.根据权利要求2所述的3D全景音视频直播系统，其特征在于，所述处理模块包括：主控模块、M路图像信号处理ISP模块、图形处理器GPU模块、编码模块以及外部存储模块，其中，所述主控模块，用于通过所述M路第一MIPI并行接收所述原始视频数据，并通过调度所述M路ISP模块以及所述GPU模块对所述原始视频数据进行处理，获得3D全景视频数据；所述主控模块，还用于通过所述第二音频数据接口接收所述原始音频数据，并对所述原始音频数据进行处理，获得全景音频数据；所述主控模块，还用于对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理；所述主控模块，还用于通过调度所述编码模块对匹配后的3D全景视频数据以及全景音频数据分别进行编码处理，以及对编码后的3D全景视频数据以及全景音频数据进行音视频同步处理，获得3D全景音视频数据；所述主控模块，还用于通过调度所述外部存储模块存储所述3D全景音视频数据。4.根据权利要求3所述的3D全景音视频直播系统，其特征在于，所述主控模块还用于通过以太网将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到所述服务器。5.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，针对每路所述摄像头模组，所述摄像头模组包括图像传感器以及所述图像传感器对应的镜头；其中，N个所述镜头按照一个圆形进行镜头朝外均匀分布排列，或者，N个所述镜头按照镜头朝外均匀分布在一个球体上。6.根据权利要求5所述的3D全景音视频直播系统，其特征在于，若N个所述镜头按照一个圆形进行镜头朝外均匀分布排列，则所述镜头为角度大于或等于180度的鱼眼镜头，每个所述图像传感器竖立放置；若N个所述镜头按照镜头朝外均匀分布在一个球体上，则所述镜头为广角镜头，所述广角镜头的角度与所述图像传感器的数量相对应。7.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，所述FPGA芯片包括：N个视频数据输入缓存单元以及M个视频数据输出...

【专利技术属性】
技术研发人员：王超，沈靖程，刘亚辉，
申请(专利权)人：深圳市圆周率软件科技有限责任公司，
类型：发明
国别省市：广东,44