虚拟现实全景多媒体处理系统、方法及客户端设备技术方案

本发明专利技术提供一种虚拟现实全景多媒体处理系统、方法及客户端设备，其中虚拟现实全景多媒体处理系统包括多个多媒体采集装置、媒体处理服务器和媒体发布服务器。本发明专利技术的虚拟现实全景多媒体处理系统、方法及客户端设备可以为用户实时提供全景视频和音频。而且处理效率高，布设和运营成本低，有利于在产业上大规模推广应用。

【技术实现步骤摘要】

本专利技术涉及通信
，尤其涉及一种虚拟现实全景多媒体处理系统、方法及客户端设备。
技术介绍
目前基于娱乐、训练等方面的考虑，为了给用户身临其境的体验，虚拟现实(Virtual Reality，简称VR)技术得到了快速发展。用户通过佩戴带显示装置的头盔或眼镜，阻断了人眼与现实世界的视觉连接，通过设备实时渲染的画面，可以为用户营造出一个全新体验的全景世界。虚拟现实技术可广泛的应用于城市规划、室内设计、工业仿真、古迹复原、桥梁道路设计、房地产销售、旅游教学、教育培训等众多领域。但是受技术条件的限制，目前大部分虚拟现实直播或录播系统，仅仅实现了360度的全景视频。由于目前的技术限制，其声音需要单独采集，后期再合成到处理好的360度全景视频中。这样就虚拟现实直播无法实现实时的360度全景音频直播，其只能将非全景音频合成进来，这样就导致用户体验的降低。此外现有技术的全景摄像头和媒体处理服务器一般采用视频线连接。一台全景摄像头装置必须配置一套媒体处理服务器进行处理，这样就导致系统设备成本的增加。因此，如何提供一种高效且经济的虚拟现实多媒体系统就成为亟待解决的问题。
技术实现思路
为解决现有技术无法提供高效且经济的虚拟现实多媒体系统的问题，本专利技术提供了一种虚拟现实全景多媒体处理系统，包括:包括:多个多媒体采集装置、媒体处理服务器和媒体发布服务器， 所述多媒体采集装置相应与所述媒体处理服务器连接，将采集到的携带时间戳的多路视频流发送给所述媒体处理服务器，以及将采集到的携带时间戳的多路音频流发送给用户客户端，以供所述用户客户端生成相应的全景输出音频； 所述媒体处理服务器与所述媒体发布服务器连接，将接收到的所述多路视频流进行拼合处理以生成携带所述时间戳的全景视频流，并将处理后的所述全景视频流发送给所述媒体发布服务器； 所述媒体发布服务器向用户客户端提供所述全景视频流，以供所述用户客户端生成相应的全景输出视频。所述多媒体采集装置通过网络接口与所述媒体处理服务器和所述用户客户端连接。所述网络接口包括移动通信网络接口、WIFI网络接口和宽带网络接口中的至少一个。所述多媒体采集装置通过LTE移动通信网络接口接入LTE移动通信网络。所述多媒体采集装置集成在SmalIcell基站中。所述多媒体采集装置包括音频处理设备和多个麦克风，所述麦克风将采集到的音频发送给所述音频处理设备，所述音频处理设备将接收到的音频合成为所述多路音频流。所述媒体处理服务器和所述媒体发布服务器设置于移动边缘计算服务器上。本专利技术还提供了一种用于处理虚拟现实全景多媒体处理系统的所述全景视频流和所述多路音频流的客户端设备，包括:全景视频流和多路音频流接收装置、方位角采集装置、多媒体处理装置、视频输出装置和音频输出装置， 所述全景视频流和多路音频流接收装置与所述多媒体处理装置、媒体发布服务器和所述多媒体采集装置连接，将接收到的所述全景视频流和所述多路音频流发送给所述多媒体处理装置处理； 所述方位角采集装置与所述多媒体处理装置连接，将采集到的用户头部方位角发送给所述多媒体处理装置； 所述多媒体处理装置根据接收到的所述全景视频流、所述多路音频流和所述用户头部方位角对所述全景视频流和所述多路音频流进行处理，以生成相应的全景输出视频和全景输出音频，并将所述全景输出视频和全景输出音频相应发送给所述视频输出装置和音频输出装置进行输出。所述多媒体处理装置根据接收到的所述全景视频流和所述多路音频流中包含的所述时间戳对所述全景视频流和所述多路音频流进行时间同步。所述多媒体处理装置根据接收到的所述用户头部方位角对所述全景视频流和所述多路音频流进行方位同步。本专利技术还提供了一种虚拟现实全景多媒体处理方法，包括: 米集携带时间戮的多路视频流和多路首频流； 将采集到的所述多路音频流发送给用户客户端，以供所述用户客户端生成相应的全景输出音频； 将采集到的所述多路视频流进行拼合处理以生成携带所述时间戳的全景视频流，并将处理后的所述全景视频流发送给用户客户端，以供所述用户客户端生成相应的全景输出视频。本专利技术的虚拟现实全景多媒体处理系统、方法及客户端设备可以为用户实时提供全景视频和音频。而且处理效率高，布设和运营成本低，有利于在产业上大规模推广应用。【附图说明】为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的虚拟现实全景多媒体处理系统的一个实施例的结构示意图。图2为本专利技术的用于处理虚拟现实全景多媒体处理系统的全景视频流和多路音频流的客户端设备的一个实施例的结构示意图。图3为本专利技术的虚拟现实全景多媒体处理方法的一个实施例的流程图。【具体实施方式】为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术的虚拟现实全景多媒体处理系统的一个实施例的结构示意图，如图1所示，本实施例的虚拟现实全景多媒体处理系统，可以包括:多个多媒体采集装置101、媒体处理服务器102和媒体发布服务器103。多媒体采集装置101相应与媒体处理服务器102连接，将采集到的携带时间戳的多路视频流发送给媒体处理服务器102，以及将采集到的携带时间戳的多路音频流发送给用户客户端104，以供用户客户端104生成相应的全景输出音频。具体的，每个多媒体采集装置101可以包含有多个摄像头和相应的多个麦克风，可以采集多个方向的多路视频流，以及多个方向的多路音频流。多媒体采集装置101相应与媒体处理服务器102连接，将采集到的携带时间戳的多路视频流发送给媒体处理服务器102，以供媒体处理服务器102进行处理。多媒体采集装置101还可以将采集到的携带时间戳的多路音频流发送给用户客户端104，以供用户客户端104生成相应的全景输出音频。需要说明的是，携带时间戳的多路音频流也可以与多路视频流通过相同的网络链路发送至用户客户端104，媒体处理服务器102和媒体发布服务器103对于多路音频流而言只相当于进行转发的网络节点。优选的，多媒体采集装置101通过网络接口与媒体处理服务器102和用户客户端104连接。具体的，多媒体采集装置101可以具备网络接口，这样多媒体采集装置101就可以接入网络，通过网络与媒体处理服务器102和用户客户端104连接。这个网络接口也可以是无线网络接口，这样就不需要专门布设线路，可以有效的提高设置多媒体采集装置101的灵活性和便捷性，同时还可以有效的降低安装设置成本，并且通过网络传输采集到的携带时间戳的多路视频流和携带时间戳的多路音频流，还可以有效的保证数据传输速度和质量。进一步优选的，网络接口可以包括移动通信网络接口、WIFI网络接口和宽带网络接口中的至少一个。具体的，多媒体采集装置101可以具备移动通信网络接口、WIFI网络接本文档来自技高网...

【技术保护点】
一种虚拟现实全景多媒体处理系统，其特征在于，包括：多个多媒体采集装置、媒体处理服务器和媒体发布服务器，所述多媒体采集装置相应与所述媒体处理服务器连接，将采集到的携带时间戳的多路视频流发送给所述媒体处理服务器，以及将采集到的携带时间戳的多路音频流发送给用户客户端，以供所述用户客户端生成相应的全景输出音频；所述媒体处理服务器与所述媒体发布服务器连接，将接收到的所述多路视频流进行拼合处理以生成携带所述时间戳的全景视频流，并将处理后的所述全景视频流发送给所述媒体发布服务器；所述媒体发布服务器向用户客户端提供所述全景视频流，以供所述用户客户端生成相应的全景输出视频。

【技术特征摘要】

【专利技术属性】
技术研发人员：吴艳光，
申请(专利权)人：北京佰才邦技术有限公司，
类型：发明
国别省市：北京;11