一种双目720度全景采集系统技术方案

本实用新型专利技术公开了一种双目720度全景采集系统，包括采集模块、核心处理模块、云端流媒体服务器模块、广域网终端体验模块、本地服务器模块和局域网终端体验模块；其中，核心处理模块与采集模块相连接，云端流媒体服务器模块与核心处理模块相连接，广域网终端体验模块与云端流媒体服务器模块相连接，本地服务器模块与核心处理模块相连接，局域网终端体验模块与本地服务器模块相连接。本实用新型专利技术通过两路高处理能力的ISP和至少两路MIPI接口，可以实现双路视频的硬件同步采集、双路千万像素以上的传感器的数据量的实时处理、及720度全景视频的实时拼接，保证在网络较低的码率下也能实现高清图像信息的快速传输。

Binocular 720 degree panoramic acquisition system

The utility model discloses a binocular 720 degree panoramic acquisition system, including data acquisition module, core processing module, cloud streaming media server module, network terminal experience module, server module and local LAN terminal experience module; wherein, the core processing module and acquisition module is connected to the cloud streaming media server module and core processing module connected, wide area network terminal experience module and cloud streaming media server module is connected to the local server module and core processing module is connected with the LAN terminal experience module is connected with a local server. The utility model has the advantages of high processing capacity by two ISP and at least two MIPI interface, real-time data splicing can achieve dual channel video hardware, dual synchronous acquisition of more than 10 million pixels of the sensor and real-time processing, and 720 degree panoramic video, which can achieve the rapid transmission of high-definition image information in the network with low bit rate under the.

【技术实现步骤摘要】

本技术属于图像采集
，特别是涉及一种双目720度全景采集系统。
技术介绍
随着计算机技术的飞速发展，多媒体所包含的种类也越来越多，所能表现的效果也越来越多，而一些比较传统的表现方式也越来越无法满足大部分客户对于展示方式的要求。在传统的表现方式中，展示的手段无非是静态的平面图片和动态的视频，也有通过三维全景进行展示的，静态图片只能提供场景的某一角度图像，即使是广角镜头，也不能有效全面的对场景进行表现；而动态视频虽然可以让用户对场景有全面的了解，可图像视角依然有限，观看方式取决于拍摄者的拍摄方式，并不自由，所以，在我们需要真实、全面、直观的表现某一场景时，360全景无疑是最好的选择。随着人们需求的不断提高，人们更希望构建出一个连续漫游、信息丰富以及交互性强的虚拟全景环境，那么如何快速有效地构建虚拟现实所需要的图像信息并将其传递到客户端并显示，提高用户体验的真实感和舒适感，将成为一个亟待解决的问题。
技术实现思路
为解决上述技术问题，本技术提供了一种双目720度全景采集系统，以快速有效地构建虚拟现实所需要的图像信息，提高用户体验的真实感和舒适感。本技术提供的一种双目720度全景采集系统，包括：采集模块、核心处理模块、云端流媒体服务器模块、广域网终端体验模块、本地服务器模块和局域网终端体验模块；所述核心处理模块与所述采集模块相连接，所述云端流媒体服务器模块与所述核心处理模块相连接，所述广域网终端体验模块与所述云端流媒体服务器模块相连接，所述本地服务器模块与所述核心处理模块相连接，所述局域网终端体验模块与所述本地服务器模块相连接。进一步地，所述采集模块包括相互电连接的摄像头模组第一单元和摄像头模组第二单元，所述摄像头模组第一单元包括图像第一传感器以及与所述图像第一传感器电连接的第一鱼眼镜头，所述摄像头模组第二单元包括图像第二传感器以及与所述图像第二传感器电连接的第二鱼眼镜头，所述采集模块还包括拾音第一单元和拾音第二单元。进一步地，所述摄像头模组第一单元的光轴和所述摄像头模组第二单元的光轴相互重合或者相互平行。进一步地，所述核心处理模块包括CPU管理单元，分别与所述CPU管理单元相连接的ISP第一单元，ISP第二单元，多声道混音单元，内存单元，GPU单元，全景拼接单元，音频编码单元，所述核心处理模块还包括MIPI第一接口，MIPI第二接口，视频编码单元，复用单元，RTMP推流单元，本地存储单元，所述视频编码单元、复用单元、RTMP推流单元依次连接且所述视频编码单元与所述全景拼接单元相连接，所述本地存储单元与所述复用单元相连接，所述复用单元还与所述音频编码单元相连接，所述多声道混音单元与所述采集模块中的所述拾音第一单元和拾音第二单元相连接，所述ISP第一单元与所述MIPI第一接口相连接，所述ISP第二单元与所述MIPI第二接口相连接，所述MIPI第一接口与所述采集模块中的图像第一传感器相连接，所述MIPI第二接口与所述采集模块中的图像第二传感器相连接。进一步地，所述云端流媒体服务器模块与所述核心处理模块中的RTMP推流单元相连接。进一步地，所述广域网终端体验模块包括第一解复用单元，第一视频解码单元，与所述第一视频解码单元相连接的第一显示单元，第一音频解码单元，与所述第一音频解码单元相连接的第一播放单元，所述第一解复用单元与所述第一视频解码单元和第一音频解码单元相连接，所述云端流媒体服务器模块与所述第一解复用单元相连接。进一步地，所述广域网终端体验模块可以为VR一体机、手机、平板电脑、MAC电脑、笔记本电脑或台式机电脑。进一步地，所述本地服务器模块与所述核心处理模块中的RTMP推流单元相连接。进一步地，所述局域网终端体验模块包括第二解复用单元，第二视频解码单元，与所述第二视频解码单元相连接的第二显示单元，第二音频解码单元，与所述第二音频解码单元相连接的第二播放单元，所述第二解复用单元与所述第二视频解码单元和第二音频解码单元相连接，所述本地服务器模块与所述第二解复用单元相连接。进一步地，所述局域网终端体验模块可以为VR一体机、手机、平板电脑、MAC电脑、笔记本电脑或台式机电脑。本技术的双目720度全景采集系统通过两路高处理能力的ISP和至少两路MIPI接口，可以实现双路视频的硬件同步采集、双路千万像素以上的传感器的数据量的实时处理、及720度全景视频的实时拼接，保证在网络较低的码率下也可以实现高清图像信息的快速传输，极大地提高了用户体验的真实感和舒适感，同时，该系统体积小、功耗低及成本低廉的特点使它能够更加符合消费者的需求。附图说明图1为本技术实施例提供的双目720度全景采集系统的结构示意图。具体实施方式为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。请参阅图1，图1是本技术实施例提供的双目720度全景采集系统的结构示意图，如图1所示，双目720度全景采集系统包括：采集模块1、核心处理模块2、云端流媒体服务器模块3、广域网终端体验模块4、本地服务器模块5和局域网终端体验模块6；所述核心处理模块2与所述采集模块1相连接，所述云端流媒体服务器模块3与所述核心处理模块2相连接，所述广域网终端体验模块4与所述云端流媒体服务器模块3相连接，所述本地服务器模块5与所述核心处理模块2相连接，所述局域网终端体验模块6与所述本地服务器模块5相连接。本技术实施例中，采集模块1包括相互电连接的摄像头模组第一单元10和摄像头模组第二单元11，摄像头模组第一单元10包括图像第一传感器101以及与图像第一传感器101电连接的第一鱼眼镜头102，摄像头模组第二单元11包括图像第二传感器111以及与图像第二传感器111电连接的第二鱼眼镜头112，采集模块1还包括拾音第一单元113和拾音第二单元114。图像第一传感器101和图像第二传感器111至少达到13M以上的像素级别，第一鱼眼镜头102和第二鱼眼镜头112的角度至少达到190度及以上，摄像头模组第一单元10的光轴和摄像头模组第二单元11的光轴相互重合或者相互平行。核心处理模块2包括CPU管理单元201，分别与CPU管理单元201相连接的ISP第一单元202，ISP第二单元203，多声道混音单元204，内存单元205，GPU单元206，全景拼接单元207，音频编码单元208，核心处理模块2还包括MIPI第一接口209，MIPI第二接口210，视频编码单元211，复用单元212，RTMP推流单元213，本地存储单元214，视频编码单元211、复用单元212、RTMP推流单元213依次连接且视频编码单元211与全景拼接单元207相连接，本地存储单元214与复用单元212相连接，复用单元212还与音频编码单元208相连接，多声道混音单元204与采集模块1中的拾音第一单元113和拾音第二单元114相连接，ISP第一单元202与MIPI第一接口209相连接，ISP第二单元203与MIPI第二接口210相连接，MIPI第一接口209与采集模块1中的图像第一传感器101相连接，MIPI第二接口210与采集模块1中的图像第二传感器11本文档来自技高网...

【技术保护点】
一种双目720度全景采集系统，其特征在于，包括：采集模块、核心处理模块、云端流媒体服务器模块、广域网终端体验模块、本地服务器模块和局域网终端体验模块；所述核心处理模块与所述采集模块相连接，所述云端流媒体服务器模块与所述核心处理模块相连接，所述广域网终端体验模块与所述云端流媒体服务器模块相连接，所述本地服务器模块与所述核心处理模块相连接，所述局域网终端体验模块与所述本地服务器模块相连接。

【技术特征摘要】
1.一种双目720度全景采集系统，其特征在于，包括：采集模块、核心处理模块、云端流媒体服务器模块、广域网终端体验模块、本地服务器模块和局域网终端体验模块；所述核心处理模块与所述采集模块相连接，所述云端流媒体服务器模块与所述核心处理模块相连接，所述广域网终端体验模块与所述云端流媒体服务器模块相连接，所述本地服务器模块与所述核心处理模块相连接，所述局域网终端体验模块与所述本地服务器模块相连接。2.根据权利要求1所述的双目720度全景采集系统，其特征在于，所述采集模块包括相互电连接的摄像头模组第一单元和摄像头模组第二单元，所述摄像头模组第一单元包括图像第一传感器以及与所述图像第一传感器电连接的第一鱼眼镜头，所述摄像头模组第二单元包括图像第二传感器以及与所述图像第二传感器电连接的第二鱼眼镜头，所述采集模块还包括拾音第一单元和拾音第二单元。3.根据权利要求2所述的双目720度全景采集系统，其特征在于，所述摄像头模组第一单元的光轴和所述摄像头模组第二单元的光轴相互重合或者相互平行。4.根据权利要求2所述的双目720度全景采集系统，其特征在于，所述核心处理模块包括CPU管理单元，分别与所述CPU管理单元相连接的ISP第一单元，ISP第二单元，多声道混音单元，内存单元，GPU单元，全景拼接单元，音频编码单元，所述核心处理模块还包括MIPI第一接口，MIPI第二接口，视频编码单元，复用单元，RTMP推流单元，本地存储单元，所述视频编码单元、复用单元、RTMP推流单元依次连接且所述视频编码单元与所述全景拼接单元相连接，所述本地存储单元与所述复用单元相连接，所述复用单元还与所述音频编码单元相连接，所述多声道混音单元与所述采集模块中的所述拾音第一单元和拾音第二单元相连接，所...

【专利技术属性】
技术研发人员：王超，沈靖程，王士博，
申请(专利权)人：深圳市圆周率软件科技有限责任公司，
类型：新型
国别省市：广东;44