一种双目720度全景采集系统技术方案

技术编号:15899358 阅读:109 留言:0更新日期:2017-07-28 21:51
本发明专利技术公开了一种双目720度全景采集系统,包括:采集模块,用于采集N路音频数据和双路视频数据;核心处理模块,用于将N路音频数据和双路视频数据进行匹配并拼接为全景视频;云端流媒体服务器模块和本地服务器模块,用于创建直播、生成推流地址和播放地址,将接收到的音视频流格式进行格式转换;广域网终端体验模块和局域网终端体验模块,用于完成音视频现场直播。本发明专利技术通过两路高处理能力的ISP和至少两路MIPI接口,可以实现双路视频的硬件同步采集、双路千万像素以上的传感器的数据量的实时处理、及720度全景视频的实时拼接,保证在网络较低的码率下也能实现高清图像信息的快速传输,极大地提高了用户体验的真实感和舒适感。

【技术实现步骤摘要】
一种双目720度全景采集系统
本专利技术属于图像采集
,特别是涉及一种双目720度全景采集系统。
技术介绍
随着计算机技术的飞速发展,多媒体所包含的种类也越来越多,所能表现的效果也越来越多,而一些比较传统的表现方式也越来越无法满足大部分客户对于展示方式的要求。在传统的表现方式中,展示的手段无非是静态的平面图片和动态的视频,也有通过三维全景进行展示的,静态图片只能提供场景的某一角度图像,即使是广角镜头,也不能有效全面的对场景进行表现;而动态视频虽然可以让用户对场景有全面的了解,可图像视角依然有限,观看方式取决于拍摄者的拍摄方式,并不自由,所以,在我们需要真实、全面、直观的表现某一场景时,360全景无疑是最好的选择。随着人们需求的不断提高,人们更希望构建出一个连续漫游、信息丰富以及交互性强的虚拟全景环境,那么如何快速有效地构建虚拟现实所需要的图像信息并将其传递到客户端并显示,提高用户体验的真实感和舒适感,将成为一个亟待解决的问题。
技术实现思路
为解决上述技术问题,本专利技术提供了一种双目720度全景采集系统,以快速有效地构建虚拟现实所需要的图像信息,提高用户体验的真实感和舒适感。本专本文档来自技高网...
一种双目720度全景采集系统

【技术保护点】
一种双目720度全景采集系统,其特征在于,包括:采集模块,用于采集N路音频数据和双路视频数据,其中N为大于或等于2的正整数;核心处理模块,用于将所述采集模块采集的双路视频数据进行全景视频实时拼接,同时将所述N路音频数据通过环绕立体声算法进行所述N路音频数据的融合,并与全景视频进行算法的位置信息匹配,使得环绕立体声音频能够根据全景视频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况,再把经过匹配的全景视频和环绕立体声音频进行视频数据的硬件加速编码和音频数据的硬件加速编码,再进行一个时间戳同步,最后将同步后的音频数据和视频数据进行本地存储或者直接通过以太网进行RTMP格式的音视频推流...

【技术特征摘要】
1.一种双目720度全景采集系统,其特征在于,包括:采集模块,用于采集N路音频数据和双路视频数据,其中N为大于或等于2的正整数;核心处理模块,用于将所述采集模块采集的双路视频数据进行全景视频实时拼接,同时将所述N路音频数据通过环绕立体声算法进行所述N路音频数据的融合,并与全景视频进行算法的位置信息匹配,使得环绕立体声音频能够根据全景视频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况,再把经过匹配的全景视频和环绕立体声音频进行视频数据的硬件加速编码和音频数据的硬件加速编码,再进行一个时间戳同步,最后将同步后的音频数据和视频数据进行本地存储或者直接通过以太网进行RTMP格式的音视频推流,其与所述采集模块相连接;云端流媒体服务器模块,用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在云平台创建直播、生成推流地址和播放地址,将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发,其与所述核心处理模块相连接;广域网终端体验模块,用于实时接收和解码云端流媒体服务器模块分发过来的音频和视频数据,进行远程沉浸式全景音视频现场的直播体验,其与所述云端流媒体服务器模块相连接;本地服务器模块,用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在本地服务器创建直播、生成推流地址和播放地址,将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发,其与所述核心处理模块相连接;局域网终端体验模块,用于实时接收和解码本地服务器模块分发过来的音频和视频数据,完成本地沉浸式全景音视频现场的直播体验,其与所述本地服务器模块相连接。2.根据权利要求1所述的双目720度全景采集系统,其特征在于,所述采集模块包括相互电连接的摄像头模组第一单元和摄像头模组第二单元,所述摄像头模组第一单元包括图像第一传感器以及与所述图像第一传感器电连接的第一鱼眼镜头,所述摄像头模组第二单元包括图像第二传感器以及与所述图像第二传感器电连接的第二鱼眼镜头,所述采集模块还包括拾音第一单元和拾音第二单元。3.根据权利要求2所述的双目720度全景采集系统,其特征在于,所述摄像头模组第一单元的光轴和所述摄像头模组第二单元的光轴相互重合或者相互平行。4.根据权利要求1所述的双目720度全景采集系统,其特征在于,所述核心处理模块包括CPU管理...

【专利技术属性】
技术研发人员:王超沈靖程王士博刘亚辉张睿妍
申请(专利权)人:深圳市圆周率软件科技有限责任公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1