可虚拟拍照的共享观景系统技术方案

本发明专利技术涉及信息处理技术，尤其涉及一种可虚拟拍照的共享观景系统。本发明专利技术针对现有VR技术的声源单一，音质扁平的问题，观看成本高的问题，提出一种可虚拟拍照的共享观景系统和录制小视频的共享观景系统。本发明专利技术系统包括：音视频采集单元、用户终端单元、无线传输单元和流媒体服务器单元，音视频采集单元用于采集图像和音频数据，用户终端单元用于对流媒体服务单元发出指令，无线传输单元用于将用户终端单元发出的指令传送到流媒体服务器单元，并将流媒体服务单元发送的数据传回用户终端单元，流媒体服务单元用于储存图像和音频数据，并根据指令选择匹配的图像和音频数据，发送给用户终端单元。本发明专利技术可应用于实现远程的观光游览。

【技术实现步骤摘要】
可虚拟拍照的共享观景系统
本专利技术涉及信息处理技术，尤其涉及一种可虚拟拍照的共享观景系统。
技术介绍
随着旅游经济日益发达，旅游观光产业蓬勃发展，其中自然风景观光是最重要的一部分。自然风景的美感往往取决于观景的角度和时间，很多绝美的风景需要在极其特殊的位置和角度才能看到，正所谓“无限风光在险峰”，遗憾的是出于成本和安全的考虑，绝大多数景区的观景模式都是遵循既定路线，用户没有机会从最佳的观赏角度领略自然风景，这不失为一大遗憾。另一方面，如果能够解决用户在任意位置、视角欣赏景点风光的问题，必将大大提升用户观光的体验。目前已有的拓展观光视角/视野的手段主要有望远镜、缆车、热气球、图片、纪录片(包括3D纪录片)、虚拟现实(VR)等，还没有一种手段能够让观光者以极低的成本达到面向游览现场的自由视角的观景体验，并且现有的音频录制设备，声音来源单一，音质扁平无立体感，头中效应严重，不能还原真实的声场，不能满足VR全景视频技术中声音和画面真实同步的要求。另外，在现有的VR全景视频技术中，用户在观看视频时，想要重温一些精彩的瞬间，需要重新付费观看，观看成本加大。
技术实现思路
针对上述问题，本专利技术提供一种可虚拟拍照或录制小视频的共享观景系统。本专利技术为解决上述问题采取的技术方案是：本专利技术的一可虚拟拍照或录制小视频的共享观景系统，包括：音视频采集单元、用户终端单元、无线传输单元和流媒体服务器单元；所述音视频采集单元包括动态图像采集子单元、音频采集子单元和信号合成单元，所述动态动态图像采集子单元包括全视角摄像机，用于采集全方位的动态图像信息；所述音频采集子单元为一立体音频采集装置，所述立体音频采集装置包括多个相互层叠排布的固定装置，所述固定装置的对称位置上安装有两个用于采集音频信号的音频采集器，所述固定装置的数量为n，其中，n≥4，当进行音频采集时，各所述固定装置围绕所述中心轴以360度水平角的n等分角间距相互错开；所述信号合成单元包括音频图像同步合成工具，用于将动态图像采集子单元采集到的动态图像信息和音频采集子单元采集到的音频信息进行同步处理，合成广视角动态图像和立体音频信息组合序列；用户终端单元用于向流媒体服务器单元发送指令或接收流媒体服务器单元传回的数据，用户终端单元姿态信息可以由用户通过触屏操作的方式来设置或在用户终端集成陀螺仪姿态传感模块来获取用户终端单元的当前姿态信息；无线传输单元用于将用户终端单元发出的指令传送到流媒体服务器单元，并将流媒体服务单元发送的数据传回用户终端单元；所述流媒体服务器单元包括处理子单元和存储子单元，所述处理子单元识别到用户终端单元发出的采集指令后通过所述动态图像采集子单元和音频采集子单元开始采集动态图像数据和音频数据，其中，所述动态图像数据包括由一个或多个广视角动态图像组成的广视角动态图像与立体音频组合序列，所述音频数据包括一个或多个立体音频信息组成的立体音频序列；处理子单元再将信号合成单元合成后的广视角动态图像和立体音频信息组合序列进行全景拼接，并将拼接后的全景广视角动态图像和立体音频信息组合序列存储在存储子单元中，同时将拼接后的全景广视角动态图像和立体音频信息组合序列进行压缩编码，压缩成流畅、标清、高清、超清不同分辨率的视频流，并将压缩的视频流按照视频传输协议进行格式封装好，等待指令；所述处理子单元还用于通过接收来自一个或多个用户终端单元的至少一个传输指令，针对该至少一个传输指令中的每一个，确定用户终端单元选择的分辨率以及判定该传输指令中是否包发送时间，拍照/小视频指令和是否包含场景切换指令；所述存储子单元用于存储多组预定图像和音频序列，每组预定广视角动态图像和立体音频信息序列，包括多个预存广视角动态图像与立体音频组合，其中每个广视角动态图像与立体音频组合具有特定的标识、时间戳的位置、位置信息和参考信息，其中，所述参考信息包括季节信息、时间段信息和天气信息中的任意一种、两种或多种信息。进一步地，所述处理子单元用于在该传输指令中不包含场景切换指令的情况下，通过如下方式来从所述存储子单元中获取与该传输指令包含的发送姿态相匹配的帧序列：判断接收的传输指令中是否包含发送时间：在该传输指令中包含发送时间的情况下，在所述存储子单元存储的广视角动态图像和立体音频信息组合序列中选择采集时间在该发送时间及该发送时间以后的多帧广视角动态图像和立体音频信息组合作为候选对象，直到接收到发出该传输指令的用户终端单元再次发来的新传输指令为止，如果用户终端发送包含视频帧数据和用户终端单元姿态信息的拍照/小视频指令，在所述存储子单元存储的广视角动态图像和立体音频信息组合序列中选择特定标识、时间戳的位置与发送姿态信息相匹配的广视角动态图像和立体音频信息组合；在该传输指令中不包含发送时间的情况下，在所述存储子单元存储的广视角动态图像和立体音频信息组合序列中选择当前存储的最后一帧广视角动态图像与立体音频组合及之后将要存储的多帧广视角动态图像与立体音频组合作为候选对像，直到接收到发出该传输指令的用户终端单元再次发来的新传输指令为止，如果用户终端发送包含视频帧数据和用户终端单元姿态信息的拍照/小视频指令，在所述存储子单元存储的广视角动态图像和立体音频信息组合序列中选择特定标识、时间戳的位置与发送姿态信息相匹配的广视角动态图像和立体音频信息组合；针对已选择的所有候选对象中的每一帧广视角动态图像与立体音频组合，利用该广视角动态图像与立体音频组合各像素位置对应的方向信息，在该广视角动态图像与立体音频组合中截取方向与该发送姿态对应的截图，其中，该截图的尺寸为预设值；利用所截取的所有截图按照时间顺序形成图像与音频组合帧序列，作为所述与该传输指令包含的发送姿态相匹配的图像与音频组合帧序列。进一步地，所述处理子单元用于在该传输指令中包含场景切换指令的情况下，通过如下方式从所述存储子单元中获取与该用户终端单元的参考信息、所述动态图像采集子单元和音频采集子单元的当前位置以及该传输指令包含的发送姿态相匹配的广视角动态图像与立体音频组合帧序列：在所述存储子单元存储的多组预定动态图像与立体音频组合序列中选择与该用户终端单元的参考信息以及所述动态图像采集子单元和音频采集子单元的当前位置相匹配的一帧或多帧预存广视角动态图像与立体音频组合作为候选对象；针对已选择的所有候选对象中的每一帧预存广视角动态图像与立体音频组合，利用该预存广视角动态图像与立体音频组合中各像素位置对应的方向信息，在该预存广视角动态图像与立体音频组合中截取方向与该传输指令包含的发送姿态对应的截图，其中，该截图的尺寸为预设值；利用所截取的所有截图按照时间顺序形成广视角动态图像与立体音频组合，作为所述与该用户终端单元的参考信息、所述动态图像采集子单元和音频采集子单元的当前位置以及该传输指令包含的发送姿态相匹配的广视角动态图像与立体音频组合。进一步地，所述可虚拟拍照的共享观景系统还包括用户管理单元；其中，所述用户管理单元用于接收来自每个用户终端单元的身份认证请求，并基于该身份认证请求对对应的用户终端单元进行身份认证，在认证成功后向该对应的用户终端单元发送认证成功信息以与该用户终端单元建立数据连接。进一步地，所述处理子单元还用于：在接收到来自所述来自一个或多个用户终端单元的至少一个传输本文档来自技高网...

【技术保护点】
可虚拟拍照的共享观景系统，其特征在于，包括：音视频采集单元、用户终端单元、无线传输单元和流媒体服务器单元；所述音视频采集单元包括动态动态图像采集子单元、音频采集子单元和信号合成单元，所述动态动态图像采集子单元包括全视角摄像机，用于采集全方位的动态图像信息；所述音频采集子单元为一立体音频采集装置，所述立体音频采集装置包括n个相互层叠排布的固定装置，每个固定装置的对称位置上安装有两个用于采集音频信号的音频采集器，各固定装置围绕中心轴以360度水平角的n等分角间距相互错开；所述信号合成单元包括音频图像同步合成工具，用于将动态图像采集子单元采集到的动态图像信息和音频采集单元采集到的音频信息进行同步处理，合成广视角动态图像与立体音频组合序列；所述用户终端单元用于向流媒体服务器单元发送指令或接收流媒体服务器单元传回的数据，用户终端单元姿态信息由用户通过触屏操作的方式来设置或由集成在用户终端单元的陀螺仪姿态传感模块来获取；所述无线传输单元用于将用户终端单元发出的指令传送到流媒体服务器单元，并将流媒体服务单元发送的数据传回用户终端单元；所述流媒体服务器单元包括处理子单元和存储子单元，所述处理子单元用于识别用户终端单元发出的采集指令，在识别到用户终端单元发出的采集指令后，首先通过所述动态图像采集子单元和音频采集子单元开始采集动态图像数据和音频数据，所述动态图像数据包括由一个、两个或多个广视角动态图像组成的广视角动态图像序列，所述音频数据包括一个、两个或多个立体音频信息组成的音频序列；然后将信号合成单元合成后的广视角动态图像与立体音频组合序列进行全景拼接，拼接后的全景动态图像与立体音频组合序列存储在存储子单元中，最后将拼接后的全景动态图像与立体音频组合序列进行压缩编码，压缩成不同分辨率的视频流，按照视频传输协议进行格式封装，等待指令；所述处理子单元还用于接收用户终端单元发出的传输指令，在接收到用户终端单元发出的传输指令后，确定用户终端单元选择的分辨率、判定该传输指令中是否包含发送时间，是否包含拍照/视频指令和是否包含场景切换指令；所述存储子单元用于存储多组预定图像和音频序列，每组预定广视角动态图像和立体音频序列包括多个预存广视角动态图像和立体音频组合，其中每个广视角动态图像和立体音频组合具有特定的标识、时间戳的位置、位置信息和参考信息，所述参考信息包括季节信息、时间段信息和天气信息中的任意一种、两种或多种信息。...

【技术特征摘要】
1.可虚拟拍照的共享观景系统，其特征在于，包括：音视频采集单元、用户终端单元、无线传输单元和流媒体服务器单元；所述音视频采集单元包括动态动态图像采集子单元、音频采集子单元和信号合成单元，所述动态动态图像采集子单元包括全视角摄像机，用于采集全方位的动态图像信息；所述音频采集子单元为一立体音频采集装置，所述立体音频采集装置包括n个相互层叠排布的固定装置，每个固定装置的对称位置上安装有两个用于采集音频信号的音频采集器，各固定装置围绕中心轴以360度水平角的n等分角间距相互错开；所述信号合成单元包括音频图像同步合成工具，用于将动态图像采集子单元采集到的动态图像信息和音频采集单元采集到的音频信息进行同步处理，合成广视角动态图像与立体音频组合序列；所述用户终端单元用于向流媒体服务器单元发送指令或接收流媒体服务器单元传回的数据，用户终端单元姿态信息由用户通过触屏操作的方式来设置或由集成在用户终端单元的陀螺仪姿态传感模块来获取；所述无线传输单元用于将用户终端单元发出的指令传送到流媒体服务器单元，并将流媒体服务单元发送的数据传回用户终端单元；所述流媒体服务器单元包括处理子单元和存储子单元，所述处理子单元用于识别用户终端单元发出的采集指令，在识别到用户终端单元发出的采集指令后，首先通过所述动态图像采集子单元和音频采集子单元开始采集动态图像数据和音频数据，所述动态图像数据包括由一个、两个或多个广视角动态图像组成的广视角动态图像序列，所述音频数据包括一个、两个或多个立体音频信息组成的音频序列；然后将信号合成单元合成后的广视角动态图像与立体音频组合序列进行全景拼接，拼接后的全景动态图像与立体音频组合序列存储在存储子单元中，最后将拼接后的全景动态图像与立体音频组合序列进行压缩编码，压缩成不同分辨率的视频流，按照视频传输协议进行格式封装，等待指令；所述处理子单元还用于接收用户终端单元发出的传输指令，在接收到用户终端单元发出的传输指令后，确定用户终端单元选择的分辨率、判定该传输指令中是否包含发送时间，是否包含拍照/视频指令和是否包含场景切换指令；所述存储子单元用于存储多组预定图像和音频序列，每组预定广视角动态图像和立体音频序列包括多个预存广视角动态图像和立体音频组合，其中每个广视角动态图像和立体音频组合具有特定的标识、时间戳的位置、位置信息和参考信息，所述参考信息包括季节信息、时间段信息和天气信息中的任意一种、两种或多种信息。2.根据权利要求1所述的可虚拟拍照的共享观景系统，其特征在于，在传输指令不包含场景切换指令的情况下，所述处理子单元通过如下方式来从所述存储子单元中获取与所述传输指令包含的发送姿态相匹配的帧序列：判断传输指令中是否包含发送时间：在该传输指令中包含发送时间的情况下，在所述存储子单元存储的广视角动态图像与立体音频组合序列中，将采集时间在该发送时间及该发送时间以后的多帧广视角动态图像和立体音频组合作为候选对象，直到接收到发...

【专利技术属性】
技术研发人员：韩琦，李建英，朱磊，
申请(专利权)人：哈尔滨市一舍科技有限公司，
类型：发明
国别省市：黑龙江,23