一种封闭性的可穿戴全景摄像与处理系统及其操作方法技术方案

本发明专利技术涉及一种封闭性的可穿戴全景摄像与处理系统及其操作方法，该系统包括：摄像头组件；内置处理器，该内置处理器包括视频图像处理器、计算处理器、编码处理器、内置和外插式存储介质；内置重力感应、加速度感应、罗盘与陀螺仪芯片，用于检测拍摄时与佩戴时的动作，以对拍摄内容进行防抖处理、确定拍摄方向和/或用于其它人机交互用途；虚拟现实显示器、近眼显示器或一般液晶显示器，接收自内置处理器传输的经处理的视频信号，并予以显示；内置电源，为封闭性的可穿戴全景摄像系统的各部件供电。本发明专利技术的可穿戴全景摄像与处理系统外形更小巧，功能强大，从而方便使用者穿戴。

【技术实现步骤摘要】

本专利技术涉及虚拟现实技术的
，更具体地说，本专利技术涉及一种封闭性的可穿戴全景摄像与处理系统及其操作方法。
技术介绍
虚拟现实技术是通过完全或几乎完全覆盖人双眼视野的视频信息，加上随佩戴者头部移动而变换的虚拟视角，让使用者得到身临其境体验的技术。为了捕捉让使用者觉得身处的现实环境，许多公司使用多个朝向不同角度的摄像机拍摄影像后将几条影像流拼接成一个立体360°的影像，让虚拟现实观看者可以转头以观看同一处地点不同角度的影像，达到身临其境的效果。公布号为CN105072393A的英飞拓专利技术专利申请公开了一种多镜头全景网络摄像机及拼接方法，但该申请的专利技术用途是监控领域，设备不可穿戴，且输出的流媒体不是针对虚拟现实的双目视频，而是合成一个平面的全景影像(用于显示在监控屏幕上)。目前现有的其他虚拟现实摄像机LucidCam和运动相机GoPro仅有两个镜头而且都是鱼眼/视角150-180度的超广角镜，这种镜头的厚度相对手机相机镜头厚了很多，佩戴在头部会非常笨重。这些现有的产品拍摄的画面会有一些不自然畸变，同时没有考虑到镜头的便携性和设备的可穿戴性，多镜头监控摄像机是固定在一个位置，缺乏内置电池和储存功能。
技术实现思路
1.本专利技术所要解决的技术问题本专利技术的目的在于提供一种封闭性的可穿戴全景摄像与处理系统及其操作方法，本专利技术的主要目的是减小虚拟现实摄像机/全景视频捕捉与处理设备的体积，以使其能更便于携带/穿戴。更进一步地，通过使用多个不同角度排列的无畸变高清小型摄像头，使总体视频捕捉角度达到或者超过人双眼的视野，消除现有产品拍摄所产生的不自然畸变。同时，利用设备内置的处理器与动作感应，结合多镜头拍摄的低畸变重叠影像，对拍摄内容进行图形识别、景深分析、视觉场景建模、视频图像数字防抖、调节视频图像朝向和其他人机交互的分析与处理。而设备内置或模块化附加的显示装置可以使用户在佩戴、使用该产品的同时查看录制的视频图像和视觉上享受其内置处理能力。2.本专利技术所提供的完整技术方案根据本专利技术的一个方面，提供了一种封闭性的可穿戴全景摄像与处理系统，包括：摄像头组件，其包括2个或2以上的无畸变摄像头，各无畸变摄像头以一致的帧率同时拍摄视频影像；内置处理器，该内置处理器包括视频处理器、计算处理器、编码处理器、内置和/或外插式存储介质，该视频处理器通过视频拼接算法将来自各无畸变摄像头同一时点拍摄的各视频流的视频帧合并拼接成更大视野的无畸变视频，计算处理器或编码处理器将拼接好的视频进行编码，其中，计算处理器能够对未经视频处理器处理的视频信号进行分析处理，以满足图形识别、景深分析、视觉场景建模的需求；内置重力感应、加速度感应、罗盘与陀螺仪芯片，用于检测拍摄时与佩戴时的动作，以对拍摄内容进行防抖处理、确定拍摄方向(如横向、竖向)和/或用于其它人机交互用途；虚拟现实显示器、近眼显示器或一般液晶显示器，接收自内置处理器传输的经处理的视频信号，并予以显示；内置电源，为封闭性的可穿戴全景摄像系统的各部件供电，保证系统正常运作。本专利技术的上述方案中，采用2个或以上的无畸变摄像头交错排列，通过设备内置电池运作；由摄像头组建拍摄影像，采用2个或以上的视频流通过设备内置处理器，通过视频拼接算法合并成更大视野的无畸变视频；内置编码处理器将处理过的视频以H264或其他格式编码；完成编码的视频被保存至内置存储和/或插入式存储介质、通过设备自带或模块化附加的显示设备播放或者通过有线(如HDMI/usbtype-c/DP)或无线(如wifi/蜂窝移动网络适配器/蓝牙)实时或延后导出至外部。根据本专利技术的另一个方面，提供了一种封闭性可穿戴全景摄像的操作方法，该操作方法包括：封闭性的可穿戴全景摄像系统的操作方法，包括：封闭性的可穿戴全景摄像系统启动后，每个摄像头以一致的帧率同时拍摄影像；自各摄像头的2个或2个以上的视频流通过内置的视频处理器，运用动态视频拼接算法将同一时点拍摄的来自几个视频流的视频帧拼接成更大视野的无畸变视频帧；内置的编码处理器或计算处理器将拼接好的视频编码；内置的编码处理器或计算处理器对输出的格式进行二次处理，调节以虚拟现实设备观看的固定或活动视野范围、虚拟瞳距、虚拟朝向；完成编码的视频被保存至内置存储或插入式存储介质，和/或通过有线或无线实时导出至互联网、播放设备、外部存储设备和其它计算机/存储设备。3.本专利技术技术方案所带来的有益效果多个无畸变镜头摄像机组件拼接而成的广角视频相对于FOV在150°-180°左右的鱼眼镜头(GoPro、LucidCam)拍摄的视频没有不自然畸变，从而能使虚拟现实使用者的观感更自然，更接近人眼，同时更易进行后期处理；多个FOV在130°以下(通常在90°到120°，但也可以更小)的无畸变镜头比上述的鱼眼镜头更轻更薄(一个典型定焦无畸变镜头的厚度在4毫米以下，而一般运动相机的鱼眼镜头则高达20至30毫米)，这样就可以将穿戴式摄像机做得更小巧，从而方便使用者穿戴。使用2个或以上以不同角度排列的无畸变镜头来捕捉视频；视频经过内置处理器处理以适配于虚拟现实显示器，整个系统是一个移动的、可穿戴的设备。无畸变的视频与图像不仅更易于处理与分析，而且通过多个角度拍摄重叠的图像可以也有助于图形识别、景深分析与视觉场景建模。相对于以往产品仅仅对视频图像进行录制，本产品可以利用内置处理器对所拍摄的内容进行上述的分析处理。相对于以往产品，本产品可以使用自带或模块化附加的虚拟现实显示器、近眼显示器或一般液晶显示器对拍摄内容进行查看。而对拍摄影像实时的查看(俗称LiveView实时取景)又可以实现对影像内容的数字信息叠加(俗称AugmentedReality增强现实)。参考文献1：申请号：201510466737.7，专利名称：一种多镜头全景网络摄像机及拼接方法附图说明本专利技术包括了附图，以方便进一步理解本专利技术的技术方案，附图中：图1a-1c分别是根据本专利技术优选实施例的可穿戴全景摄像系统的2个摄像头的示例性排列方式的正视图、俯视图和侧视图；图2a-2c分别是根据本专利技术优选实施例的可穿戴全景摄像系统的3个摄像头的示例性排列方式的正视图、俯视图和侧视图；图3a-3c分别是根据本专利技术优选实施例的可穿戴全景摄像系统的4个摄像头的示例性排列方式的正视图、俯视图和侧视本文档来自技高网...

【技术保护点】
一种封闭性的可穿戴全景摄像与处理系统，包括：摄像头组件，其包括2个或2以上的无畸变摄像头，各无畸变摄像头以一致的帧率同时拍摄视频影像；内置处理器，该内置处理器包括视频图像处理器、计算处理器、编码处理器、内置和/或外插式存储介质，该视频处理器通过视频拼接算法将来自各无畸变摄像头同一时点拍摄的各视频流的视频帧合并拼接成更大视野的无畸变视频，计算处理器或编码处理器将拼接好的视频进行编码，其中，计算处理器能够对未经视频处理器处理的视频信号进行分析处理，以满足图形识别、景深分析、视觉场景建模、手势识别操作的需求；内置重力感应、加速度感应、罗盘与陀螺仪芯片，用于检测拍摄时与佩戴时的动作，以对拍摄内容进行防抖处理、确定拍摄方向和/或用于其它人机交互用途；虚拟现实显示器、近眼显示器或一般液晶显示器，接收自内置处理器传输的经处理的视频信号，并予以显示；内置电源，为封闭性的可穿戴全景摄像系统的各部件供电，保证系统正常运作。

【技术特征摘要】
1.一种封闭性的可穿戴全景摄像与处理系统，包括：
摄像头组件，其包括2个或2以上的无畸变摄像头，各无畸变摄像头以
一致的帧率同时拍摄视频影像；
内置处理器，该内置处理器包括视频图像处理器、计算处理器、编码处
理器、内置和/或外插式存储介质，该视频处理器通过视频拼接算法将来自各
无畸变摄像头同一时点拍摄的各视频流的视频帧合并拼接成更大视野的无畸
变视频，计算处理器或编码处理器将拼接好的视频进行编码，其中，计算处
理器能够对未经视频处理器处理的视频信号进行分析处理，以满足图形识别、
景深分析、视觉场景建模、手势识别操作的需求；
内置重力感应、加速度感应、罗盘与陀螺仪芯片，用于检测拍摄时与佩
戴时的动作，以对拍摄内容进行防抖处理、确定拍摄方向和/或用于其它人机
交互用途；
虚拟现实显示器、近眼显示器或一般液晶显示器，接收自内置处理器传
输的经处理的视频信号，并予以显示；
内置电源，为封闭性的可穿戴全景摄像系统的各部件供电，保证系统正
常运作。
2.如权利要求1所述的系统，其中，2个或2个以上的无畸变摄像头以不
同角度排列。
3.如权利要求1所述的系统，其中，2个或2个以上的无畸变摄像头以交
错方式排列，而且，该无畸变摄像头是传统摄像头、阵列式摄像头或光子计
数型光场摄像头。
4.如权利要求1所述的系统，其中，在将拼接好的视频进行编码之后，计
算处理器或编码处理器能够对输出视频的格式进行二次处理，调节虚拟现实
显示器观看的固定或活动视野范围、虚拟瞳距、和/或虚拟朝向。
5.如权利要求1所述的系统，其中，在将拼接好的视频进行编码之后，完
成编码的视频被保存至内置和/或外插式存储介质。
6.如权利要求1所述的系统...

【专利技术属性】
技术研发人员：李昂，
申请(专利权)人：李昂，
类型：发明
国别省市：广东;44