全景视频图像处理方法和装置制造方法及图纸

本发明专利技术公开了一种全景视频图像处理方法和装置，依据均布在360

Panoramic video image processing method and device

【技术实现步骤摘要】
全景视频图像处理方法和装置
本专利技术涉及视频处理
，尤其涉及一种全景视频图像处理方法和装置。
技术介绍
视频拼接技术已应用到很多领域，一方面应用在交通行业的视频实时监控领域，主要针对摄像机位置相对固定、摄像机摆放位置贴近体面的交通监控视频的拼接上；另一方面，应用到飞行器搭载摄像头360度全景拍摄如山川湖泊、名胜古迹、重要地理特征等无遮挡、视野广的全景图像。但目前，摄像头360度拍摄多使用普通摄像头安装在球面上拍摄，然后对视频进行单帧图像的拼接，拼接处理后视频的焦距不能改变，即对视频的清晰程度完全取决于当时摄像头拍摄的效果，因此，造成了拼接后的360度全景视频不能满足所有画面均清晰可见的视觉效果，同时，由于全景视频大不能流畅地播放。
技术实现思路
为解决上述问题，本专利技术提供了一种全景视频图像处理方法和装置，通过将光场摄像机均布在360°空间优化位置上进行全景拍摄，对拍摄的光场图像逐帧全景拼接，生成全景式光场视频，通过码流控制模块，使得光场视频播放画面自然、流畅、清晰、完整，通过该处理方法和装置不仅能够获得速度可调、焦距可调的清晰的局部及全景视频，而且确保了光场视频播放的质量，满足了观众的观看需求。本专利技术提供的具体技术方案如下：一种全景视频图像处理方法，包括如下步骤：步骤1：依据布置在空间优化位置上的摄像机的初设参数，获取两两相邻摄像机成像的重叠区域；获取由多个摄像机成像形成的多重重叠区域集合，并获取每个摄像机对所述重叠区域的影响权重；步骤2：获取由多个摄像机同步拍摄的一帧光场图像的数据，获取其中相邻两个摄像机的光场，将两个光场分别按最大焦距fmax、最小焦距fmin获得图像、及获得细节最丰富的图像,将两幅图像分别匹配,获得匹配图像的像素对应关系；步骤3：通过形心计算获取最大焦距fmax、最小焦距fmin、细节最丰富时的焦距fHD下的加权位置对应关系；步骤4：遍历并获得所有相邻的摄像机图像的匹配位置对应关系集合；步骤5：遍历多重重叠区域集合，根据匹配位置对应关系集合计算对应的光场数值，形成一帧光场的全景拼接；步骤6：对每一帧光场图像均进行全景拼接，摄像结束后生成全景式光场视频。优选地，所述步骤1还包括步骤1-1：所述摄像机均布在360°空间的优化位置上，按照由左上摄像机起始，顺时针原则计算两两相邻摄像机成像的重叠区域，并按要求扩展所述重叠区域。优选地，所述步骤1还包括步骤1-2：按照由外向内的方式计算多重重叠区域，获得重叠区域集合，并得到每个摄像机对所述重叠区域的影响权重。优选地，所述步骤2还包括：获得细节最丰富的图像的步骤包括：步骤2-1：将两个光场摄像机的光场由最小焦距fmin到最大焦距fmax阶梯式调焦，获取两个光场下焦距f的调焦图像，对两个调焦图像在重叠区域中进行边缘特性分析和图像纹理分析，并计算细节丰富因子的值；步骤2-2：持续调焦，获得细节最丰富的两幅图像，以及重叠区域中细节最丰富的图像对应的焦距分别为fHD1和fHD2，并得到对应的细节最丰富的因子的值d1和d2；步骤2-3：根据细节最丰富的因子，按式(1)计算焦距fHD：优选地，所述步骤2还包括：获得匹配图像的像素对应关系的步骤包括：步骤2-4：如果fHD≠fmin,同时fHD≠fmax,则将两个光场均以焦距fHD获得图像；步骤2-5：将两幅图像匹配，获得第i个摄像机的第j帧图像与第m个摄像机的第n帧图像分别在最小焦距、最大焦距、细节最丰富时的焦距的像素对应关系如式(2)-(4)，并按与fHD的比例关系计算位置的权重：优选地，所述步骤3还包括：通过形心计算获得fHD、fmin、fmax三种焦距下的加权位置对应关系如式(5)：P1(i,j)＝P2(m,n)(5)优选地，所述步骤5还包括：根据匹配位置对应关系集合计算对应的光场数值Q按照式(6)计算：其中，Qi为第i个摄像机重叠区域的光场值，wi为摄像机对重叠位置的影响权重。优选地，所述光场视频播放流控的处理方法为将图像同时进行分割预处理和图像预处理，获得图像区块和对应质量数据，依据原则降低、合并区块质量，生成金字塔区块，调控所述区块码流的形式及传输。本专利技术公开了一种全景视频图像处理装置，包括：处理装置，所述处理装置包括：图像采集模块，用于获取待拼接的视频；图像预处理模块，依据摄像机的位置及初设参数，处理重叠区域及扩展重叠区域，并计算每个摄像机对所述重叠区域的影响权重；图像拼接模块，将图像按照特征点位置对应关系进行匹配、拼接，以获得拼接后的视频；码流控制模块，用于控制光场视频的流控；显示模块，用于对拼接后的视频显示。优选地，所述图像拼接模块包括：识别单元，用于识别遍历环节是否结束；计算单元，用于图像拼接过程中的数据计算；图像分析单元，用于对在重叠区域中的图像进行边缘特性分析和纹理分析。需要说明的是：本申请中所述多重重叠区域是指由多个摄像机成像形成的重叠区域的集合；实际计算时，按要求扩展重叠区域，扩展的目的是为了防止摄像头晃动、位置的改变等原因导致匹配的准确度受影响。在图像拼接时，如果出现计算值偏差较大时需重新计算。本专利技术的有益效果为：本专利技术提供了一种全景视频图像处理方法和装置，通过将光场摄像机均布在360°空间优化位置上进行全景拍摄，对拍摄的光场图像逐帧全景拼接，生成全景式光场视频，通过码流控制模块，使得光场视频播放画面自然、流畅、清晰、完整，通过该处理方法和装置不仅能够获得速度可调、焦距可调的清晰的局部及全景视频，而且确保了光场视频播放的质量，满足了观众的观看需求。附图说明图1为本专利技术拼接装置结构关系示意图；图2为本专利技术的拼接方法流程图。其中：1-图像采集模块；2-图像预处理模块；3-图像拼接模块；31-识别单元；32-计算单元；33-图像分析单元；4-显示模块；5-码流控制模块。具体实施方式如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”；“多个”应解释成“多于或等于两个”。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。如图1-图2所示，在一个实施例中，提供了一种全景视频图像处理的装置，包括光场摄像机，所述光场摄像机包括：图像采集模块1，用于获取待拼接的视频；图像预处理模块2，依据摄像机的位置及初设参数，处理重叠区域及扩本文档来自技高网...

【技术保护点】
1.一种全景视频图像处理方法，其特征在于：包括如下步骤：/n步骤1：依据布置在空间优化位置上的摄像机的初设参数，获取两两相邻摄像机成像的重叠区域；获取由多个摄像机成像形成的多重重叠区域集合，并获取每个摄像机对所述重叠区域的影响权重；/n步骤2：获取由多个摄像机同步拍摄的一帧光场图像的数据，获取其中相邻两个摄像机的光场，将两个光场分别按最大焦距f

【技术特征摘要】
1.一种全景视频图像处理方法，其特征在于：包括如下步骤：
步骤1：依据布置在空间优化位置上的摄像机的初设参数，获取两两相邻摄像机成像的重叠区域；获取由多个摄像机成像形成的多重重叠区域集合，并获取每个摄像机对所述重叠区域的影响权重；
步骤2：获取由多个摄像机同步拍摄的一帧光场图像的数据，获取其中相邻两个摄像机的光场，将两个光场分别按最大焦距fmax、最小焦距fmin获得图像、及获得细节最丰富的图像,将两幅图像分别匹配,获得匹配图像的像素对应关系；
步骤3：通过形心计算获取最大焦距fmax、最小焦距fmin、细节最丰富时的焦距fHD下的加权位置对应关系；
步骤4：遍历并获得所有相邻的摄像机图像的匹配位置对应关系集合；
步骤5：遍历多重重叠区域集合，根据匹配位置对应关系集合计算对应的光场数值，形成一帧光场的全景拼接；
步骤6：对每一帧光场图像均进行全景拼接，摄像结束后生成全景式光场视频。


2.根据权利要求1所述的全景视频图像处理方法，其特征在于：
所述步骤1还包括步骤1-1：所述摄像机均布在360°空间的优化位置上，按照由左上摄像机起始，顺时针原则计算两两相邻摄像机成像的重叠区域，并按要求扩展所述重叠区域。


3.根据权利要求2所述的全景视频图像处理方法，其特征在于：
所述步骤1还包括步骤1-2：按照由外向内的方式计算多重重叠区域，获得重叠区域集合，并得到每个摄像机对所述重叠区域的影响权重。


4.根据权利要求3所述的全景视频图像处理方法，其特征在于：
所述步骤2还包括：获得细节最丰富的图像的步骤包括：
步骤2-1：将两个光场摄像机的光场由最小焦距fmin到最大焦距fmax阶梯式调焦，获取两个光场下焦距f的调焦图像，对两个调焦图像在重叠区域中进行边缘特性分析和图像纹理分析，并计算细节丰富因子的值；
步骤2-2：持续调焦，获得细节最丰富的两幅图像，以及重叠区域中细节最丰富的图像对应的焦距分别为fHD1和fHD2，并得到对应的细节最丰富的因子的值d1和d2；
步骤2-3：根据细节最丰富的因子，按式(1)计算焦距fHD：





5.根据权利要求4所述的全景视频图像...

【专利技术属性】
技术研发人员：李辉，
申请(专利权)人：未来新视界文化科技嘉善有限公司，
类型：发明
国别省市：浙江;33