一种球形全景视频的拼接方法及系统技术方案

本发明专利技术公开了一种球形全景视频的拼接方法，包括：获取鱼眼镜头拍摄的视频对；分别将具有所述一一对应关系的第一图像与第二图像作为图像对执行拼接操作，形成拼接视频；即通过对鱼眼镜头拍摄的视频对进行合适的坐标变换实现全景视频自动拼接。其中转换矩阵的求解过程中需要进行角点检测、经验区域搜索和HSV颜色空间匹配来实现匹配点的自动检测；该方法拍摄数量少，拼接速度快，拼接过程启动后无需人工调整和干预。生成视频拼接效果好，中间接缝位置拼接准确，过渡自然。从整个视频播放看，没有图像抖动和错位。本发明专利技术还公开了一种球形全景视频的拼接系统，具有上述有益效果。

Method and system for stitching spherical panoramic video

The invention discloses a splicing method, a spherical panoramic video comprises: acquiring fisheye lens video; respectively with the corresponding relationship between the first image and the second image as an image to perform splicing operation, form a mosaic of video; by shooting on the fish head to realize video glasses for panoramic video mosaics appropriate coordinate transformation. The need for corner detection, which in the process of solving the transformation matrix of experience area search and HSV color space, automatic detection to realize the matching point; the method of shooting number, stitching speed, without manual adjustment and intervention after the start of the splicing process. The video stitching effect is good, the middle seam position is spliced accurately, and the transition is natural. From the entire video playback, there is no image jitter and dislocation. The invention also discloses a mosaic system of spherical panoramic video, which has the above beneficial effect.

【技术实现步骤摘要】
一种球形全景视频的拼接方法及系统
本专利技术涉及图像处理
，特别涉及一种球形全景视频的拼接方法及系统。
技术介绍
全景视频是一种新型的视频。传统视频只能看到空间中某个方向和范围的信息，与此相比，全景视频记录了空间360度全方位信息，并且可以与用户进行一定的交互，例如改变观察方向和切换场景等。它是由多个不同方向拍摄的普通视频拼合而成的。视频拼接在军事、医学、计算机视觉、视频会议、安防等领域中都有重要应用。全景视频由全景图发展而来。全景图的拼接已研究得比较多。按技术方法的不同，最常用的方法可分为三类：基于频域的方法、基于特征的方法和基于灰度梯度的方法。其中，基于频域的方法以分数傅里叶变换的改进方法为代表，该类方法能很好地解决平移、旋转和均匀缩放的配准问题，但却无法很好地解决透视投影变换的配准。基于特征的方法以尺度不变特征变换算法(SIFT)代表，该方法能很好的解决包括透视变换的各种变换的配准问题，但该方法时间复杂度非常高，而且对于纹理图像的配准结果也不够理想。基于灰度梯度的方法是通过图像灰度差最小化来求解投影变换参数，使用LM优化技术求取透视投影参数，但这些方法易受光照变化的影响。按构造方式不同，全景图可分为柱型、方型和球型三种(全景视频亦然)。其中柱型全景研究得较多，各种全景相关技术也由其率先推进。但柱型全景有个固有的缺点，不能完整的包含空间信息，顶部和底部的空间信息是没有的。球型全景空间信息完全，但比柱型全景困难，研究报道则少很多。一方面，其拍摄方案比较麻烦，需拍摄十几甚至几十照片；另一方面，如此多的照片误差会累积得太多，以至于自动拼接最后无法进行，因此它是一种半自动的方法，经常需要手动调整。因此，如何提供拍摄数量少、全自动、拼接图像质量高的球形全景视频拼接方法，以使全景视频的拍摄变得简易，并且拍摄质量也得到提高，是本领域技术人员需要解决的技术问题。
技术实现思路
本专利技术的目的是提供一种球形全景视频的拼接方法及系统，可使全景视频的拼接变得简易和高效，并且图像质量可以得到提高。为解决上述技术问题，本专利技术提供一种球形全景视频的拼接方法，所述方法包括：获取鱼眼镜头拍摄的视频对；其中，所述视频对包括具有N帧第一图像的第一视频和具有N帧第二图像的第二视频；且N帧第一图像与N帧第二图像具有一一对应关系；分别将具有所述一一对应关系的第一图像与第二图像作为图像对执行拼接操作，形成拼接视频；其中，所述拼接操作的过程包括：确定所述图像对中第一图像对应的角点；在所述图像对中第二图像中与各所述角点对应的经验区域进行搜索，并利用HSV算法对搜索结果进行检验确定各所述角点对应的匹配点；根据选定的角点以及对应的匹配点计算所述图像对的转换矩阵；利用所述转换矩阵确定所述图像对中未重叠区域中各像素的颜色值，并按照权值系数进行重叠区域的像素融合确定重叠区域中各像素的颜色值；将全部所述颜色值填充到所述拼接视频中的对应位置。可选的，确定所述图像对中第一图像对应的角点，包括：判断所述图像对中的第一图像是否为所述第一视频的第一帧图像；若是第一帧图像，则对所述第一帧图像进行角点检测，确定所述第一帧图像对应的角点；若不是第一帧图像，则判断所述图像对是否为间隔预定帧数量的图像对；若不是间隔预定帧数量的图像对，则将前一帧图像对中的第一图像的角点作为所述图像对中的第一图像对应的角点；若是间隔预定帧数量的图像对，则对所述图像对中的第一图像的选定重叠区进行角点检测得到阴影角点，并判断所述阴影角点的数量与经纬图像重叠区中的角点之差是否大于阈值；若是，则对所述图像对中的第一图像进行角点检测，确定所述图像对中的第一图像对应的角点。可选的，所述角点检测的过程，包括：利用公式进行角点检测，得到预选角点M；利用公式R＝det(M)-k(trace(M))2计算所述预选角点M的响应函数值R；将所述响应函数值R按照从高到底的顺序进行排列，并选取前预定数量的响应函数值R对应的预选角点M作为角点检测选定的角点；其中，I为第一视频，Ix、Iy为通过水平和竖直方向差分算子对图像滤波得到的梯度图像，w(x,y)取二维高斯函数，det为求矩阵行列式，trace为矩阵的迹，k为一个常数。可选的，在所述图像对中第二图像中与各所述角点对应的经验区域进行搜索，包括：确定所述角点检测选定的角点在所述图像对中第二图像中对应的理论位置，并以各所述理论位置为中心向外扩展预定范围作为经验区域搜索对应的匹配点。可选的，利用HSV算法对搜索结果进行检验确定各所述角点对应的匹配点，包括：分别利用公式计算所述经验区域中每一个像素点与所述经验区域对应的角点的加权颜色差总和Ex,y；选取最小的加权颜色差总和Ex,y对应的像素点作为角点的匹配点；其中，Ex,y为第二图像在(x,y)对于第一图像中角点的颜色差总和，H′s+u,t+v和S′s+u,t+v为第一图像中在(s+u,t+v)处的色调和饱和度，H″x+u,y+v和S″x+u,y+v为第二图像中在(s+u,t+v)处的色调和饱和度，kh和ks为两个系数，w(u,v)为窗口像素位置的权重函数，u,v分别为窗口内像素的位置，l为正方形窗口的尺寸。可选的，根据选定的角点以及对应的匹配点计算所述图像对的转换矩阵，包括：从所述角点检测选定的角点中按照距离阈值选择5个角点作为选定的角点；利用公式计算选定的角点以及对应的匹配点计算所述图像对的转换矩阵；其中，a11、a12…a43共为15个未知数，φL、θL、φR、θR分别是第一图像和第二图像的拍摄坐标系转换成球坐标系后的经纬度。可选的，所述距离阈值rt具体为：rt＝ktr0；其中，r0为转向半径，kt为一个系数。可选的，利用所述转换矩阵确定所述图像对中未重叠区域中各像素的颜色值，并按照权值系数进行重叠区域的像素融合确定重叠区域中各像素的颜色值，包括：遍历所述转换矩阵中经度和纬度，确定第一图像中各位置的颜色值c1和第二图像中各位置的颜色值c2；利用颜色值确定公式确定所述图像对拼接后的图像中各位置的颜色值；其中，c为所述图像对拼接后的图像中各位置的颜色值，k1、k2是权值系数。本专利技术还提供一种球形全景视频的拼接系统，所述系统包括：视频获取模块，用于获取鱼眼镜头拍摄的视频对；其中，所述视频对包括具有N帧第一图像的第一视频和具有N帧第二图像的第二视频；且N帧第一图像与N帧第二图像具有一一对应关系；拼接模块，用于分别将具有所述一一对应关系的第一图像与第二图像作为图像对执行拼接操作，形成拼接视频；拼接操作模块，用于确定所述图像对中第一图像对应的角点；在所述图像对中第二图像中与各所述角点对应的经验区域进行搜索，并利用HSV算法对搜索结果进行检验确定各所述角点对应的匹配点；根据选定的角点以及对应的匹配点计算所述图像对的转换矩阵；利用所述转换矩阵确定所述图像对中未重叠区域中各像素的颜色值，并按照权值系数进行重叠区域的像素融合确定重叠区域中各像素的颜色值；将全部所述颜色值填充到所述拼接视频中的对应位置。本专利技术所提供的一种球形全景视频的拼接方法，包括：获取鱼眼镜头拍摄的视频对；分别将具有所述一一对应关系的第一图像与第二图像作为图像对执行拼接操作，形成拼接视频；其中，所述拼接操作的过程包括：确定所述图像对中第一图像对应的角点；在所述图像对中本文档来自技高网...

【技术保护点】
一种球形全景视频的拼接方法，其特征在于，所述方法包括：获取鱼眼镜头拍摄的视频对；其中，所述视频对包括具有N帧第一图像的第一视频和具有N帧第二图像的第二视频；且N帧第一图像与N帧第二图像具有一一对应关系；分别将具有所述一一对应关系的第一图像与第二图像作为图像对执行拼接操作，形成拼接视频；其中，所述拼接操作的过程包括：确定所述图像对中第一图像对应的角点；在所述图像对中第二图像中与各所述角点对应的经验区域进行搜索，并利用HSV算法对搜索结果进行检验确定各所述角点对应的匹配点；根据选定的角点以及对应的匹配点计算所述图像对的转换矩阵；利用所述转换矩阵确定所述图像对中未重叠区域中各像素的颜色值，并按照权值系数进行重叠区域的像素融合确定重叠区域中各像素的颜色值；将全部所述颜色值填充到所述拼接视频中的对应位置。

【技术特征摘要】
1.一种球形全景视频的拼接方法，其特征在于，所述方法包括：获取鱼眼镜头拍摄的视频对；其中，所述视频对包括具有N帧第一图像的第一视频和具有N帧第二图像的第二视频；且N帧第一图像与N帧第二图像具有一一对应关系；分别将具有所述一一对应关系的第一图像与第二图像作为图像对执行拼接操作，形成拼接视频；其中，所述拼接操作的过程包括：确定所述图像对中第一图像对应的角点；在所述图像对中第二图像中与各所述角点对应的经验区域进行搜索，并利用HSV算法对搜索结果进行检验确定各所述角点对应的匹配点；根据选定的角点以及对应的匹配点计算所述图像对的转换矩阵；利用所述转换矩阵确定所述图像对中未重叠区域中各像素的颜色值，并按照权值系数进行重叠区域的像素融合确定重叠区域中各像素的颜色值；将全部所述颜色值填充到所述拼接视频中的对应位置。2.根据权利要求1所述的方法，其特征在于，确定所述图像对中第一图像对应的角点，包括：判断所述图像对中的第一图像是否为所述第一视频的第一帧图像；若是第一帧图像，则对所述第一帧图像进行角点检测，确定所述第一帧图像对应的角点；若不是第一帧图像，则判断所述图像对是否为间隔预定帧数量的图像对；若不是间隔预定帧数量的图像对，则将前一帧图像对中的第一图像的角点作为所述图像对中的第一图像对应的角点；若是间隔预定帧数量的图像对，则对所述图像对中的第一图像的选定重叠区进行角点检测得到阴影角点，并判断所述阴影角点的数量与经纬图像重叠区中的角点之差是否大于阈值；若是，则对所述图像对中的第一图像进行角点检测，确定所述图像对中的第一图像对应的角点。3.根据权利要求2所述的方法，其特征在于，所述角点检测的过程，包括：利用公式进行角点检测，得到预选角点M；利用公式R＝det(M)-k(trace(M))2计算所述预选角点M的响应函数值R；将所述响应函数值R按照从高到底的顺序进行排列，并选取前预定数量的响应函数值R对应的预选角点M作为角点检测选定的角点；其中，I为第一视频，Ix、Iy为通过水平和竖直方向差分算子对图像滤波得到的梯度图像，w(x,y)取二维高斯函数，det为求矩阵行列式，trace为矩阵的迹，k为一个常数。4.根据权利要求3所述的方法，其特征在于，在所述图像对中第二图像中与各所述角点对应的经验区域进行搜索，包括：确定所述角点检测选定的角点在所述图像对中第二图像中对应的理论位置，并以各所述理论位置为中心向外扩展预定范围作为经验区域搜索对应的匹配点。5.根据权利要求4所述的方法，其特征在于，利用HSV算法对搜索结果进行检验确定各所述角点...

【专利技术属性】
技术研发人员：罗立宏，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44