本发明专利技术公开了一种根据多视角视频流生成全景视频的方法。包括如下步骤：１）采用多个摄像头对不同视角方向进行全方位覆盖的视频采集；２）将各个视频流中的同步帧都一一对应起来；３）通过摄像机标定的方法对各个视频流分别进行矫正；４）对一组同步的视频帧进行全景拼接，计算出各帧的拼接参数；５）将拼接参数应用到各视频流中的每一帧进行拼接，得到由全景帧组成的全景视频。本发明专利技术的有益效果是：比目前的利用凹面镜或凸透镜对光线会聚还原生成全景视频的方法更经济适用，并能避免画面扭曲失真、不适应于运动时拍摄等缺点。
【技术实现步骤摘要】
本专利技术涉及计算机视频拼接，尤其涉及一种根据多视角视频流生成全景视 频的方法。技术背景视频在信息的表达中起着非常重要的作用，随着信息技术的发展，有关视 频图像的研究和应用也迅速发展起来，如视频会议、可视电话、视频监控和虚 拟现实等。但是，目前由于单一摄像头视野范围有限，用户不能同时观看不同 角度的自己感兴趣的场景，无法满足个性化要求。基于图像绘制的全景图[1][2](Panoramic Image)就是把离散的图像信息在一幅图像上完整地表现出来。 全景图的出现，克服了观众被动观察固定视角的限制，但是全景图像表达的是 一种静态的场景，承载的信息量有限。全景视频(Panoramic Video)是指在不同时刻采集的全景图序列，其承载的信 息量非常丰富，可以实时地表现变化的场景。文献[3]采用全景视频在视频会议 中进行人物的跟踪和识别，文献[4]采用全景视频进行运动物体的检测，文献[5] 将全景视频应用到视频监控中。文献[3][4][5]都采用二次凸面镜和一个摄像机组 合，通过用摄像机拍摄凸面镜上的反射图像，将图像通过变换生成360度柱面 全景视频。但是这种方法必须采用昂贵的专业视频采集设备，而且全景图是有 一张图像变换得到的，因此分辨率明显不如传统拼接而成的全景图像。并且越 靠近曲面反射图像的中心点，图像的变形越大，矫正的效果越差。 附参考文献[1] [l]BROWN M， LOWE D G. Recognising panoramas[C]. International Conference onComputer Vision,2003:1218-1225 [2] [2]吴飞，肖鸿开，赵勇等.大视场视频全景图生成研究[J].浙江大学学报工学版，2006，40(3):395-398[3] [3]STIEFELHANGE R， CHEN X， YANG J. Capturing Interactions in Meetings w他Omnidirectional Cameras[J]. International Journal of Distance EducationTechnologies,2005,3(3):32-45 [4] [4]YAMAZAWA K， YOKOYA N. Detecting moving objects from omnidirectional dynamicimages based on adaptive background subtraction[C]. International Conference on ImageProcessing,2003(3): 953-956 [5] [5]WANG M L， HUANG C C, LIN H Y. An Intelligent Surveillance System Based on anOmnidirectional Vision Sensor[C]. Proceedings of the IEEE International Conference onCybernetics & Intelligent Systems,2006:245-250
技术实现思路
本专利技术的目的是提供了一种。，包括如下步骤1 )采用多个摄像头对不同视角方向进行全方位覆盖的视频采集；2) 将各个视频流中的同步帧都一一对应起来；3) 通过摄像机标定的方法对各个视频流分别进行矫正；4) 对一组同步的视频帧进行全景拼接，计算出各帧的拼接参数；5) 将计算的拼接参数应用到各视频流中的每一帧，再将同步的每一组帧进 行拼接，得到由全景帧组成的全景视频。多个摄像头对不同视角方向进行全方位覆盖的视频采集每个摄像头在水 平面上以近似同一个圆心向四周不同方向拍摄，任意相邻两个摄像头的视角都 有重叠区域，并且所有摄像头的总覆盖区域在水平方向超过360度。通过摄像机标定的方法对各个视频流分别进行矫正对各个摄像机分别建 立标定模型，计算出内外参数，来矫正恢复由镜头成像所带来的畸变，输出矫 正后的帧序列。将各个视频流中的同步帧都一一对应起来在每个视频帧采集时都在相应 音频轨道写入一个时间戳，通过这些时间戳将各个视频流中属于同一时刻的帧 都一一对应起来。对一组同步的视频帧进行全景拼接的方法，包括如下步骤1) 对相邻的两个摄像头采集的同步对应帧进行图像配准；2) 将配准后的图像进行再投影；3) 投影后图像的拼接和平滑。将计算的拼接参数应用到各视频流中的每一帧各摄像头均固定焦距和相 关光学参数，彼此之间位置固定，视频的融合区和成像区域为常数，每一帧的 缝合合成函数也相同，拼接参数不变。对相邻的两个摄像头采集的同步对应帧进行图像配准的方法，包括如下步骤1) 几何学配准采用基于频域仿射参数的光流方程方法，通过曲线特征点之间的对应求得视 图之间的几何变换参数；2) 光度学配准利用一个从几何配准的输入图像估计光度模型参数。再投影将得到的反映各自投影平面的图像映射到一个圆柱投影面上。基于频域仿射参数的光流方程方法，包括如下步骤1) 使用一个快速的基于频域的方法来得到仿射模型2) 利用光流的方法在仿射模型的基础上得到投影模型 本专利技术所述的具有如下特点1. 该方法成本较低，组装方便，易于扩展；2. 适合户外采集，能达到较高的分辨率；3. 画面扭曲很少，而且可以实时拼接。 附图说明图1是全景视频采集设备制作原理图； 图2是光度配准前后图像的对比图； 图3是再投影至圆柱流形上的拼接渲染示意图； 图4是显示单个摄像头采集状况的操作界面示例图； 图5是同步对应相邻两个摄像头的视频帧的操作界面示例图； 图6是拼接好的一个全景帧的示例图。 图7是全景视频的浏览播放器原理示意图。 图8是多视角视频流生成全景视频的系统流程图。 图9是自制的全景视频采集设备实物图。 图IO是全景视频采集设备的使用方案示例图。具体实施方式本专利技术的根据多视角视频流生成全景视频的步骤如下1. 采用多个摄像头对不同视角方向进行全方位覆盖的视频采集，如图1所 示。每个摄像头的相对位置都是固定的，并且在水平面上以近似同一个圆心向 四周不同方向拍摄，保证任意相邻两个摄像头的视角都有足够多的重叠区域，并且所有摄像头的总覆盖区域在水平方向超过360度，各摄像头采取串联的方式连接，以保证在采集视频时的同步。2. 将各个视频流中的同步帧都一一对应起来。在每个视频帧采集时都在相 应音频轨道写入一个时间戳，通过这些时间戳将各个视频流中属于同一时刻的 帧都一一对应起来。3. 通过摄像机标定的方法对各个视频流分别进行矫正。摄像机先从不同方 向拍摄一个平面模板(作为标定物)的多幅图像，对于每个视点获得图像，提取图 像上的网格角点；平面模板与图像间的网格角点对应关系，确定了单应性矩阵 (Homography);那么对每幅图像，就可确定一个单应性矩阵，这样就能够进行摄像机标定。i)建立摄像机模型。依照针孔模型， 一个三维世界点似=[义r z]7,投影到成像面上点表示w-[x _yf。 lf表示Mm的齐次坐 标。根据针孔成像模型，三维世界点M和投影到成像面上点w的关系为<formula>formula see original d本文档来自技高网...
【技术保护点】
一种根据多视角视频流生成全景视频的方法，其特征在于它包括如下步骤：１）采用多个摄像头对不同视角方向进行全方位覆盖的视频采集；２）将各个视频流中的同步帧都一一对应起来；３）通过摄像机标定的方法对各个视频流分别进行矫正；４）对一组同步的视频帧进行全景拼接，计算出各帧的拼接参数；５）将计算的拼接参数应用到各视频流中的每一帧，再将同步的每一组帧进行拼接，得到由全景帧组成的全景视频。
【技术特征摘要】
1. 一种根据多视角视频流生成全景视频的方法，其特征在于它包括如下步骤1) 采用多个摄像头对不同视角方向进行全方位覆盖的视频采集；2) 将各个视频流中的同步帧都一一对应起来；3) 通过摄像机标定的方法对各个视频流分别进行矫正；4) 对一组同步的视频帧进行全景拼接，计算出各帧的拼接参数；5) 将计算的拼接参数应用到各视频流中的每一帧，再将同步的每一组帧进 行拼接，得到由全景帧组成的全景视频。2. 根据权利要求1所述的一种根据多视角视频流生成全景视频的方法，其特 征在于，所述的多个摄像头对不同视角方向进行全方位覆盖的视频采集每个摄 像头在水平面上以同一个圆心向四周不同方向拍摄，任意相邻两个摄像头的视 角都有重叠区域，并且所有摄像头的总覆盖区域在水平方向超过360度。3. 根据权利要求1所述的一种根据多视角视频流生成全景视频的方法，其特 征在于，所述的通过摄像机标定的方法对各个视频流分别进行矫正对各个摄像 机分别建立标定模型，计算出内外参数，来矫正恢复由镜头成像所带来的畸变， 输出矫正后的帧序列。4. 根据权利要求1所述的一种根据多视角视频流生成全景视频的方法，其特 征在于，所述的将各个视频流中的同步帧都一一对应起来在每个视频帧采集时 都在相应音频轨道写入一个时间戳，通过这些时间戳将各个视频流中属于同一 时刻的帧都一一对应起来。5. 根据权利要求1所述的一种根...
【专利技术属性】
技术研发人员：庄越挺，陈铭，吴飞，姚琤，翁建广，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。