一种监控场景下实时视频的拼接方法技术

技术编号:20370233 阅读:23 留言:0更新日期:2019-02-16 20:20
本发明专利技术公开了一种监控场景下实时视频的拼接方法,具体包括以下步骤,采集待拼接视频,对待拼接视频进行分帧处理得到视频帧;通过融合形成起始时刻拼接图像和普通拼接图像;将输出的起始时刻拼接图像和普通拼接图像转化为视频文件。本发明专利技术一种监控场景下实时视频的拼接方法简单高效,在进行实时视频采集的同时,实时进行视频拼接,满足同时对同一监控场景不同角度观看的需求。

A Mosaic Method of Real-time Video in Monitoring Scene

The invention discloses a real-time video mosaic method in a monitoring scene, which includes the following steps: collecting video to be mosaic, subframe processing of mosaic video to obtain video frames; forming mosaic image and common mosaic image at the start time by fusion; transforming output mosaic image and common mosaic image into video files. The method of real-time video mosaic in the monitoring scene is simple and efficient. While real-time video acquisition is carried out, real-time video mosaic is carried out to meet the requirements of viewing the same monitoring scene from different angles at the same time.

【技术实现步骤摘要】
一种监控场景下实时视频的拼接方法
本专利技术属于视频拼接
,涉及一种监控场景下实时视频的拼接方法。
技术介绍
随着网络和多媒体技术的快速发展,各种视频、图像应用技术进入人们生活之中,其中视频占据了重要的部分。人们对大场景高分辨率的视频图像信息的需求十分迫切。人们通常用鱼眼镜头等广角设备来获得大场景的视频,但是画面会出现严重的变形,并且这类设备通常比较昂贵。视频拼接可以很好地解决这个问题,而且方法简单、成本低、效果好。无论是在军事领域上还是在民用领域,如监控、指挥、调度、公安、消防、铁路、医学、航空等,都有着广泛的应用。监控场景下我们时常需要获得监控区域的全景视频,但是由于单个的摄像设备只能看到局部的场景视频,如果通过移动的云台来观察四周的场景,只能在某一时刻得到某一个局部视野,不能满足同时对同一监控场景不同角度观看的需求。
技术实现思路
本专利技术的目的是提供一种监控场景下实时视频的拼接方法,能够满足同时对同一监控场景不同角度观看的需求。本专利技术所采用的技术方案是,一种监控场景下实时视频的拼接方法,具体包括以下步骤:采集待拼接视频,对待拼接视频进行分帧处理得到视频帧,时间对应的视频帧为相应视频帧对;判断起始时刻相应视频帧对之间是否存在绝对单应性矩阵,若起始时刻相应视频帧对之间存在绝对单应性矩阵,则利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成拼接图像;若起始时刻相应视频帧对之间不存在绝对单应性矩阵,则找到起始时刻相应视频帧对的特征匹配点对,求出起始时刻相应视频帧对的仿射变换矩阵,将起始时刻相应视频帧对的仿射变换矩阵值赋给其绝对单应性矩阵,利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成起始时刻拼接图像,输出起始时刻拼接图像;除起始时刻外的相应视频帧对为普通相应视频帧对,普通相应视频帧对的绝对单应性矩阵值与上一时刻的相应视频帧对的绝对单应性矩阵值相等,根据普通相应视频帧对的绝对单应性矩阵值,利用多分辨率融合算法将普通相应视频帧对进行融合形成普通拼接图像;对普通拼接图像进行融合质量评估,判断是否符合设置要求,若普通拼接图像符合设置要求,则输出普通拼接图像;若普通拼接图像不符合设置要求,则找到该普通相应视频帧对的特征匹配点对,求出该普通相应视频帧对的仿射变换矩阵,将该普通相应视频帧对的仿射变换矩阵的值赋给其绝对单应性矩阵,利用多分辨率融合算法将该普通相应视频帧对进行融合形成普通拼接图像,普通拼接图像融合质量评估符合设置要求,输出普通拼接图像;将输出的起始时刻拼接图像和普通拼接图像转化为视频文件。本专利技术的特点还在于,相应视频帧对的视频帧重叠区域大于视频帧图像的20%。找到起始时刻相应视频帧对的特征匹配点对,求出起始时刻相应视频帧对的仿射变换矩阵具体为,利用FAST角点检测算法对起始时刻相应视频帧对进行角点检测,找出特征点;利用rBRIEF算法,对特征点进行特征描述,并且根据特征点描述找出特征点匹配点对;利用RANSAC算法提出错误的匹配点对,对特征点对进行提纯,得到优化后的匹配点对;利用反向误差最小的方法,求解出放射变换矩阵;找到该相应视频帧对的特征匹配点对,求出该普通相应视频帧对的仿射变换矩阵同理。利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成起始时刻拼接图像具体为,利用起始时刻相应视频帧的绝对单应性矩阵值计算起始时刻相应视频帧对之间的视频帧重叠区域;用最佳缝合线法将重叠区域划分为缝合区和过渡区,在过渡区中使用加权平均算法融合进行平滑过渡,在缝合区域使用多分辨率融合算法进行融合,得到起始时刻拼接图像;利用多分辨率融合算法将普通相应视频帧对进行融合形成普通拼接图像同理。对普通拼接图像进行融合质量评估,判断是否符合设置要求具体为,采用DoEM边缘差分谱算法对普通拼接图像的DoEM值进行评估,若DoEM值大于设置的域值,则普通拼接图像符合设置要求,否则普通拼接图像不符合设置要求。将输出的起始时刻拼接图像和普通拼接图像转化为视频文件具体为,通过cvCreateVideoWriter函数创建一个视频结构体指针cvvideowriter,设置视频的大小、帧率、编码方式;利用opencv库中的cvWriteFrame函数将起始时刻拼接图像和普通拼接图像的每一帧图像的信息保存到opencv库中的视频结构体指针,完成拼接图像转化为视频文件。本专利技术的有益效果是,本专利技术一种监控场景下实时视频的拼接方法简单高效,能够通过常见的视频采集设备,如摄像头和计算机,在进行实时视频采集的同时,实时进行视频拼接,满足同时对同一监控场景不同角度观看的需求;本专利技术利用图像拼接质量评价对结果进行判断,根据结果对绝对单应性矩阵进行更新,使得本专利技术可以对一些突发情况,例如监控摄像头被移动物体碰撞导致的摄像头偏移,具有一定的适应能力,并且可以及时纠正错误仿射变换矩阵,达到实时拼接,具有较高的实用价值。具体实施方式下面结合具体实施方式对本专利技术进行详细说明。一种监控场景下实时视频的拼接方法,具体包括以下步骤:采集待拼接视频,对待拼接视频进行分帧处理得到视频帧,时间对应的视频帧为相应视频帧对,相应视频帧对的视频帧重叠区域大于视频帧图像的20%。判断起始时刻相应视频帧对之间是否存在绝对单应性矩阵,若起始时刻相应视频帧对之间存在绝对单应性矩阵,则利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成拼接图像;若起始时刻相应视频帧对之间不存在绝对单应性矩阵,则找到起始时刻相应视频帧对的特征匹配点对,求出起始时刻相应视频帧对的仿射变换矩阵,将起始时刻相应视频帧对的仿射变换矩阵值赋给其绝对单应性矩阵,利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成起始时刻拼接图像,输出起始时刻拼接图像;除起始时刻外的相应视频帧对为普通相应视频帧对,普通相应视频帧对的绝对单应性矩阵值与上一时刻的相应视频帧对的绝对单应性矩阵值相等,根据普通相应视频帧对的绝对单应性矩阵值,利用多分辨率融合算法将普通相应视频帧对进行融合形成普通拼接图像;对普通拼接图像进行融合质量评估,判断是否符合设置要求,若普通拼接图像符合设置要求,则输出普通拼接图像;若普通拼接图像不符合设置要求,则找到该普通相应视频帧对的特征匹配点对,求出该普通相应视频帧对的仿射变换矩阵,将该普通相应视频帧对的仿射变换矩阵的值赋给其绝对单应性矩阵,利用多分辨率融合算法将该普通相应视频帧对进行融合形成普通拼接图像,普通拼接图像融合质量评估符合设置要求,输出普通拼接图像。将输出的起始时刻拼接图像和普通拼接图像转化为视频文件,具体通过cvCreateVideoWriter函数创建一个视频结构体指针cvvideowriter,设置视频的大小、帧率、编码方式;利用opencv库中的cvWriteFrame函数将起始时刻拼接图像和普通拼接图像的每一帧图像的信息保存到opencv库中的视频结构体指针,完成拼接图像转化为视频文件。找到起始时刻相应视频帧对的特征匹配点对,求出起始时刻相应视频帧对的仿射变换矩阵具体为,利用FAST角点检测算法对起始时刻相应视频帧对进行角点检测,找出特征点;利用rBRIEF算法,对特征点进行特征描述,并且根据特征点描述找出特征点匹配点对;利用RANSAC算法提出错误的匹配点对,对特征点对进行提本文档来自技高网...

【技术保护点】
1.一种监控场景下实时视频的拼接方法,其特征在于,具体包括以下步骤:采集待拼接视频,对所述待拼接视频进行分帧处理得到视频帧,时间对应的视频帧为相应视频帧对;判断起始时刻相应视频帧对之间是否存在绝对单应性矩阵,若起始时刻相应视频帧对之间存在绝对单应性矩阵,则利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成拼接图像;若起始时刻相应视频帧对之间不存在绝对单应性矩阵,则找到起始时刻相应视频帧对的特征匹配点对,求出所述起始时刻相应视频帧对的仿射变换矩阵,将所述起始时刻相应视频帧对的仿射变换矩阵值赋给其绝对单应性矩阵,利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成起始时刻拼接图像,输出所述起始时刻拼接图像;除起始时刻外的相应视频帧对为普通相应视频帧对,普通相应视频帧对的绝对单应性矩阵值与上一时刻的相应视频帧对的绝对单应性矩阵值相等,根据普通相应视频帧对的绝对单应性矩阵值,利用多分辨率融合算法将所述普通相应视频帧对进行融合形成普通拼接图像;对所述普通拼接图像进行融合质量评估,判断是否符合设置要求,若所述普通拼接图像符合设置要求,则输出所述普通拼接图像;若所述普通拼接图像不符合设置要求,则找到该普通相应视频帧对的特征匹配点对,求出该普通相应视频帧对的仿射变换矩阵,将该普通相应视频帧对的仿射变换矩阵的值赋给其绝对单应性矩阵,利用多分辨率融合算法将该普通相应视频帧对进行融合形成普通拼接图像,所述普通拼接图像融合质量评估符合设置要求,输出所述普通拼接图像;将输出的所述起始时刻拼接图像和所述普通拼接图像转化为视频文件。...

【技术特征摘要】
1.一种监控场景下实时视频的拼接方法,其特征在于,具体包括以下步骤:采集待拼接视频,对所述待拼接视频进行分帧处理得到视频帧,时间对应的视频帧为相应视频帧对;判断起始时刻相应视频帧对之间是否存在绝对单应性矩阵,若起始时刻相应视频帧对之间存在绝对单应性矩阵,则利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成拼接图像;若起始时刻相应视频帧对之间不存在绝对单应性矩阵,则找到起始时刻相应视频帧对的特征匹配点对,求出所述起始时刻相应视频帧对的仿射变换矩阵,将所述起始时刻相应视频帧对的仿射变换矩阵值赋给其绝对单应性矩阵,利用多分辨率融合算法将起始时刻相应视频帧对进行融合形成起始时刻拼接图像,输出所述起始时刻拼接图像;除起始时刻外的相应视频帧对为普通相应视频帧对,普通相应视频帧对的绝对单应性矩阵值与上一时刻的相应视频帧对的绝对单应性矩阵值相等,根据普通相应视频帧对的绝对单应性矩阵值,利用多分辨率融合算法将所述普通相应视频帧对进行融合形成普通拼接图像;对所述普通拼接图像进行融合质量评估,判断是否符合设置要求,若所述普通拼接图像符合设置要求,则输出所述普通拼接图像;若所述普通拼接图像不符合设置要求,则找到该普通相应视频帧对的特征匹配点对,求出该普通相应视频帧对的仿射变换矩阵,将该普通相应视频帧对的仿射变换矩阵的值赋给其绝对单应性矩阵,利用多分辨率融合算法将该普通相应视频帧对进行融合形成普通拼接图像,所述普通拼接图像融合质量评估符合设置要求,输出所述普通拼接图像;将输出的所述起始时刻拼接图像和所述普通拼接图像转化为视频文件。2.根据权利要求1所述的一种监控场景下实时视频的拼接方法,其特征在于,所述相应视频帧对的视频帧重叠区域大于视频帧图像的20%。3.根据权利要求1所述的一种监控场景下实时视频的拼接方法,其特征在于,所述找到起始时刻相应视频帧对的特征匹配点对,求出所述起始时刻相应视频帧对...

【专利技术属性】
技术研发人员:王林王超凡
申请(专利权)人:西安理工大学
类型:发明
国别省市:陕西,61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1