一种基于视频特征匹配的全景监控与PTZ摄像机联动方法技术

一种基于视频特征匹配的全景监控与PTZ摄像机联动方法，包括以下步骤：固定摄像机视频图像的拼接，即采用部分约束特征的方法将若干个固定摄像机在不同视角拍摄到的视频图像进行拼接，得到全景视频拼接图像；PTZ摄像机背景图像的形成，即PTZ摄像机按步长进行扫描，得到PTZ摄像机背景图像；固定摄像机视频拼接图像与PTZ摄像机背景图像进行特征匹配，即提取固定摄像机视频拼接图像和PTZ摄像机背景图像的特征点，进行特征匹配，并得到固定摄像机视频拼接图像与PTZ摄像机背景图像之间的映射关系；获取固定摄像机视频拼接图像上的点进行PTZ摄像机调度，即通过获取固定摄像机视频拼接图像上的点，将PTZ摄像机调度至该点，捕捉该点的细节信息。

【技术实现步骤摘要】
一种基于视频特征匹配的全景监控与PTZ摄像机联动方法
本专利技术涉及一种监控方法，特别是涉及一种视频监控的PTZ摄像机调度方法。
技术介绍
全景监控是指将一定范围内的视频资源进行整合，以单一视角提供给用户观测的技术，具有全景、全局的优点，对于指挥调度、掌控全局具有重要的意义。 目前的全景监控实现主要包括两种，一种是基于多摄像头的视频拼接，另一种是通过广角或者鱼眼摄像机实现大范围监控。 多摄像机的视频拼接是指应用若干个摄像机分别在固定视角拍摄后，将所得到的视频图像拼接，形成的视频全景图像。多摄像机的拼接目前以硬拼为主，要求摄像机必须摆放在近似同光心的位置上，通过摄像机的排放实现图像边缘对齐。在此基础上，根据图像特征进行Stitching方式，能够解决一定范围图像重叠情况下的拼接问题，但这种方式同样存在一定的局限性，一是对多摄像机的排放精度要求很高，二是对非同光心的视频无法找到足够的特征进行匹配。 广角或者鱼眼摄像机能够通过单一摄像机实现较广范围的监控，但也存在视频变形的缺点，通过畸变校正可以在一定程度上解决该问题，同时会导致的是图像边缘分辨率分布不均、模糊不清的问题。 如何在实现全景监控的前提下更准确的把握细节，对于视频监控系统有非常重要的意义，通过固定点摄像机联动、调度PTZ摄像机是对于场景进行细致观测的有效手段，目前完成该功能做法主要有两种:第一是通过将PTZ摄像机嵌入固定摄像机里面，形成1+1的模式，这种做法往往是中间嵌入的，固定摄像机会在中心监控区域形成盲区；第二种是分离式以标定形式实现的，通过在全景视频中以离散网格方式实现PTZ或者预置位对应，这种方式需要较大的用户配置工作量，而且准确性并不高。
技术实现思路
本专利技术的目的在于提供一种基于视频特征匹配的全景监控与PTZ摄像机联动方法，解决目前多摄像机的视频拼接所遇到的局限性问题，实现了基于全景监控的快速PTZ摄像机联动调度部署。 针对上述要解决的问题，本专利技术提供的一种基于视频特征匹配的全景监控与PTZ摄像机 联动方法，包括以下步骤: 步骤S1、固定摄像机视频图像的拼接，采用部分约束特征的方法，将若干个固定摄像机在不同视角拍摄到的视频图像进行拼接，得到一幅全景监控的固定摄像机视频拼接图像； 步骤S2、PTZ摄像机背景图像的形成，PTZ摄像机按步长进行扫描，得到若干个扫描背景子图像，根据得到若干个扫描背景子图像重建PTZ摄像机背景图像，并实现PTZ摄像机背景图像和PTZ摄像机背景图像PTZ信息的对应； 步骤S3、固定摄像机视频拼接图像与PTZ摄机背景图像进行特征匹配，提取步骤SI和步骤S2分别得到的固定摄像机视频拼接图像和PTZ摄像机背景图像的特征点，进行特征匹配，并得到固定摄像机视频拼接图像与PTZ摄像机背景图像之间的映射关系； 步骤S4、获取固定摄像机视频拼接图像上的点进行PTZ摄像机调度，通过获取固定摄像机视频拼接图像上的点，将PTZ摄像机调度至该点，捕捉该点的信息。 步骤S1、即固定摄像机视频图像的拼接，包括以下步骤: 步骤S11、自动匹配，获取图像特征点后，通过以RANSAC方式将若干个相邻固定摄像机所拍摄的视频图像进行自动匹配，如果无法完成匹配或者匹配结果有问题，则转至步骤S12、手动选择匹配线，否则结束； 步骤S12、手动选择匹配线，手动选择相邻固定摄像机视频拼接图像中的对应匹配线(a)和(a' ), (b)和(b')； 步骤S13、局部特征点查找，通过诸如SIFT、SURF、0RB等的特征点检测方法在匹配线及附近进行特征点查找，并通过诸如RANSAC的方法，将所查找到的对应特征点进行特征点匹配； 步骤S14、RANSAC匹配，根据步骤S13得到的匹配特征点进行计算，得到图像的映射关系，即图像间的变换矩阵，根据得到的变换矩阵进行处理，得到拼接结果，如果无法完成匹配或者匹配结果有问题，则转至步骤S15、匹配线调整编辑拼接，否则算法结束； 步骤S15、匹配线调整编辑拼接，无法完成有效自动匹配时，则对匹配线进行调整编辑，以对应匹配线为基准，匹配线对齐，对图像进行上下、左右按权重比例拉伸变换，而得到拼接结果。 基于步骤S2中PTZ摄像机背景图像与PTZ摄像机背景图像PTZ信息的对应关系，形成固定摄像机视频拼接图像和PTZ摄像机PTZ之间的映射关系。 采用本专利技术提供的基于视频特征匹配的全景监控与PTZ摄像机联动方法，由于步骤Si采用部分约束特征的方法，避免了传统拼接方法无法找到合适的匹配特征点而导致的错误匹配或无法匹配的问题；步骤S15所采用的匹配线调整编辑拼接方法，提供了在没有充分匹配条件前提下的一种折中方案，对于不是在同一视角拍摄的图像或视频，完成了大致的拼接对应；由于步骤S2根据PTZ摄像机扫描的若干个扫描背景子图像，重建PTZ摄像机背景图像，实现了 PTZ摄像机背景图像和PTZ摄像机背景图像PTZ信息的对应；由于步骤S2实现了 PTZ摄像机背景图像和PTZ摄像机背景图像PTZ信息的对应，因此步骤S3基于RANSAC方法对固定摄像机视频拼接图像和PTZ摄像机背景图像进行特征点匹配，结合PTZ摄像机视频背景图像与PTZ摄像机视频背景图像PTZ信息的对应关系，得到固定摄像机视频拼接图像和PTZ摄像机PTZ之间的映射关系；由于在步骤S3建立了固定摄像机视频拼接图像和PTZ摄像机PTZ之间的映射关系，因此在固定摄像机视频拼接图像获取点时，可将PTZ摄像机调度到该点上,捕捉该点信息。 下面结合附图对本专利技术一种基于视频特征匹配的全景监控与PTZ摄像机联动方法作进一步说明。 【附图说明】 图1是基于视频特征匹配的全景监控与PTZ摄像机联动方法的原理图； 图2是固定摄像机视频图像拼接的流程图； 图3是第一固定摄像机的拍摄图； 图4是第二固定摄像机的拍摄图； 图5是第三固定摄像机的拍摄图； 图6是图3、图4和图5的拼接图； 图7是球机按步长形成的视频背景图像； 图8是图7中任意两个扫描背景子图像的示意图； 图9是图6和图7的匹配示意图； 图10是基于固定摄像机视频拼接图像实现球机调度的示意图。 【具体实施方式】 如图1所示，本专利技术，即一种基于视频特征匹配的全景监控与PTZ摄像机联动方法，包括以下步骤: 步骤S1、固定摄像机视频图像的拼接； 步骤S2、PTZ摄像机背景图像的形成； 步骤S3、固定摄像机的视频拼接图像与PTZ摄机背景图像进行特征匹配； 步骤S4、获取固定摄像机视频拼接图像上的点进行PTZ摄像机调度； 本实施例中的PTZ摄像机，选用球机；在步骤SI中，采用部分约束特征的方法，将若干个固定摄像机在不同视角拍摄到的视频图像进行拼接，最终得到一幅全景视频拼接图像；接着，步骤S2中，将球机按步长进行扫描，得到若干个扫描背景子图像，并根据所得到的若干个扫描背景子图像重建球机的背景图像，实现球机背景图像和球机背景图像PTZ信息的对应；接着，在步骤S3中，提取固定摄像机视频拼接图像和球机背景图像的对应SIFT特征点，并进行特征匹配，得到固定摄像机视频图像与球机背景图像之间的映射关系；最后，通过点击固定摄像机视频拼接图像，将球机调度至该点，捕捉该点本文档来自技高网...

【技术保护点】
一种基于视频特征匹配的全景监控与PTZ摄像机联动方法，其特征在于，包括以下步骤：步骤S1、固定摄像机视频图像的拼接，采用部分约束特征的方法，将若干个固定摄像机在不同视角拍摄到的视频图像进行拼接，得到一幅全景监控的固定摄像机视频拼接图像；步骤S2、PTZ摄像机背景图像的形成，PTZ摄像机按步长进行扫描，得到若干个扫描背景子图像，根据得到若干个扫描背景子图像重建PTZ摄像机背景图像，并实现PTZ摄像机背景图像和PTZ摄像机背景图像PTZ信息的对应；步骤S3、固定摄像机视频拼接图像与PTZ摄机背景图像进行特征匹配，提取步骤S1和步骤S2分别得到的固定摄像机视频拼接图像和PTZ摄像机背景图像的特征点，进行特征匹配，并得到固定摄像机视频拼接图像与PTZ摄像机背景图像之间的映射关系；步骤S4、获取固定摄像机视频拼接图像上的点进行PTZ摄像机调度，通过获取固定摄像机视频拼接图像上的点，将PTZ摄像机调度至该点，捕捉该点的信息。

【技术特征摘要】
1.一种基于视频特征匹配的全景监控与PTZ摄像机联动方法，其特征在于，包括以下步骤:步骤S1、固定摄像机视频图像的拼接，采用部分约束特征的方法，将若干个固定摄像机在不同视角拍摄到的视频图像进行拼接，得到一幅全景监控的固定摄像机视频拼接图像；步骤S2、PTZ摄像机背景图像的形成，PTZ摄像机按步长进行扫描，得到若干个扫描背景子图像，根据得到若干个扫描背景子图像重建PTZ摄像机背景图像，并实现PTZ摄像机背景图像和PTZ摄像机背景图像PTZ信息的对应； 步骤S3、固定摄像机视频拼接图像与PTZ摄机背景图像进行特征匹配，提取步骤SI和步骤S2分别得到的固定摄像机视频拼接图像和PTZ摄像机背景图像的特征点，进行特征匹配，并得到固定摄像机视频拼接图像与PTZ摄像机背景图像之间的映射关系； 步骤S4、获取固定摄像机视频拼接图像上的点进行PTZ摄像机调度，通过获取固定摄像机视频拼接图像上的点，将PTZ摄像机调度至该点，捕捉该点的信息。2.根据权利要求1所述的一种基于视频特征匹配的全景监控与PTZ摄像机联动方法，其特征在于，步骤S1、即固定摄像机视频图像的拼接，包括以下步骤: 步骤S11、自动匹配，获取图像特征点后，通过以RANSAC方式将若干个相邻固定摄...

【专利技术属性】
技术研发人员：张政，周锋，刘舟，张贺，何浩，
申请(专利权)人：北京正安融翰技术有限公司，
类型：发明
国别省市：北京;11