一种基于场景结构分析的城市监控视频融合方法技术

本发明专利技术提供一种基于场景结构分析的城市监控视频融合方法，针对固定摄像头进行的配准过程，包括首先进行监控场景结构分析过程，然后基于场景结构特征分析结果，寻找三维模型纹理与实时视频场景中典型结构的匹配关系和摄像头内外参数，确定相应图像配准信息，实现固定摄像机实时监控视频的融合显示；针对可控摄像头进行的配准过程，包括建立动态全景索引图并记录配准参考点信息，在实时匹配过程中根据动态全景索引图快速查找配准参考点，获取正确的配准信息，从而实现可控摄像机实时监控视频的融合显示。本发明专利技术通过场景结构保证视频配准融合的准确性和鲁棒性；同时通过动态全景图快速找到配准参考点，实现实时监控视频的融合。

A method of Video Fusion Based on scene structure analysis

The present invention provides a fusion method of city surveillance video based on structural analysis, according to the registration process of fixed camera, including the first analysis of process monitoring of scene structure and scene structure characteristics based on the results of the analysis, find the matching relation and the camera internal and external parameters of the typical structure of 3D model and texture real-time video scene, determine the corresponding image registration information display, realize the integration of real-time monitoring of video camera is fixed; the registration process for controlled cameras, including the establishment of panorama index map and record registration reference information in real-time matching process according to the panorama index map to quickly find the registration point of reference for the correct registration information, so as to realize the real-time monitoring of video camera controllable fusion display the. The invention can ensure the accuracy and the robustness of the video registration and fusion through the scene structure, and simultaneously realizes the real-time monitoring video fusion through the dynamic panorama.

【技术实现步骤摘要】

本专利技术涉及计算机视觉及增强现实
，尤其是一种基于场景结构分析的城市监控视频融合方法。
技术介绍
随着社会对安全需求的日益重视和提高，视频监控在现实生活中的应用越来越广，作用也越来越大。目前传统视频监控系统采用在多个屏幕(电视墙)上显示监控视频流，由于缺乏摄像头位置信息的直观显示，监视人员无法及时将众多屏幕上显示的监控图像进行内容和位置的关联分析和判断。基于增强虚拟环境(AugmentedVirtualEnvironment,AVE)的三维全景监控技术，能够将实时监控视频与监控区域三维虚拟模型进行配准融合，形成较单个摄像头视域广得多的大场景监控画面，并提供监控位置感知和定位功能，对监控区域的宏观态势感知和展示具有重要意义。基于AVE的视频监控技术的核心在于监控视频实时融合问题，即如何快速、高效、准确地实现监控视频与监控区域三维模型的精确融合。然而，在城市户外复杂监控场景下，由于光照、遮挡、图像质量等环境因素，监控视频的实时融合与配准算法的准确性和鲁棒性尚无法得到有效保证；另一方面，摄像机的运动姿态可能变化，此时视频融合系统应实时提供最佳虚拟视角的视频融合画面。但由于视频配准算法的计算量大，视频融合算法的实时性问题也成为亟需解决的主要问题。在实际的视频监控应用中，监控场景往往是复杂和多变的，AVE系统的发展和应用受到了严重制约。针对固定摄像机监控视频实时融合问题，目前主要有基于图像特征匹配的视频配准与融r>合方法和基于能量反馈的视频配准方法两大类。基于图像特征匹配的方法被广泛应用于现有的各种商业系统中，如GoogleEarth、微软虚拟地球等。主要是将摄像机拍摄的2D图像能够以纹理的形式映射到三维模型中的对应位置。基于摄像机标定和能量反馈的视频配准方法通过人工指定视频和模型之间的点线对应关系，利用射影几何知识自动求解摄像机内外参数，再将这些内参数和外参数关联到模型中的虚拟摄像机上，从而实现固定摄像机的视频投影。目前存在的主要问题是对摄像机的安装位置和角度条件过于苛刻，尤其是在城市室外复杂监控环境，结果容易受到光照和背景的影响，在实际应用中缺乏鲁棒性，摄像头标定的工作量也相当可观。对于可控摄像机，摄像机运动姿态的变化要求视频融合方法能够进行动态配准，一类方法是根据摄像机姿态估计结果，将模型中的多边形平面投影到视频帧中，形成局部边缘增强的图像，并计算图像的方向能量，选择方向能量最小的姿态估计为可控摄像机的最佳姿态估计，并进而实现可控摄像机的视频投影；另外一种是基于全景图匹配的视频实时准算法，其主要思路是首先创建一组不同焦距模式下的全景图，通过手工方式选择2D点、线特征并标记其在3D模型中的对应位置，计算全景图与三维模型的配准关系。在摄像机姿态发生变化时，通过图像特征匹配的方式，寻找实时图像与全景图的最佳匹配，进而完成配准工作。现有方法主要问题是实时融合中需要进行大量特征提取和匹配运算，具有较大的处理时延，实时性要求无法满足。综上所述，现有研究尚无法完全满足城市户外复杂监控场景下，光照、遮挡、图像质量对监控视频的实时融合要求，准确性、鲁棒性和实时性亟缺乏保证。
技术实现思路
为了克服现有技术的不足，有效保证城市户外复杂监控场景下监控视频融合的准确性、鲁棒性和实时性，本专利技术提出了一种基于场景结构分析的城市监控视频融合方法，通过场景结构分析和动态全景图索引解决固定摄像机和可控摄像机的视频融合问题。本专利技术的技术方案提供一种基于场景结构分析的城市监控视频融合方法，根据摄像头类型进行相应配准过程，摄像头类型包括固定摄像头和可控摄像头，所述固定摄像头的位置和焦距都固定，针对固定摄像头进行的配准过程，包括首先进行监控场景结构分析过程，然后基于场景结构特征分析结果，寻找三维模型纹理与实时视频场景中典型结构的匹配关系和摄像头内外参数，确定相应图像配准信息，实现固定摄像机实时监控视频的融合显示；其中，所述监控场景结构分析过程包括以下步骤，步骤1.1，场景视觉修正，包括采用视频曝光度校正和视频颜色校正方法，对三维模型纹理图像和实时视频图像分别进行视觉修正；步骤1.2，低层场景结构特征提取与修补，包括对三维模型纹理图像和实时视频图像，分别基于特征检测方法和图像变换方法初步提取低层场景结构特征，通过特征聚类与合并处理，修补和优化低层场景结构特征信息；所谓低层结构特征为简单结构特征，包括点、线或面；步骤1.3，场景分类信息提取，包括针对实际监控视频场景，查询预先建立的城市典型监控场景结构分析数据库，获取场景分类相关信息，包括当前监控场景所属的场景类别，以及该类别场景所包含的典型场景结构；步骤1.4，高层场景结构特征提取，包括对三维模型纹理图像和实时视频图像，分别结合场景分类相关信息，确定当前监控场景应该提取的高层场景结构特征信息，提取相应的高层场景结构特征，并通过位置关联性分析，建立低层结构特征与高层结构特征的从属与关联关系；所谓高层结构特征指组成监控场景的场景结构元素，包括宏观物体或建筑；所述寻找三维模型纹理与实时视频场景中典型结构的匹配关系和摄像头内外参数，确定相应图像配准信息，实现方式如下，步骤2.1，关键场景结构选择，包括对三维模型纹理图像和实时视频图像，分别从场景结构特征分析结构中选择在监控场景中占主体部分的高层场景结构作为候选关键场景结构；步骤2.2，场景结构匹配，包括对三维模型纹理图像和实时视频图像，分别从候选关键场景结构中选择若干低层场景结构，根据2D-3D坐标配对信息，计算出若干投影矩阵和畸变参数实现投影参数估计，并对多组参数进行加权平均实现投影参数加权与优化，形成相应图像配准信息；所述可控摄像头的位置和焦距能够调整，可控摄像头的位置调整为水平转动或垂直转动，针对可控摄像头进行的配准过程，包括建立动态全景索引图并记录配准参考点信息，在实时匹配过程中根据动态全景索引图快速查找配准参考点，获取正确的配准信息，从而实现可控摄像机实时监控视频的融合显示；其中，所述构建动态全景索引图实现方式为，对摄像头水平/垂直范围等分为n个区间，获得n+1个摄像头可能所处的水平/垂直位置sj，j∈{0,1,2...,n本文档来自技高网...

【技术保护点】
一种基于场景结构分析的城市监控视频融合方法，其特征在于：根据摄像头类型进行相应配准过程，摄像头类型包括固定摄像头和可控摄像头，所述固定摄像头的位置和焦距都固定，针对固定摄像头进行的配准过程，包括首先进行监控场景结构分析过程，然后基于场景结构特征分析结果，寻找三维模型纹理与实时视频场景中典型结构的匹配关系和摄像头内外参数，确定相应图像配准信息，实现固定摄像机实时监控视频的融合显示；其中，所述监控场景结构分析过程包括以下步骤，步骤1.1，场景视觉修正，包括采用视频曝光度校正和视频颜色校正方法，对三维模型纹理图像和实时视频图像分别进行视觉修正；步骤1.2，低层场景结构特征提取与修补，包括对三维模型纹理图像和实时视频图像，分别基于特征检测方法和图像变换方法初步提取低层场景结构特征，通过特征聚类与合并处理，修补和优化低层场景结构特征信息；所谓低层结构特征为简单结构特征，包括点、线或面；步骤1.3，场景分类信息提取，包括针对实际监控视频场景，查询预先建立的城市典型监控场景结构分析数据库，获取场景分类相关信息，包括当前监控场景所属的场景类别，以及该类别场景所包含的典型场景结构；步骤1.4，高层场景结构特征提取，包括对三维模型纹理图像和实时视频图像，分别结合场景分类相关信息，确定当前监控场景应该提取的高层场景结构特征信息，提取相应的高层场景结构特征，并通过位置关联性分析，建立低层结构特征与高层结构特征的从属与关联关系；所谓高层结构特征指组成监控场景的场景结构元素，包括宏观物体或建筑；所述寻找三维模型纹理与实时视频场景中典型结构的匹配关系和摄像头内外参数，确定相应图像配准信息，实现方式如下，步骤2.1，关键场景结构选择，包括对三维模型纹理图像和实时视频图像，分别从场景结构特征分析结构中选择在监控场景中占主体部分的高层场景结构作为候选关键场景结构；步骤2.2，场景结构匹配，包括对三维模型纹理图像和实时视频图像，分别从候选关键场景结构中选择若干低层场景结构，根据2D‑3D坐标配对信息，计算出若干投影矩阵和畸变参数实现投影参数估计，并对多组参数进行加权平均实现投影参数加权与优化，形成相应图像配准信息；所述可控摄像头的位置和焦距能够调整，可控摄像头的位置调整为水平转动或垂直转动，针对可控摄像头进行的配准过程，包括建立动态全景索引图并记录配准参考点信息，在实时匹配过程中根据动态全景索引图快速查找配准参考点，获取正确的配准信息，从而实现可控摄像机实时监控视频的融合显示；其中，所述构建动态全景索引图实现方式为，对摄像头水平/垂直范围等分为n个区间，获得n+1个摄像头可能所处的水平/垂直位置sj，j∈{0,1,2...,n}；对摄像头的水平/垂直转动速度等分为m个区间，获得m+1个摄像头水平/垂直转动速度vi，i∈{0,1,2...m}；对摄像头变焦范围进行r等分，获得r+1个可能的摄像头焦距fl，l∈{0,1,2...,r}；进行以下步骤，1)初始化l＝0，i＝0，驱动可控摄像机从各起始位置sj分别转动到最大运动范围，j∈{0,1,2...,n}，在各转动过程中分别进行以下操作，记录经过每一个参考位置sk时的时间t和实时视频图像，k∈{j+1,j+2...,n}，然后运用对固定摄像头进行的配准过程，计算每一个参考位置sk时的图像配准信息，形成全过程的配准参考点信息(sj→sk,tk,vi,fl,camParamk,Pick)，其中tk表示摄像头以水平/垂直转动角速度从位置sj到达位置sk所需的时间，camParamk表示此位置sk的图像配准信息，Pick则表示此时的实时视频图像信息；最后将所有配准参考点对应的视频图像按照顺序进行拼接，构成一幅全景图；2)判断是否l＝r，若否则令i＝i+1，采用下一速度vi，返回步骤1)，若是则记录下可控摄像头在不同运动速度下的配准参考点信息及构建的全景图，进入3)；3)判断是否i＝m，若否则令l＝l+1，采用下一焦距fl，返回步骤1)、2)，是则记录下可控摄像头不同焦距模式下的动态配准参考点信息及相应的全景图，从而得到焦距fl和水平/垂直转动速度v为索引的动态全景索引图。...

【技术特征摘要】
1.一种基于场景结构分析的城市监控视频融合方法，其特征在于：根据摄像头类型进行相应
配准过程，摄像头类型包括固定摄像头和可控摄像头，
所述固定摄像头的位置和焦距都固定，针对固定摄像头进行的配准过程，包括首先进行
监控场景结构分析过程，然后基于场景结构特征分析结果，寻找三维模型纹理与实时视频场
景中典型结构的匹配关系和摄像头内外参数，确定相应图像配准信息，实现固定摄像机实时
监控视频的融合显示；
其中，
所述监控场景结构分析过程包括以下步骤，
步骤1.1，场景视觉修正，包括采用视频曝光度校正和视频颜色校正方法，对三维模型纹
理图像和实时视频图像分别进行视觉修正；
步骤1.2，低层场景结构特征提取与修补，包括对三维模型纹理图像和实时视频图像，分
别基于特征检测方法和图像变换方法初步提取低层场景结构特征，通过特征聚类与合并处理，
修补和优化低层场景结构特征信息；所谓低层结构特征为简单结构特征，包括点、线或面；
步骤1.3，场景分类信息提取，包括针对实际监控视频场景，查询预先建立的城市典型监
控场景结构分析数据库，获取场景分类相关信息，包括当前监控场景所属的场景类别，以及
该类别场景所包含的典型场景结构；
步骤1.4，高层场景结构特征提取，包括对三维模型纹理图像和实时视频图像，分别结合
场景分类相关信息，确定当前监控场景应该提取的高层场景结构...

【专利技术属性】
技术研发人员：赵刚，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北;42