三维监控系统中基于三维重构的交互式标定方法和装置制造方法及图纸

本发明专利技术公开了一种三维监控系统中基于三维重构的交互式标定方法和装置，其中方法包括：获取参考背景模型以及监控视频，并采集多个场景图像，并将监控视频对应的多个监控摄像机连接起来，其中，多个场景图像中至少一个场景图像与监控视频的现场有重叠部分；根据多个场景图像进行三维重构以生成场景的三维特征点云，并将三维特征点云嵌入至参考背景模型；估计监控视频的当前帧姿态，并进行监控摄像机的自动标定；以及计算当前帧姿态到参考背景模型的单应变换，并将图像投影嵌入至参考背景模型。该方法能够实现直观、方便和统一的三维视频监控效果。

【技术实现步骤摘要】

本专利技术涉及计算机视觉、图像处理等
，尤其涉及一种三维监控系统中基于三维重构的交互式标定方法以及装置。
技术介绍
目前，三维监控系统是智能监控系统中的一个前沿研究方向。三维监控系统将大量监控设备的视频画面实时嵌入到统一的参考背景模型中，整合所有的监控画面信息，形成对监控态势的整体认知和自由视角观察。相比传统的二维监控系统，监控人员无需面对数十甚至上百台监控屏幕，便能够快速获取摄像机的确切位置和监视内容，与现场环境建立对应。三维监控系统可支持多摄像机协同的高层智能分析，如目标检测与跟踪、异常事件检测等，在智能交通、智能安防、智能社区等领域中前景广阔。在三维监控系统的建立过程中，标定摄像机在三维参考背景模型中的位置姿态是核心环节。相关技术中，对于标定问题，其中一种是采用基于传感器的方法(如GPS、惯性导航、姿态传感器等)，这类方法依赖专门设备且精度不高。另外一种是基于计算机视觉的自动标定方法，该方法通常要求监控图象间有足够的重叠视场，利用运动匹配或特征匹配的方法标定摄像机间的相对位姿。若将上述标定方法直接用于匹配摄像机图像与参考背景模型图像时，常因为二者差异过大或缺乏对应目标运动信息而失败。然而，已有的三维监控系统多采用交互式标定的方法，逐一建立每个摄像机与参考背景模型的对应关系，结合几何计算得到摄像机的位姿。但是，这种方法工作量大(如正比于摄像机数量)，且仅适合静态摄像机，无法处理摄像机扰动和主动相机(Pan-Tilt-Zoom，PTZ)的运动。
技术实现思路
本专利技术的目的旨在至少在一定程度上解决上述的技术问题之一。为此，本专利技术的第一个目的在于提出一种三维监控系统中基于三维重构的交互式标定方法。该方法通过一次性离线采集场景图像并进行三维重构，然后加入简单的人工标定点(如≥4个点)便可以在线自动标定多个目标摄像机并将其监控画面嵌入至参考背景模型中，能够实现直观、方便和统一的三维视频监控效果。本专利技术的第二个目的在于提出一种三维监控系统中基于三维重构的交互式标定装置。为了实现上述目的，本专利技术第一方面实施例的三维监控系统中基于三维重构的交互式标定方法，包括：获取参考背景模型以及监控视频，并采集多个场景图像，并将所述监控视频对应的多个监控摄像机连接起来，其中，所述多个场景图像中至少一个场景图像与所述监控视频的现场有重叠部分；根据所述多个场景图像进行三维重构以生成场景的三维特征点云，并将所述三维特征点云嵌入至所述参考背景模型；估计所述监控视频的当前帧姿态，并进行监控摄像机的自动标定；以及计算所述当前帧姿态到所述参考背景模型的单应变换，并将图像投影嵌入至所述参考背景模型。根据本专利技术实施例的三维监控系统中基于三维重构的交互式标定方法，可快速自动地估计多个摄像机在参考背景模型中的位姿，并能够克服图像运动(如扰动或者主动相机等)带来的影响；不同于传统的人工逐一标定目标摄像机的复杂交互方式，通过引入了三维特征点云作为中间层，仅需一次性建立三维点云与参考背景模型间的几何变换关系，之后可借助该三维点云就能自动标定每一个目标摄像机，显著降低了工作量。另外，除静态摄像机外，还可以自动处理摄像机运动的情况。为了实现上述目的，本专利技术第二方面实施例的三维监控系统中基于三维重构的交互式标定装置，包括：获取模块，用于获取参考背景模型以及监控视频；采集模块，用于采集多个场景图像，其中，所述多个场景图像中至少一个场景图像与所述监控视频的现场有重叠部分；连接模块，用于将所述监控视频对应的多个监控摄像机连接起来；生成模块，用于根据所述多个场景图像进行三维重构以生成场景的三维特征点云；嵌入模块，用于将所述三维特征点云嵌入至所述参考背景模型；估计模块，用于估计所述监控视频的当前帧姿态，并进行监控摄像机的自动标定；以及计算模块，用于计算所述当前帧姿态到所述参考背景模型的单应变换，并将图像投影嵌入至所述参考背景模型。根据本专利技术实施例的三维监控系统中基于三维重构的交互式标定装置，可快速自动地估计多个摄像机在参考背景模型中的位姿，并能够克服图像运动(如扰动或者主动相机等)带来的影响；不同于传统的人工逐一标定目标摄像机的复杂交互方式，通过引入了三维特征点云作为中间层，仅需一次性建立三维点云与参考背景模型间的几何变换关系，之后可借助该三维点云就能自动标定每一个目标摄像机，显著降低了工作量。另外，除静态摄像机外，还可以自动处理摄像机运动的情况。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，图1是根据本专利技术一个实施例的三维监控系统中基于三维重构的交互式标定方法的流程图；图2是根据本专利技术实施例的估计监控视频的当前帧姿态的流程图；图3是根据本专利技术实施例的单应变换的计算以及图像投影嵌入到参考背景模型的流程图；图4是根据本专利技术一个具体实施例的三维监控系统中基于三维重构的交互式标定方法的示例图；以及图5是根据本专利技术一个实施例的三维监控系统中基于三维重构的交互式标定装置的结构框图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参考附图描述根据本专利技术实施例的三维监控系统中基于三维重构的交互式标定方法以及装置。图1是根据本专利技术一个实施例的三维监控系统中基于三维重构的交互式标定方法的流程图。如图1所示，该三维监控系统中基于三维重构的交互式标定方法可以包括：S101，获取参考背景模型以及监控视频，并采集多个场景图像，并将监控视频对应的多个监控摄像机连接起来，其中，多个场景图像中至少一个场景图像与监控视频的现场有重叠部分。其中，在本专利技术的实施例中，参考背景模型可以是场景的三维模型或者场景三维模型的某一视图，具体可以是卫星地图或三维地图的某一视角。此外，在本专利技术的实施例中，获取监控视频和场景图像的采集设备可以是相机、手机、PTZ镜头、全景采集设备等。可以理解，场景图像中至少一些与监控视频的视场有一定的重叠部分，以便后续的图像定位能够顺利进行。此外，在本专利技术的实施例中，术语“多个”可进行广义理解，即对应足够多的数量。S102，根据多个场景图像进行三维重构以生成本文档来自技高网...

【技术保护点】
一种三维监控系统中基于三维重构的交互式标定方法，其特征在于，包括以下步骤：获取参考背景模型以及监控视频，并采集多个场景图像，并将所述监控视频对应的多个监控摄像机连接起来，其中，所述多个场景图像中至少一个场景图像与所述监控视频的现场有重叠部分；根据所述多个场景图像进行三维重构以生成场景的三维特征点云，并将所述三维特征点云嵌入至所述参考背景模型；估计所述监控视频的当前帧姿态，并进行监控摄像机的自动标定；以及计算所述当前帧姿态到所述参考背景模型的单应变换，并将图像投影嵌入至所述参考背景模型。

【技术特征摘要】
1.一种三维监控系统中基于三维重构的交互式标定方法，其特征在于，包括以下步骤：
获取参考背景模型以及监控视频，并采集多个场景图像，并将所述监控视频对应的多
个监控摄像机连接起来，其中，所述多个场景图像中至少一个场景图像与所述监控视频的
现场有重叠部分；
根据所述多个场景图像进行三维重构以生成场景的三维特征点云，并将所述三维特征
点云嵌入至所述参考背景模型；
估计所述监控视频的当前帧姿态，并进行监控摄像机的自动标定；以及
计算所述当前帧姿态到所述参考背景模型的单应变换，并将图像投影嵌入至所述参考
背景模型。
2.如权利要求1所述的方法，其特征在于，根据所述多个场景图像进行三维重构以生
成场景的三维特征点云具体包括：
对所述多个场景图像提取对应的SIFT特征点；
根据所述SIFT特征点进行图像特征匹配，并根据RANSAC框架估计基础矩阵，其中，
所述基础矩阵用于去噪；
根据通用的三维重构算法对所述基础矩阵进行三维重构，得到所述场景的三维特征点
云。
3.如权利要求2所述的方法，其特征在于，还包括：
对所述三维特征点云的特征建立索引树；
估计所述场景的地平面方程L，以便计算摄像机监控画面投影到所述场景的地平面上
的可视区域。
4.如权利要求1所述的方法，其特征在于，将所述三维特征点云嵌入至所述参考背景
模型，具体包括：
估计所述三维特征点云与所述参考背景模型之间的几何关系，以便将标定的摄像机嵌
入至所述参考背景模型中。
5.如权利要求1所述的方法，其特征在于，估计所述监控视频的当前帧姿态，并进行
监控摄像机的自动标定，具体包括：
提取所述监控视频对应的当前帧的图像特征，并根据所述当前帧判断是否存在对应的
已知姿态的参考帧；
如果存在，则将所述当前帧与所述参考帧进行2D-2D特征匹配；
如果2D-2D特征匹配失败或者所述参考帧不存在，则将所述监控视频与所述三维特征

\t点云进行2D-3D特征匹配，并根据匹配关系估计所述当前帧对应摄像机在点云坐标系中的
位姿，并更新所述参考帧；
如果2D-2D匹配成功，则根据RANSAC框架计算所述当前帧与所述参考帧的相对运动，
并根据所述当前帧与所述参考帧的相对运动估计所述当前帧姿态PK；
计算所述当前帧相对所述参考帧的相对运动，并在所述当前帧相对所述参考帧的相对
运动大于预设阈值时，根据所述当前帧更新所述参考帧。
6.如权利要求3所述的方法，其特征在于，计算所述当前帧姿态到所述参考背景模型
的单应变换，并将图像投影嵌入至所述参考背景模型，具体包括：
根据所述地平面方程L和所述监控视频的当前帧姿态PK计算地面消隐线，并根据所述
消隐线切割当前帧图像平面，得到需要投影的区域；
计算所述当前帧姿态PK与虚拟视角摄像机P∞由所述地平面方程L引导的单应变换；
根据所述单应变换将所述需要投影的区域嵌...

【专利技术属性】
技术研发人员：周杰，邓磊，赖伟良，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11