一种基于双目摄像机的机场场面三维全景监视方法技术

一种基于双目摄像机的机场场面三维全景监视方法，它通过在机场场面上安装双目摄像机生成一个统一的三维全局机场场面态势监视场景，使机场场面管制人员对机场场面态势有更直观清晰的把握。首先要用双目摄像机覆盖需要监视的场面范围，并将这些摄像机进行预标定，根据双目视觉原理监视恢复出每个双目摄像机的视频帧图像对应的立体稠密点云，再将这些点去统一到三维世界坐标下，融合形成全景监视场景，最后可以将所有点云重建为表面三维模型，即网格(Mesh)化处理。在具体实现中，本方法采用一些特殊的设置处理，以提高本发明专利技术的计算效率和实用效果。

【技术实现步骤摘要】

本专利技术涉及计算机视觉技术和机场场面(Airport Surface)视频监视系统的视频监视关键
，具体涉及一种基于双目摄像机的机场场面三维全景监视方法。
技术介绍
本专利技术的
技术介绍
有两个方面：一、计算机视觉技术；二、机场场面监视技术。下面分别论述。一、计算机视觉技术计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息。形象地说，就是给计算机安装上眼睛（照相机）和大脑（算法），让计算机能够感知环境。计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。计算机视觉是一门综合性的学科，其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。本专利技术中用到的计算机视觉中的双目立体视觉测量技术。其原理是用两个摄像机各一个位置对同一场景取像，这被称为双目成像。此时两幅图像间所产生的视差可用来计算摄像机与视频中各个像素点在世界坐标中的距离。一个完整的立体视觉系统可以分成6个步骤，或者说分成6个模块，它们分别是：1）摄像机标定，2）视频采集，3）图像特征提取，4）立体匹配，5）3D重建，6）后处理。本专利技术也是基于这个框架采用这些步骤进行描述。本专利技术利用的也是上述的双目视觉原理，但更进一步地将多个双目视觉系统的结果融合起来形成一个更宽范围的监视平台。二、机场场面监视技术随着航空运输业的飞速发展，机场场面均需要专业的场面交通自动化管理系统。这些管制系统主要基于机场上建立的管制塔，场面监视雷达、ADS-B、多点定位等信息源，实现管制自动化功能。机场场面监视技术中目前最具代表的是A-SMGCS，即高级场面运动引导与控制系统(Advanced Surface Movement Guidance and Control Systems, A-SMGCS)综合采用了场面监视雷达、ADS-B、多点定位的多种场面监视技术，是一种能够增强地面活动的安全性全系统解决方案，是在低能见度下保证足够的交通流量的关键设备。它实现了大型机场塔台场面管制功能，涵盖了离港飞机从完成放行后移交地面、从停机位推出、滑行、排队、地面之间移交、移交塔台、入跑道、起飞这几个关键过程，也涵盖了进港飞机从落地、移交地面、滑行、穿越跑道、进入停机位的这几个过程。借助于多传感器信息融合和传感器协同管理和优化部署等关键技术，实现了雷达、ADS-B和MDS等异类信息的融合集成。这种技术中预留了与视频监视技术进行融合的接口，本专利技术的目的之一也是可以将本专利技术集成到A-SMGCS中去，提升A-SMGCS的监视能力，进一步保证机场场面运营的安全及效率。
技术实现思路
本专利技术的目的在于提出并设计一种基于双目PTZ摄像机（两个摄像机重叠监视同一场景）的机场场面三维全景监视新方法。这种方法的输入数据是：1）安装在机场上双目摄像机的视频；2）摄像机预先标定数据。经过本专利技术方法处理后，可以得到机场的全景三维数字模型，从而实现从任何角度位置的对机场场面进行监视的效果。本专利技术的目的是这样实现的：步骤一：摄像机标定，针对每一对双目摄像机中的每个摄像机进行预先标定，得到摄像机内参数Ki1和Ki2及畸变参数。步骤二：视频采集，将摄像机安装到机场相应的监视点位上，获得相应的视频。安装时，需测量两个摄像机之间的距离di。步骤三：图像特征提取，对每对摄像机获得的图像Ii1和Ii2计算其相应的特征点，计算方法采用BRISK(Binary Robust Invariant Scalable Key-points)，获得相应图像特征对应点Ii1和Ii2。，并根据两幅图像的特征对应计算出相应的基本矩阵F(Fundamental Matrix)，从而推算出两幅图像对应的本质矩阵，从而计算出两幅图像的投影矩阵（Projection Matrix）Pi1和Pi2。步骤四：立体匹配，步骤3）得到的特征点是稀疏特征点对应关系，这里要稠密特征点的对应关系才能用于机场场面全景监视。首先要进行图像校正，将图像极线（Epipolar）调成图像水平线，得到I’i1和I’i2。同时，还要进行运动目标的检测，如果在完成初始化后检测出来此像素没有发生变化及运动，则不再进行立体匹配和后续的三维重建，而是直接进入到后处理的表面重建阶段。视频运动目标的检测使用的方法是混合高斯模型的拟合检测方法。然后针对I’i1中的一像素点I’i1 (x, y)，沿着此点在I’i2对应的相应的水平极线上搜索最相似的像素点I’i2 (x’, y)。这里采用的相似性准则是标准的归一化互相关NCC (Normalized Cross Correlation)，匹配策略为LRC（Left-right Checking），即找到I’i2(x’, y)后，还要由I’i2 (x’, y)在I’i1中的相应极线上进行搜索并发现相应的对应点还是I’i1 (x, y)，才确认二者是对应的匹配点。步骤五：三维重建，根据投影公式有[x1, y1, 1]=Pi1Xj和[x2, y2, 1]=Pi2Xj两个公式可以解出Ii1 (x1, y1)和Ii2 (x2, y2)这对匹配像素对共同对应的三维坐标点Xj的值。解出所有像素匹配对应的点即可得到所有像素的三维坐标X，即稠密点云。步骤六：统一点云坐标，当所有的摄像机对获得了稠密点云后，应把它们全部放在一个世界坐标系下组成一个统一的全局点云。步骤七：基于点云的表面重建（Surface Reconstruction），即网格(Mesh)化处理。同时，本专利技术的目的实现时还采用了如下设置：1）使用双目摄像机对机场场面进行最大化的覆盖，双目摄像机之间重叠部分要求大于65%，双目摄像机的拍摄方向接近平行；2）尽可能双目摄像机对之间也存在重叠，重叠部分要求大于30%；对于有重叠的双目摄像机对，可以加入一个集束调整来优化其中的每个摄像机内参数及外参数，以提高精度；3）如果两套双目摄像机之间没有重叠，则对每一套摄像机进行预先的配准到统一的机场世界坐标系下；4）双目摄像机是固定方式，不能够任意的移动，改变观测方向及画面变焦缩放；5）机场范围大、监视内容分散，所以本专利技术的摄像机均要求采用大于200万像素的高清摄像机；6）因为机场监视的特点，对于背景监视的要求低，对于运动目标的监视要求较高；所以本专利技术的监视策略是对不同内容采用不同的刷新频率，具体是用混合高斯模型进行目标背景的检测，对于运动目标一秒刷新5次，而背景仅一分钟刷新1次；7）本专利技术可以手动设置典型机场背景3D模型，或按一定的频率刷新保存机场背景3D模型到硬盘文件，如每天；保存的机场背景3D模型可供需要时调用显示；8）本专利技术可以手工选择合适的背景3D机场模型替换当前自动生成的机场背景；9）同步/丢帧处理，本专利技术并不要求严格的时间同步，而是采用收到数据就即时计算刷新全局世界坐标的方案，因为摄像机并不是时时在运动，而双目摄像机之间的时间差也可以忽略不计；10）夜色充填背景处理，本专利技术可以自动判断场景是否已经进入黑夜，在是黑夜的条件下，若用户的设置可以放弃黑夜背景，则用当前保存的白天机场背景模型进行显示，以提升机场三维全景监视的效果；11）雾天处理，雾天时本专利技术将自动判断雾的大小，在雾浓本文档来自技高网...

【技术保护点】
一种基于双目摄像机的机场场面三维全景监视方法，其特征是具体步骤如下：步骤一：摄像机标定，针对每一对双目摄像机中的每个摄像机进行预先标定，得到摄像机内参数Ki1和Ki2及畸变参数；步骤二：视频采集，将摄像机安装到机场相应的监视点位上，获得相应的视频；安装时，需测量两个摄像机之间的距离di;步骤三：图像特征提取，对每对摄像机获得的图像Ii1和Ii2计算其相应的特征点，计算方法采用BRISK(Binary Robust Invariant Scalable Key‑points)，获得相应图像特征对应点Ii1和Ii2；，并根据两幅图像的特征对应计算出相应的基本矩阵F(Fundamental Matrix)，从而推算出两幅图像对应的本质矩阵，从而计算出两幅图像的投影矩阵（Projection Matrix）Pi1和Pi2；步骤四：立体匹配，步骤3）得到的特征点是稀疏特征点对应关系，这里要稠密特征点的对应关系才能用于机场场面全景监视；首先要进行图像校正，将图像极线（Epipolar）调成图像水平线，得到I’i1和I’i2；同时，还要进行运动目标的检测，如果在完成初始化后检测出来此像素没有发生变化及运动，则不再进行立体匹配和后续的三维重建，而是直接进入到后处理的表面重建阶段；视频运动目标的检测使用的方法是混合高斯模型的拟合检测方法；然后针对I’i1中的一像素点I’i1 (x, y)，沿着此点在I’i2对应的相应的水平极线上搜索最相似的像素点I’i2 (x’, y)；这里采用的相似性准则是标准的归一化互相关NCC (Normalized Cross Correlation)，匹配策略为LRC（Left‑right Checking），即找到I’i2 (x’, y)后，还要由I’i2 (x’, y)在I’i1中的相应极线上进行搜索并发现相应的对应点还是I’i1 (x, y)，才确认二者是对应的匹配点；步骤五：三维重建，根据投影公式有[x1, y1, 1]=Pi1Xj和[x2, y2, 1]=Pi2Xj两个公式可以解出Ii1 (x1, y1)和Ii2 (x2, y2)这对匹配像素对共同对应的三维坐标点Xj的值；解出所有像素匹配对应的点即可得到所有像素的三维坐标X，即稠密点云；步骤六：统一点云坐标，当所有的摄像机对获得了稠密点云后，应把它们全部放在一个世界坐标系下组成一个统一的全局点云；步骤七：基于点云的表面重建（Surface Reconstruction），即网格(Mesh)化处理。...

【技术特征摘要】
1.一种基于双目摄像机的机场场面三维全景监视方法，其特征是具体步骤如下：步骤一：摄像机标定，针对每一对双目摄像机中的每个摄像机进行预先标定，得到摄像机内参数Ki1和Ki2及畸变参数；步骤二：视频采集，将摄像机安装到机场相应的监视点位上，获得相应的视频；安装时，需测量两个摄像机之间的距离di;步骤三：图像特征提取，对每对摄像机获得的图像Ii1和Ii2计算其相应的特征点，计算方法采用BRISK(Binary Robust Invariant Scalable Key-points)，获得相应图像特征对应点Ii1和Ii2；，并根据两幅图像的特征对应计算出相应的基本矩阵F(Fundamental Matrix)，从而推算出两幅图像对应的本质矩阵，从而计算出两幅图像的投影矩阵（Projection Matrix）Pi1和Pi2；步骤四：立体匹配，步骤3）得到的特征点是稀疏特征点对应关系，这里要稠密特征点的对应关系才能用于机场场面全景监视；首先要进行图像校正，将图像极线（Epipolar）调成图像水平线，得到I’i1和I’i2；同时，还要进行运动目标的检测，如果在完成初始化后检测出来此像素没有发生变化及运动，则不再进行立体匹配和后续的三维重建，而是直接进入到后处理的表面重建阶段；视频运动目标的检测使用的方法是混合高斯模型的拟合检测方法；然后针对I’i1中的一像素点I’i1 (x, y)，沿着此点在I’i2对应的相应的水平极线上搜索最相似的像素点I’i2 (x’, y)；这里采用的相似性准则是标准的归一化互相关NCC (Normalized Cross Correlation)，匹配策略为LRC（Left-right Checking），即找到I’i2(x’, y)后，还要由I’i2 (x’, y)在I’i1中的相应极线上进行搜索并发现相应的对应点还是I’i1 (x, y)，才确认二者是对应的匹配点；步骤五：三维重建，根据投影公式有[x1, y1, 1]=Pi1Xj和[x2, y2, 1]=Pi2Xj两个公式可以解出Ii1 (x1, y1)和Ii2 (x2, y2)这对匹配像素对共同对应的三维坐标点Xj的值；解出所有像素匹配对应的点即可得到所有像素的三维坐标X，即稠密点云；步骤六：统一点云坐标，当所有的摄像机对获得了稠密点云后，应把它们全部放在一个世界坐标系下组成一个统一的全局点云；步骤七：基于点云的表面重建（Surface Reconstruction），即网格(Mesh)化处理。2.如权利要求1所述的三维全景监视方法，其特征在于：一旦全景匹配完成后，全局背景生成后，可以只针对运动目标进行匹配；运动目标视频运动目标的检测混合高斯模型对每个像素使用了5个高斯核，每个高斯核未被匹配时的权重系数变为原值的0.97；背景高斯核...

【专利技术属性】
技术研发人员：李新胜，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51