基于马尔可夫随机场的远程塔台视频目标挂标牌方法技术

本发明专利技术公开了一种基于马尔可夫随机场的远程塔台视频目标挂标牌方法，步骤如下：建立模型：使用贪婪算法求解连续视频帧序列的稀疏表示，获得对背景的初步估计；利用递归神经网络求解图像分割问题，得到前景目标跟踪结果和背景估计；采用最近邻方法建立上述世界坐标系下的目标坐标点位置与广播式自动相关监视数据的对应关系，从而把广播式自动相关监视中的标牌信息关联到视频上，实现自动挂标牌。本发明专利技术利用稀疏采样方式，减少计算操作的数据集，降低背景解算的复杂度；将背景作为输入，利用Hopfield网络自主优化特性，自动形成对前景目标的优化估计。

【技术实现步骤摘要】
基于马尔可夫随机场的远程塔台视频目标挂标牌方法
本专利技术属于远程塔台
，具体指代一种基于马尔可夫(Markov)随机场的远程塔台视频目标挂标牌方法。
技术介绍
目前，随着人们生活节奏的加快，航空出行已成为一种重要的出行方式，随之通用机场的建设也在一步步加快，预计2030年国内通用机场总量将超过2000个；但局限于通航机场航班量小，日常收益有限，依照传统机场建设和管制建设规划塔台，其建设成本、运营成本不能在常规的运营周期内实现冲抵、获取收益。且支线机场和通航机场爆发式增长势必会带动管制员人才需求，管制人才培养不能完全跟上机场建设需求。此外，机坪管制移交和跑道扩建需求进一步推动远程塔台技术发展。远程塔台视频监视能有效帮助管制人员进行场面交通管理，但视频监视只能提供图像信息，管制员还需通过中小显、电子进程单等系统确定航空器标牌信息。视频目标自动挂标牌功能能够在视频中直观、准确的显示航班号、速度、机型等标牌信息，有效降低管制员管制负荷，提高管制效率，确保管制安全。现有的视频与监视数据融合自动挂标方法主要采用背景差分法和KLT算法等实现飞机的检测与跟踪，选择单帧图像中目标中心点作为视频位置坐标，对监视数据中飞机经纬度进行坐标转换与视频位置坐标进行映射，但是单帧图像坐标映射方法存在标牌时延和丢失问题。采用混合高斯模型建立背景模型，通过背景差分方法获取飞机图像坐标，随后在机场地图和视频图像上分别选取特征点建立映射关系，实现图像跟踪数据和广播式自动相关监视(ADS-B,AutomaticDependentSurveillanceBroadcast)数据的融合，此方法采用协方差矩阵和单应映射修正测量误差，侧重降低图像检测结果与雷达跟踪结果的关联误差，忽略了视频跟踪结果误差。同时忽视了硬件成本带来的影响，如采用单帧匹配关联的方式，对每一个视频帧，均需处理图像目标检测、坐标映射、误差修正、查库关联监视数据的工作流，受系统性能的影响，在处理连续多帧目标时，可能出现时延或者目标丢失的情况。运动检测模型类方法中，运动分割法将像素按照运动模式分类，常见的如KLT方法，根据运动目标在像素面上的矢量速度场，依据不同的运动参数将图像分解到不同的运动层级，此方法无需先验信息，但计算复杂，硬件成本较高。
技术实现思路
针对于上述现有技术的不足，本专利技术的目的在于提供一种基于马尔可夫随机场的远程塔台视频目标挂标牌方法，本专利技术利用稀疏采样方式，减少计算操作的数据集，降低背景解算的复杂度；将背景作为输入，利用Hopfield网络自主优化特性，自动形成对前景目标的优化估计。为达到上述目的，本专利技术采用的技术方案如下：本专利技术的一种基于马尔可夫随机场的远程塔台视频目标挂标牌方法，步骤如下：1)建立模型：假定连续视频帧中背景图像线性相关，运动目标则视为在视频序列线性分解过程中无法纳入背景矩阵中的像素，通过求解背景估计和前景标号集，对视频帧图像中的像素进行背景和前景的分类标记；2)使用贪婪算法求解连续视频帧序列的稀疏表示，获得对背景的初步估计；3)利用递归(Hopfield)神经网络求解图像分割问题，获得对前景标号集的估计；利用该前景标号集，对步骤2)求得的背景的初步估计进行修正，得到前景目标跟踪结果和背景估计；4)采用针孔透视模型建立从视频图像坐标系到世界坐标系的转换矩阵，求解视频帧中的前景目标跟踪结果在世界坐标系下的坐标位置；采用最近邻方法建立上述世界坐标系下的目标坐标点位置与广播式自动相关监视数据的对应关系，从而把广播式自动相关监视中的标牌信息关联到视频上，实现自动挂标牌。进一步地，所述步骤1)具体包括：采用It∈Rm表示由视频序列中第t帧的图像按列堆叠形成的向量，该帧包括m个像素；D＝[I1,…,In]∈Rm×n为由表示帧的向量I组成的矩阵，代表了包括n帧的整个视频序列；B∈Rm×n是与D同维的矩阵，表示视频帧中的背景，由n帧向量组成，每帧m个像素；第t帧第k个像素记为kt；用图像灰度来度量背景的强度，则在考察周期内照明条件基本不变的情况下，认为连续视频帧序列中背景强度基本不变，故对于一段连续视频序列D，其各组成帧中背景图像认为是线性相关的，运动目标则视为在视频序列线性分解过程中无法纳入背景矩阵B中的像素，记为前景E，将当前帧t中的目标看成其之前t-1帧向量张成的子空间中的一个线性表示，记前t-1帧组成的矩阵为Dt-1＝[I1,…,It-1]，则第t帧的图像记为：yt＝B+E＝Dt-1x+E(1)由各帧中背景组成的矩阵B＝Dt-1x是一个低秩矩阵，即背景矩阵B满足rank(B)≤K，K为预定义常数，且系数x为稀疏向量；考虑场景中噪声的影响，并假定噪声服从均值为0，方差为σ2的高斯白噪声，式(1)视频帧信号表示为：其中，I为单位矩阵，xeI代表高斯白噪声，在噪声影响下，第t帧的视频图像像素灰度值的大小记为ykt＝Bkt+ekt＝ψktx+ekt；定义二值标号支撑集S∈{0,1}m×n作为图像像素标号，其元素规定为：则背景建模问题归结为求解下式(4)所示的优化问题：当Skt＝1即像素kt属于前景时，背景被前景覆盖，视频帧信号的灰度与前景相同，故对目标的检测实际就是对前景标号集的估计；由于图像中相邻像素标号间存在相互作用，导致图像标号场不分段光滑，定义Esmooth记录标号场不分段光滑的程度，Edata记录标号与实测数据的误差，将对前景标号集的估计问题转化为对标号场能量优化问题，即令：E(S)＝Esmooth(S)+Edata(S)(5)取得最小值；在支撑集S的线性矩阵空间中定义矩阵X的正交投影：是ΓS(X)的补，有对视频帧中动态航空器目标y的检测就是对下式能量函数的最小化；其中，参数α>0是与系数向量x稀疏度相关的常数，控制着背景的复杂度。进一步地，所述步骤2)具体包括：假设已得到优化支撑集估计S，则式(7)简化为下列最优化问题：使用高斯(Gaussian)随机矩阵Φ作为RIP矩阵，对观测值y进行压缩采样：z＝Φy＝ΦΨx＝Θx(9)则式(8)所示问题转化为式(10)所示L1范式最小化问题：min||x||1s.t.||Φy-Θx||2≤ε(10)初始化时，将视频起始一段短视频作为训练帧，背景复杂度已知，忽略参数α的影响，令α＝1，使用贪婪算法求解(10)获得初始的背景估计，在此基础上，通过前景标号集的优化求解，进一步优化背景估计，并在后续迭代中，使用当前帧y替换Dt-1中对应稀疏表示系数x最小的模板。进一步地，所述步骤3)具体包括：当给定了稀疏系数x时，式(7)所示能量函数转化为：其中，给定x，常数C也随之确定；为得到对式(11)中对支撑S的估计，从而得到各帧中的前景图像，采用基于马尔可夫随机场(Markovrandomfields,MRFs)的图像分割方法；用G＝{(i,本文档来自技高网...

【技术保护点】
1.一种基于马尔可夫随机场的远程塔台视频目标挂标牌方法，其特征在于，步骤如下：/n1)建立模型：假定连续视频帧中背景图像线性相关，运动目标则视为在视频序列线性分解过程中无法纳入背景矩阵中的像素，通过求解背景估计和前景标号集，对视频帧图像中的像素进行背景和前景的分类标记；/n2)使用贪婪算法求解连续视频帧序列的稀疏表示，获得对背景的初步估计；/n3)利用递归神经网络求解图像分割问题，获得对前景标号集的估计；利用该前景标号集，对步骤2)求得的背景的初步估计进行修正，得到前景目标跟踪结果和背景估计；/n4)采用针孔透视模型建立从视频图像坐标系到世界坐标系的转换矩阵，求解视频帧中的前景目标跟踪结果在世界坐标系下的坐标位置；采用最近邻方法建立上述世界坐标系下的目标坐标点位置与广播式自动相关监视数据的对应关系，从而把广播式自动相关监视中的标牌信息关联到视频上，实现自动挂标牌。/n

【技术特征摘要】
1.一种基于马尔可夫随机场的远程塔台视频目标挂标牌方法，其特征在于，步骤如下：
1)建立模型：假定连续视频帧中背景图像线性相关，运动目标则视为在视频序列线性分解过程中无法纳入背景矩阵中的像素，通过求解背景估计和前景标号集，对视频帧图像中的像素进行背景和前景的分类标记；
2)使用贪婪算法求解连续视频帧序列的稀疏表示，获得对背景的初步估计；
3)利用递归神经网络求解图像分割问题，获得对前景标号集的估计；利用该前景标号集，对步骤2)求得的背景的初步估计进行修正，得到前景目标跟踪结果和背景估计；
4)采用针孔透视模型建立从视频图像坐标系到世界坐标系的转换矩阵，求解视频帧中的前景目标跟踪结果在世界坐标系下的坐标位置；采用最近邻方法建立上述世界坐标系下的目标坐标点位置与广播式自动相关监视数据的对应关系，从而把广播式自动相关监视中的标牌信息关联到视频上，实现自动挂标牌。


2.根据权利要求1所述的基于马尔可夫随机场的远程塔台视频目标挂标牌方法，其特征在于，所述步骤1)具体包括：采用It∈Rm表示由视频序列中第t帧的图像按列堆叠形成的向量，该帧包括m个像素；D＝[I1,…,In]∈Rm×n为由表示帧的向量I组成的矩阵，代表了包括n帧的整个视频序列；B∈Rm×n是与D同维的矩阵，表示视频帧中的背景，由n帧向量组成，每帧m个像素；第t帧第k个像素记为kt；用图像灰度来度量背景的强度，则在考察周期内照明条件基本不变的情况下，认为连续视频帧序列中背景强度基本不变，故对于一段连续视频序列D，其各组成帧中背景图像认为是线性相关的，运动目标则视为在视频序列线性分解过程中无法纳入背景矩阵B中的像素，记为前景E，将当前帧t中的目标看成其之前t-1帧向量张成的子空间中的一个线性表示，记前t-1帧组成的矩阵为Dt-1＝[I1,…,It-1]，则第t帧的图像记为：
yt＝B+E＝Dt-1x+E(1)
由各帧中背景组成的矩阵B＝Dt-1x是一个低秩矩阵，即背景矩阵B满足rank(B)≤K，K为预定义常数，且系数x为稀疏向量；考虑场景中噪声的影响，并假定噪声服从均值为0，方差为σ2的高斯白噪声，式(1)视频帧信号表示为：



其中，I为单位矩阵，xeI代表高斯白噪声，在噪声影响下，第t帧的视频图像像素灰度值的大小记为ykt＝Bkt+ekt＝ψktx+ekt；定义二值标号支撑集S∈{0,1}m×n作为图像像素标号，其元素规定为：



则背景建模问题归结为求解下式(4)所示的优化问题：



当Skt＝1即像素kt属于前景时，背景被前景覆盖，视频帧信号的灰度与前景相同，故对目标的检测实际就是对前景标号集的估计；由于图像中相邻像素标号间存在相互作用，导致图像标号场不分段光滑，定义Esmooth记录标号场不分段光滑的程度，Edata记录标号与实测数据的误差，将对前景标号集的估计问题转化为对标号场能量优化问题，即令：
E(S)＝Esmooth(S)+Edata(S)(5)
取得最小值；
在支撑集S的线性矩阵空间中定义矩阵X的正交投影：




是ΓS(X)的补，有对视频帧中动态航空器目标y的检测就是对下式能量函数的最小化；



其中，参数α>0是与系数向量x稀疏度相关的常数，控制着背景的复杂度。


3.根据权利要求2所述的基于马尔可夫随机场的远程塔台视频目标挂标牌方法，其特征在于，所述步骤2)具体包括：假设已得到优化支撑集估计S，则式(7)简化为下列最优化问题：



使用高斯随机矩阵Φ作为RIP矩阵，对观测值y进行压缩采样：
z＝Φy＝ΦΨx＝Θx(9)
则式(8)所示问题转化为式(10)所示L1范式最小化问题：
min||x||1s.t.||Φy-Θx||2≤ε(10)
初始化时，将视频起始一段短视频作为训练帧，背景复杂度已知，忽略参数α的影响，令α＝1，使用贪婪算法求解式(10)获得初始的背景估计，在此基础上，通过前景标号集的优化求解，进一步优化背景估计，并在后续迭代中，使用当前帧y替换Dt-1中对应稀疏表示系数x最小的模板。


4.根据权利要求3所述的基于马尔可夫随机场的远程塔台视频目标挂标牌方法，其特征在于，所述步骤3)具体包括：当给定了稀疏系数x时，式(7)所示能量函数转化为：



其中，给定x，常数C也随之确定；为得到对式(11)中对支撑S的估计，从而得到各帧中的前景图像，采用基于马尔可夫随机场的图像分割方法；
用G＝{(i,j)|0≤i≤h,0≤j≤w}表示当前帧h×w图像中...

【专利技术属性】
技术研发人员：何亮，程先峰，杨恺，叶鑫鑫，刘胜新，
申请(专利权)人：南京莱斯信息技术股份有限公司，
类型：发明
国别省市：江苏;32