一种基于ADS-B位置先验的机场场面监控视频目标分割方法技术

本发明专利技术公开了一种基于ADS‑B位置先验的机场场面监控视频目标分割方法，将机场场面先验信息ADS‑B应用于机场视频目标分割，并且相比于基于匹配和基于传播的方法，我们的方法在推理过程中探索了来自之前更多帧的信息。根据ADS‑B提供的定位信息，本方案可以不断更新参考帧的内容，使其与当前帧更加接近。本方案解决了空间和时间错位的问题，并结合了基于传播的方法和基于匹配的方法的优点，从而使网络可以在推理过程中不断纠正错误，并且对长视频具有鲁棒性。

【技术实现步骤摘要】
一种基于ADS-B位置先验的机场场面监控视频目标分割方法
本专利技术涉及目标识别领域，具体涉及一种基于ADS-B位置先验的机场场面监控视频目标分割方法。
技术介绍
机场场面监控下的视频目标分割作为视频处理的重要技术，对机场安防起着至关重要的作用。指定视频中感兴趣的飞机，视频目标分割算法持续地将感兴趣的目标像素从背景中分离出来，直至目标消失或视频结束。这项任务在机场场面监视系统中扮演着重要的角色。从设置上进行划分，我们可以将视频目标分割分为无监督的视频目标分割和半监督的视频目标分割。其中，无监督的视频目标分割依靠网络学习视频中的语义信息，自动分离前景像素和背景像素。而半监督的视频目标分割则靠人工在视频的第一帧中确定要分割的物体，为网络提供一个精确的掩模，然后网络根据第一帧的掩模对整段视频进行像素的二分类。近年来，越来越多优秀的半监督视频目标分割算法不断涌现出来。从结构上看，主要可以分为基于掩模传播的视频目标分割方法和基于掩模匹配的视频目标分割方法两大类。其中，基于掩模传播的视频目标分割算法通常使用一个神经网络来学习从前一帧输出到当前帧的变形。这些网络将前一帧的掩模和当前帧的RGB图像叠加后输入到网络中，他们通过学习前一帧掩模的特征，对其进行调整以适应当前帧。这类算法结构简单，对于现有的公共数据集，物体占据图片的大部分区域且相对图像的空间位置不发生较大的改变，基于掩模传播的方法对这些场景的分割有着较好的效果。但是，对于机场监控视频场景，感兴趣的飞机通常只覆盖整个画面的小部分区域，并且朝着不同的方向运动，这给传播带来了很大的困难。另一类方法则关注当前帧与第一帧之间的联系，属于基于掩模匹配的视频目标分割方法。这类方法的标准策略是通过神经网络提取当前帧和参考帧的特征，并对两者进行高维像素级的度量匹配，最后根据第一帧中给出的掩模对当前帧中的像素分别赋予正样本或负样本的标签。基于匹配的方法可以有效避免掩模传播过程中信息的丢失，然而直接使用k近邻结果作为最终分类使得分割效果比较粗糙。对于物体在画面中位置和外观发生较大的变化的情况，简单的将像素式的匹配结果作为最终分类将达不到理想的效果。对于机场场面监控视频，飞机仅仅占据画面中的一小部分区域，同时飞机的外观与背景像素存在较强的相似性，导致基于掩模匹配的策略会受背景的干扰较大。另外，对于前景像素而言，当前帧与第一帧的飞机之间通常也会有较大的姿态、比例和位置变化，这将会导致简单的匹配策略失效。综上所述，由于机场地面监控的特殊性，目前主流的视频目标分割算法均不适用于这个场景。在机场场面监控视频场景下，视频目标分割正面临着较大的挑战，急需要探索一种全新的策略，应对机场场面监控视频目标分割技术中的种种挑战。ADS-B(AutomaticDependentSurveillance-Broadcast)是一种基于全球卫星定位系统的广播式自动相关技术，是近年来民航局大力发行的新技术。为了对飞机的状态进行监视，ADS-B技术可以自动的通过相关机载设备向其他飞机或地面站发送自身的相关信息，包括飞机的位置、高度、速度、航向识别号等。探索一种结合ADS-B信息的机场场面监视技术，可以为新的航行系统和机场智能监视系统扩展新思路，增强相关算法的性能。
技术实现思路
针对现有技术中的上述不足，本专利技术提供了一种基于ADS-B位置先验的机场场面监控视频目标分割方法。为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于ADS-B位置先验的机场场面监控视频目标分割方法，包括如下步骤：S1、获取给定视频中目标飞机定位信息，利用编码器对给定视频从第一帧开始逐帧提取目标飞机的当前帧时刻的过去帧特征信息；S2、将通过步骤S1提取到的特征信息输入时空对齐模块中，并根据定位信息对目标飞机进行时间对齐操作，得到多个候选掩模及其对应的相似矩阵；S3、对步骤S2所得到的相似矩阵按大小进行排序，选出最佳相似矩阵及其对应的候选模型，并根据选出的最佳相似矩阵和候选模型对给定视频的当前帧进行分割；S4、将通过步骤S3得到的最佳相似矩阵和候选掩模以及给定视频的第一帧的特征信息串联并输入至解码器中；S5、对给定视频中的每一帧重复步骤S2至S4直至给定视频的最后一帧，得到分割出的目标飞机信息。上述方案的有益效果是，有效利用了机场场面监视特有的先验信息ADS-B解决机场场面监控视频目标分割问题，在视频处理的中间过程中不断优化参考帧。相比于基于匹配和基于传播的方法，有效减少了误差积累问题并对长视频具有鲁棒性；能够利用ADS-B信息完成对掩模的时空对齐操作，成功对当前帧生成有利于分割的全新候选掩模，有助于提高分割精度；能够以一种端到端的形式对视频进行处理，不需要对第一帧进行在线微调，保证了算法的时效性进一步的，所述步骤S1具体包括：S11、通过ADS-B系统获取给定视频中目标飞机的定位信息；S12、从给定视频的第一帧开始，依次将RGB视频帧以及上一帧网络输出的候选掩模输入到编码器中；S13、利用编码器提取当前帧目标飞机的特征信息，其中，编码器采用ResNet50网络。上述进一步方案的有益效果是，为了使网络对视频进行逐帧处理，首先需要通过对视频进行预处理得到算法所需的ADS-B的定位信息。然后通过编码器依次获取第一帧到当前帧的特征及掩模。进一步的，所述步骤S2中得到多个候选掩模及其对应的相似矩阵具体方法为：S21、利用ADS-B位置先验获取给定视频当前帧以及当前帧过去每间隔n帧的特征信息，同时将当前帧的特征信息输入编码器；S22、将步骤S21中获取的当前帧过去每间隔n帧的特征信息串联，并将其输入时空对齐模块，生成多个当前帧过去每间隔n帧的特征信息候选掩模；S23、采用步骤S22的方法对当前帧时刻的特征信息生成当前帧特征信息的候选掩模；S24、对每一帧图像中的特征对应位置的向量进行余弦计算得到当前帧相对于其过去每间隔n时刻的视频帧的相似矩阵。上述进一步方案的有益效果是，通过在网络的中间过程中获取固定间隔的特征信息，既保证了计算中矩阵通道数的固定，加快网络的计算速度，同时还避免了信息的冗余，进而利用余弦相似性获取相似矩阵，供后续计算使用。进一步的，所述步骤S23中候选掩模Mt-kn的计算公式表示为：Mt-kn＝N(It-kn)其中，It-kn为t-kn时刻的RGB视频帧，N代表神经网络拟合的函数，Mt-kn为该时刻的候选掩模。上述进一步方案的有益效果是，依次获取过去帧掩模，供网络后续计算使用。进一步的，所述步骤S24中相似矩阵St-kn的计算公式表示为：其中，为相似矩阵St-kn在像素(i，j)位置的值，为对应位置过去帧掩码的特征图向量，为对应位置当前帧的特征图向量。上述进一步方案的有益效果是，通过计算当前帧与过去帧在对应位置的余弦距离，得到相似矩阵，以此衡量二者的相似性。进一步的，其特征在于，所述步骤S3相似矩本文档来自技高网...

【技术保护点】
1.一种基于ADS-B位置先验的机场场面监控视频目标分割方法，其特征在于，包括如下步骤：/nS1、获取给定视频中目标飞机定位信息，对给定视频中的目标飞机进行特征提取；/nS2、将通过步骤S1提取到的特征信息输入时空对齐模块中，并根据定位信息对目标飞机进行时间对齐操作，得到多个候选掩模及其对应的相似矩阵；/nS3、对步骤S2所得到的相似矩阵按大小进行排序，选出最佳相似矩阵及其对应的候选模型，并根据选出的最佳相似矩阵和候选模型对给定视频的当前帧进行分割；/nS4、将通过步骤S3得到的最佳相似矩阵和候选掩模以及给定视频的第一帧的特征信息串联并输入至解码器中；/nS5、对给定视频中的每一帧重复步骤S2至S4直至给定视频的最后一帧，得到分割出的目标飞机信息。/n

【技术特征摘要】
1.一种基于ADS-B位置先验的机场场面监控视频目标分割方法，其特征在于，包括如下步骤：
S1、获取给定视频中目标飞机定位信息，对给定视频中的目标飞机进行特征提取；
S2、将通过步骤S1提取到的特征信息输入时空对齐模块中，并根据定位信息对目标飞机进行时间对齐操作，得到多个候选掩模及其对应的相似矩阵；
S3、对步骤S2所得到的相似矩阵按大小进行排序，选出最佳相似矩阵及其对应的候选模型，并根据选出的最佳相似矩阵和候选模型对给定视频的当前帧进行分割；
S4、将通过步骤S3得到的最佳相似矩阵和候选掩模以及给定视频的第一帧的特征信息串联并输入至解码器中；
S5、对给定视频中的每一帧重复步骤S2至S4直至给定视频的最后一帧，得到分割出的目标飞机信息。


2.根据权利要求1所述的基于ADS-B位置先验的机场场面监控视频目标分割方法，其特征在于，所述步骤S1具体包括：
S11、通过ADS-B系统获取给定视频中目标飞机的定位信息；
S12、从给定视频的第一帧开始，依次将给定视频的RGB当前视频帧以及上一帧网络输出的候选掩模输入到编码器中；
S13、利用编码器提取当前帧目标飞机的特征信息，其中，编码器采用ResNet50网络。


3.根据权利要求2所述的基于ADS-B位置先验的机场场面监控视频目标分割方法，其特征在于，所述步骤S2中得到多个候选掩模及其对应的相似矩阵具体方法为：
S21、利用ADS-B位置先验获取给定视频当前帧以及当前帧过去每间隔n帧的特征信息，同时将当前帧的特征信息输入编码器；
S22、将步骤S21中获取的当前帧过去每间隔n帧的特征信息串联，并将其输入时空对齐模块，生成多个当前帧过去每间隔n帧的特征信息候选掩模；
S23、采用步骤S22的方法对当前帧时刻的特征信息生成当前帧特征信息的候选掩模；
S24、对每一帧图像...

【专利技术属性】
技术研发人员：张翔，李文静，汤应祺，胡玉杰，田橪，李晶，张健星，
申请(专利权)人：电子科技大学长三角研究院衢州，
类型：发明
国别省市：浙江;33