一种基于ADS-B信息与时空匹配的航空器虚拟挂牌方法技术

本发明专利技术公开了一种基于ADS

【技术实现步骤摘要】
一种基于ADS
‑
B信息与时空匹配的航空器虚拟挂牌方法


[0001]本专利技术涉及航空管理领域，具体涉及一种基于ADS
‑
B信息与时空匹配的航空器虚拟挂牌方法。

技术介绍

[0002]随着国内民用航空的飞速发展，越来越多的大规模机场在全国各地陆续的建立起来。同时，近年来国际民航组织展开了新的场面监视系统“先进的场面运动引导控制系统”，要求检测并标识引导机场场面下的运动目标。在新的系统要求下，多角度监控图像拼接技术的全景视频监控技术与航空器虚拟挂牌技术在机场场面监视中起到越来越重要的作用。通过全景视频对机场场面的监控，可以实现对当下大规模机场完整区域的全面监控，结合虚拟挂牌技术在监控视频上持续监测并标识航空器的相关信息，有效的提高了机场监控和指挥工作的效率，在机场场面的监控系统中具有极高的实际应用价值。
[0003]现有的航空器虚拟挂牌从技术实现方式上进行划分，可以分为基于机场和航空器定位信息投影的方式和基于视频目标检测与定位信息进行挂牌的方式。基于定位信息投影的方式主要依赖于ADS
‑
B(Automatic Dependent Surveillance
‑
Broadcast)自动相关监视广播式技术等先验的定位信息匹配，ADS
‑
B是近年来民航局大力发行的技术，可以获取航空器的航班号、经纬度、速度、航向等详细信息。这种实现方式高度依赖于定位系统的精度与可靠性，通过将获取到的真实世界坐标转换投影到对应的全景监控视频的二维坐标，将航空器的相关信息显示在定位的视频画面上，从而完成航空器的虚拟挂牌。但是由于ADS
‑
B是间隔发出的，同时可能受到环境等相关因素的影响导致定位信息的延时与精度下降，这些问题都可能导致映射的坐标信息并不可靠，实际显示会产生挂牌信息晃动、突然消失等问题。
[0004]基于视频目标检测与定位信息的实现方式是使用目标检测算法，将检测出的航空器与定位信息进行匹配，最终根据定位航空器在视频画面上进行航空器虚拟挂牌信息展示。这种方式克服了基于定位系统不稳定的限制，可以实时展示挂牌信息。但是当定位信息出现延时或缺失时，检测出的航空器由于缺少实际的定位信息会出现无法持续显示挂牌信息而消失的现象。同时这种方式依赖于全景视频目标检测算法的精度，尤其在当下很多的目标检测算法并不是专门针对机场全景场面的目标检测算法，无法有效应对机场场面的天气变化、航空器姿态变化、运动交错遮挡、多尺度等问题，特别在全景视频中，这些问题更加突出，严重影响虚拟挂牌信息的实现与展示。
[0005]综上所述，由于机场全景场面监控的复杂性，目前的航空器虚拟挂牌技术仍然存在上述的某些缺陷，需要探索新型的策略与实际算法以解决机场场面下的航空器虚拟挂牌技术的诸多挑战。

技术实现思路

[0006]针对现有技术中的上述不足，本专利技术提供了一种基于ADS
‑
B信息与时空匹配的航
空器虚拟挂牌方法。
[0007]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0008]一种基于ADS
‑
B信息与时空匹配的航空器虚拟挂牌方法，包括如下步骤：
[0009]S1、获取全景监控视频、对应帧的地面实况以及ADS
‑
B信息并进行预处理，对高分辨率的全景图像进行冗余分割，并将对应帧的地面实况和ADS
‑
B坐标进行对应转化，并对预处理后的数据进行命名保存；
[0010]S2、将S1中的预处理数据作为输入，使用ResNet提取特征，结合提出的混合特征金字塔Mix
‑
FPN获取多尺度特征，并通过先验区域生成网络Priori RPN生成预测候选框和先验候选框，利用感兴趣区域池ROI Pooling获取用于类别判定和边界框回归的特征；
[0011]S3、将S2中获取的特征送入提出的时空匹配网络，依次与历史目标特征进行匹配，根据匹配策略进行结果匹配，将平均匹配度最高的预测结果作为检测网络的输出，并对目标模板进行维护更新；
[0012]S4、利用跟踪器对当前帧的目标跟踪检测结果与检测网络预测结果进行相似度匹配，根据判断检测结果更新维护跟踪器的目标状态；
[0013]S5、根据步骤S4的检测框结果进行持续的航空器多目标位置跟踪匹配，判断定位信息是否缺失，若是则重新获取定位信息，若不是，则根据航空器状态与检测框结果对航空器进行虚拟挂牌标识并展示。
[0014]上述方案的有益效果是，
[0015]1)专利技术了基于ADS
‑
B和时空匹配的检测网络，提高了对全景视频中航空器的检测精度与效率，极大的提升了检测网络在长时间监测下的检测效果，改善了遮挡、姿态变化、频繁出入等检测问题，有效的提高了虚拟挂牌的准确性与实时性。
[0016]2)通过使用状态监视器和跟踪器匹配策略，对场面内的航空器进行持续的跟踪，有效解决了多个航空器重叠或错位时虚拟挂牌信息显示错误的情况，同时克服了挂牌算法高度依赖定位信息的问题，可以有效的提升航空器的检测标识稳定性，大大提高了挂牌算法的实用性和可靠性。
[0017]3)根据定位信息的状态匹配策略完成航空器检测结果的可靠性判断与修正，并使用状态监视器守护检测结果，有效的提高了航空器挂牌标识检测结果的精准度和不同场景下的适应性，提高了算法的鲁棒性。
[0018]进一步的，所述S1具体包括如下步骤：
[0019]S11、将ADS
‑
B的坐标信息转为真实世界的坐标，根据监控相机的布置位置，通过单应性矩阵进行坐标映射，得到各个航空器在高分辨率的全景视频图像中的对应坐标；
[0020]S12、通过滑动窗口将输入的高分辨率的全景图像与对应的底面实况图像进行切割，裁剪尺寸的重叠比例为1/4的区域，作为预测的输入图像数据；
[0021]S13、将对应的ADS
‑
B坐标信息以裁剪的左上角坐标进行平移变换，得到预处理图像对应的ADS
‑
B坐标信息。。
[0022]上述进一步方案的有益效果是，无需添加额外的设备条件，充分利用已有的设备信息实现对航空器的定位，同时实现高效的全景图像预处理。
[0023]进一步的，所述S2具体包括：
[0024]S21、使用S1中得到的预处理数据作为输入，通过ResNet对输入图像提取特征，将
不同层次的特征通过Mix
‑
FPN处理得到用于预测的多尺度特征；
[0025]S22、先验候选区域生成网络Priori RPN通过原始候选生成网络RPN生成候选框，同时通过ADS
‑
B的定位信息生成先验的目标区域概率图和对应的标记信息，生成额外的候选框；
[0026]S23、将候选框区域的多尺度特征进行感兴趣区域作为预测特征，通过Soft
‑
NMS处理得到目标类别判定和检测框，训练时采用完全交并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ADS
‑
B信息与时空匹配的航空器虚拟挂牌方法，其特征在于，包括如下步骤：S1、获取全景监控视频、对应帧的地面实况以及ADS
‑
B信息并进行预处理，对高分辨率的全景图像进行冗余分割，并将对应帧的地面实况和ADS
‑
B坐标进行对应转化，并对预处理后的数据进行命名保存；S2、将S1中的预处理数据作为输入，使用ResNet提取特征，结合提出的混合特征金字塔Mix
‑
FPN获取多尺度特征，并通过先验区域生成网络Priori RPN生成预测候选框和先验候选框，利用感兴趣区域池ROI Pooling获取用于类别判定和边界框回归的特征；S3、将S2中获取的特征送入提出的时空匹配网络，依次与历史目标特征进行匹配，根据匹配策略进行结果匹配，将平均匹配度最高的预测结果作为检测网络的输出，并对目标模板进行维护更新；S4、利用跟踪器对当前帧的目标跟踪检测结果与检测网络预测结果进行相似度匹配，根据判断检测结果更新维护跟踪器的目标状态；S5、根据步骤S4的检测框结果进行持续的航空器多目标位置跟踪匹配，判断定位信息是否缺失，若是则重新获取定位信息，若不是，则根据航空器状态与检测框结果对航空器进行虚拟挂牌标识并展示。2.根据权利要求1所述的基于全景多尺度检测网络与ADS
‑
B信息的航空器虚拟挂牌方法，其特征在于，所述S1具体包括如下步骤：S11、将ADS
‑
B的坐标信息转为真实世界的坐标，根据监控相机的布置位置，通过单应性矩阵进行坐标映射，得到各个航空器在高分辨率的全景视频图像中的对应坐标；S12、通过滑动窗口将输入的高分辨率的全景图像与对应的底面实况图像进行切割，裁剪尺寸的重叠比例为1/4的区域，作为预测的输入图像数据；S13、将对应的ADS
‑
B坐标信息以裁剪的左上角坐标进行平移变换，得到预处理图像对应的ADS
‑
B坐标信息。3.根据权利要求1所述的基于全景多尺度检测网络与ADS
‑
B信息的航空器虚拟挂牌方法，其特征在于，所述S2具体包括：S21、使用S1中得到的预处理数据作为输入，通过ResNet对输入图像提取特征，将不同层次的特征通过Mix
‑
FPN处理得到用于预测的多尺度特征；S22、先验候选区域生成网络Priori RPN通过原始候选生成网络RPN生成候选框，同时通过ADS
‑
B的定位信息生成先验的目标区域概率图和对应的标记信息，生成额外的候选框；S23、将候选框区域的多尺度特征进行感兴趣区域作为预测特征，通过Soft
‑
NMS处理得到目标类别判定和检测框，训练时采用完全交并比损失函数CIOULoss和二值交叉熵损失函数binary cross
‑
entropyLoss作为边框回归和类别预测的损失函数。4.根据权利要求3所述的基于ADS
‑
B信息与时空匹配的航空器虚拟挂牌方法，其特征在于，所述S21中用于预测的多尺度特征表示为：
其中Conv表示卷积层，Down表示下采样，Up表示上采样，表示通道维度的特征拼接，表示用于预测的多尺度特征，F1,F2,F3为FPN网络的输出特征，表示为：Conv为标识卷积层，Down
×2为下采样操作，{X1,X2,X3}为ResNet中不同层次的输出特征。5.根据权利要求3所述的基于全景多尺度检测网络与ADS
‑
B信息的航空器虚拟挂牌方法，其特征在于，所述S22中根据ADS
‑
B信息生成目标区域的概率图和对应标记信息在概率中心添加锚点，并分别使用1:1、2:1、3:1的锚形状作为RPN网络的先验候选框，原始候选框与先验候选框分别通过坐标映射到多尺度特征图，进行后续的类别预测和边框回归。6.根据权利要求1所述的基于全景多尺度检测网络与ADS
‑

【专利技术属性】
技术研发人员：张翔，于海飞，孟俊聪，李兰，杨瑞菁，
申请(专利权)人：电子科技大学长三角研究院衢州，
类型：发明
国别省市：