一种视频分析与定位信息结合的航空器挂牌方法技术

本发明专利技术涉及一种视频分析与定位信息结合的航空器挂牌方法，对全景视频图像进行目标检测和跟踪，获得视频图像中的全部分析目标；获取定位信息，通过定位信息获得当前有效的定位目标;进行分析目标和定位目标的匹配，在匹配代价函数中引入历史匹配信息，依据匹配结果挂牌，依据匹配结果更新定位目标列表。本发明专利技术主要用于机场的航空器挂牌，能够有效地避免或减少“串牌”现象，并能够在定位信息更新较慢甚至定位系统关闭的情形下较好地实现正确、持续的挂牌效果。

A method of aircraft listing based on video analysis and location information

【技术实现步骤摘要】
一种视频分析与定位信息结合的航空器挂牌方法
本专利技术涉及一种视频分析与定位信息结合的航空器挂牌方法，属计算机视觉

技术介绍
全景视频拼接技术已广泛应用于机场指挥，该技术将多个相机拍摄到的有重叠区域的图像实时拼接成高分辨率的全景图像，直观呈现机场全貌，解决了用户“看得全”的需求。但仅通过全景视频，机场管制员并不知道视频中航空器的具体信息。如果能在视频中显示航空器(飞机)的航班信息，无疑会给机场指挥工作带来极大方便。基于此目的，航空器挂牌技术在“看得全”的基础上进一步解决“是什么”的问题，将航空器的识别信息显示在视频图像中，即挂牌。现有航空器挂牌的方法主要有两类，一类是使用定位信息，将定位信息中的航空器经纬度坐标直接映射到视频图像坐标系中作为航空器在视频监控图像中的位置，进行航空器挂牌。目前常用于航空器监控的定位信息系统为广播式自动相关监视(AutomaricDependentSurveillance-Broadcast，ADS-B)系统，该系统会直接获取航空器的航班号和经纬度等信息，无须人工操作或询问，自动地从相关机载设备获取参数后向地面广播飞机的位置、高度、速度、航向、识别号等信息，以供机场管制员对飞机状态进行监控。这种挂牌方法完全依赖定位系统的准确性和实时性，由于定位信息是间隔发出的，映射到视频图像上的航班位置通常不能十分准确地叠加到视频中对应的航空器目标上，另外会出现挂牌显示跳跃。另一类将定位信息与视频分析相结合确定航空器在视频图像中的实时位置进行挂牌[1]，在视频中检测、跟踪航空器目标，并与定位信息进行匹配关联，实现挂牌。由于利用了视频分析结果，航班信息可以较为准确地叠加到视频中的航空器目标，并且能随目标平滑运动，克服了前一类方法的跳跃问题。然而，尽管将定位信息与视频分析相结合相对于仅仅依赖定位信息具有明显的优点，但仍存在以下问题：1)分析目标较近时的串牌问题：由于视频分析目标与定位信息间的匹配仅基于位置信息，而定位信息本身及其到图像的映射存在误差，因此当有多个分析目标靠近时，航空标牌不一定能挂到正确目标上。例如：当原本正确挂牌的目标在运动过程中接近另一个目标时，其定位信息的映射坐标可能因离那个目标更近而与之匹配，发生“串牌”；多个目标靠近时，标牌在这些目标间还可能随机跳动。2)定位信息更新较慢或缺失时的挂牌问题：定位信息的更新间隔以3秒内为宜，但在实际应用中可能较长，有时达到十几秒甚至几十秒。对于视频中快速运动的分析目标，容易导致由于与定位信息间的距离过远而无法正确匹配；另外，航空器降落滑行一段时间后还可能关闭定位信息，导致不能持续挂牌。
技术实现思路
本专利技术是提供一种视频分析与定位信息结合的航空器挂牌方法，以克服现有技术的上述缺陷，避免或减少在多目标接近时的串牌现象，在不能及时获得定位信息时依然能够进行较为有效的挂牌。本专利技术的技术方案是：一种视频分析与定位信息结合的航空器挂牌方法，对全景视频图像进行目标检测和跟踪，获得视频图像中的全部目标，通过视频图像获得的目标称为分析目标，对每个分析目标赋予一个id(识别码)，同一目标的id保持不变；获取定位信息，通过定位信息获得的目标称为定位目标，所述定位信息包括定位目标的航班号和经纬度坐标，将定位目标的经纬度坐标映射到图像坐标系中，获得定位目标的图像坐标；以当前帧中的分析目标与当前有效的定位目标匹配，以下列公式定义分析目标i与定位目标j的匹配代价函数cost(i，j)：cost(i，j)＝dist(i，j)*k(i，j)其中，dist(i，j)为分析目标i与定位目标j之间的图像距离，计算公式为：k(i，j)为衰减系数，计算公式为：k(i，j)＝αmatch_time(i，j)；其中，为分析目标i的中心点的图像坐标；为定位目标j的位置数据映射到图像上的图像坐标；H为图像的高度；match_time(i，j)为分析目标i与定位目标j在本次匹配前已连续匹配的次数，若分析目标i与定位目标j在本次匹配前未连续匹配，则match_time(i，j)＝0；α为设定的系数，取小于1的正数；i＝1，...，N，N为分析目标的个数；j＝1，...，M，M为定位目标的个数，以匹配目标最多且匹配代价(匹配代价函数的计算值)之和最小的匹配方式为匹配结果，依据下列方式进行航空器挂牌：1)若分析目标i与定位目标j匹配，依据该分析目标的位置宽wi、高hi及该定位目标的航班号flightj挂牌，即以(wi，hi，flightj)为输出结果；2)若分析目标i没有与之匹配的定位目标，依据该分析目标的位置宽wi、高hi及id(idi)挂牌，即以(wi，hi，idi)为输出结果；3)若定位目标j没有与之匹配的分析目标，用该定位目标的位置缺省宽wdefault、缺省高hdefault及航班号flightj，即以(wdefault，hdefault，flightj)为输出结果。通常可以采用Kuhn-Munkres算法进行匹配运算。优选设置匹配代价阈值，限定任何一对分析目标和定位目标匹配的匹配代价不得大于所述匹配代价阈值。对每帧图像都进行分析目标与定位目标的匹配并依据匹配结果更新挂牌。或者，每间隔一帧或数帧进行一次分析目标与定位目标的匹配并依据匹配结果更新挂牌。优选建立和维护定位目标列表，记录当前定位信息。定位列表的表项包括定位目标的航班号和经纬度坐标。当得到一条新的定位信息时，通过航班号对定位目标列表进行检索，若存在该航班号则更新其对应的经纬度坐标；若不存在该航班号则新增一个表项，记录该定位目标的航班号和经纬度坐标；若某个表项超过一定时间一直未得到更新，则删除该表项，进行分析目标与定位目标的匹配时，以当前定位目标列表记录的所有定位信息为定位目标的定位信息，从定位目标列表中获取。以匹配结果对定位目标列表进行更新，若分析目标i与定位目标j匹配成功，将匹配结果中的转换为经纬度坐标若定位目标列表中已存在航班号为flightj的表项，以更新该表项中的经纬度坐标，否则添加新的表项，记录航班号flightj和经纬度坐标对定位目标列表信息进行广播，定位目标列表每更新一次广播一次，或者每隔一定时间广播一次。本专利技术的有益效果是：由于引入历史匹配信息，优化匹配代价函数，有效地避免或减少了目标较近时的“串牌”现象；由于优化了定位信息的更新方式，使定位信息更新较慢甚至定位系统关闭的情形下，也能较好地实现挂牌，较好地实现了正确、持续的挂牌效果。附图说明图1是本专利技术的整体流程示意图；图2是本专利技术的挂牌匹配流程示意图；图3是航空器挂牌结果截图。具体实施方式下面结合附图，先概要地描述视频分析与定位信息相结合的航空器挂牌方法的整体流程，再对本专利技术的重点挂牌匹配方法的改进加以详细说明。1.整体流程本专利技术所述方本文档来自技高网...

【技术保护点】
1.一种视频分析与定位信息结合的航空器挂牌方法，对全景视频图像进行目标检测和跟踪，获得视频图像中的全部目标，通过视频图像获得的目标称为分析目标，对每个分析目标赋予一个id，同一目标的id保持不变；获取定位信息，通过定位信息获得的目标称为定位目标，所述定位信息包括定位目标的航班号和经纬度坐标，将定位目标的经纬度坐标映射到图像坐标系中，获得定位目标的图像坐标；以当前帧中的分析目标与当前有效的定位目标匹配，以下列公式定义分析目标i与定位目标j的匹配代价函数cost(i，j)：/ncost(i，j)＝dist(i，j)*k(i，j)/n其中，/ndist(i，j)为分析目标i与定位目标j之间的图像距离，计算公式为：/n

【技术特征摘要】
1.一种视频分析与定位信息结合的航空器挂牌方法，对全景视频图像进行目标检测和跟踪，获得视频图像中的全部目标，通过视频图像获得的目标称为分析目标，对每个分析目标赋予一个id，同一目标的id保持不变；获取定位信息，通过定位信息获得的目标称为定位目标，所述定位信息包括定位目标的航班号和经纬度坐标，将定位目标的经纬度坐标映射到图像坐标系中，获得定位目标的图像坐标；以当前帧中的分析目标与当前有效的定位目标匹配，以下列公式定义分析目标i与定位目标j的匹配代价函数cost(i，j)：
cost(i，j)＝dist(i，j)*k(i，j)
其中，
dist(i，j)为分析目标i与定位目标j之间的图像距离，计算公式为：



k(i，j)为衰减系数，计算公式为：
k(i，j)＝αmatch_time(i，j)；
其中，

为分析目标i的中心点的图像坐标；

为定位目标j的定位数据映射到图像上的图像坐标；
H为图像的高度；
match_time(i，j)为分析目标i与定位目标j在本次匹配前已连续匹配的次数，若分析目标i与定位目标j在本次匹配前未连续匹配，则match_time(i，j)＝0；
α为设定的系数，取小于1的正数；
i＝1，...，N，N为分析目标的个数；
j＝1，...，M，M为定位目标的个数，
以匹配目标最多且匹配代价之和最小的匹配方式为匹配结果，依据下列方式进行航空器挂牌：
1)若分析目标i与定位目标j匹配，依据该分析目标的位置宽wi、高hi及该定位目标的航班号flightj挂牌，即以为输出结果；
2)若分析目标i没有与之匹配的定位目标，依据该分析目标的位置宽wi、高hi...

【专利技术属性】
技术研发人员：吴刚，林姝含，郑文涛，
申请(专利权)人：北京天睿空间科技股份有限公司，
类型：发明
国别省市：北京;11