长时视觉追踪主动分离式起落架制造技术

本发明专利技术公开了一种长时视觉追踪主动分离式起落架，包括以下步骤：在模型训练阶段，基于采集和标注的大量飞机起飞和降落时的图片和视频，分别训练飞机检测模型与飞机追踪模型；在模型应用阶段，首先根据检测模型在摄像机拍摄的全图范围内搜索飞机并估算其位姿；接着基于该估算结果初始化跟踪模型；随后基于该跟踪模型持续定位飞机在各个时刻的位姿，并根据连续的定位结果计算飞机的速度；最后根据这些定位结果，在地面分离式起落架端实时地作出相应的决策，本视觉系统通过该重检测机制实现稳定而快速的长时飞机追踪。本发明专利技术能应用于针对飞机主动分离式起落架的算法设计。

【技术实现步骤摘要】
长时视觉追踪主动分离式起落架
本专利技术涉及模式识别、计算机视觉、视频感知领域，特别涉及视频中的视觉跟踪方法
，具体为长时视觉追踪主动分离式起落架。
技术介绍
现有的飞机起落架虽然看似不可或缺，但却只能在地面上才能发挥用武之地，一旦飞机升空，却不得不带着这个笨重的家伙一起飞行还要找个地方让它躲进机腹以减轻飞行阻力，还给飞行安全、地球环境等带来不少的问题，主要包括：安全问题：据统计，飞机失事有百分之三十的概率是由起落架故障引起的，根据波音公司提供的数据，1996-1999世界各地波音系列飞机因起落架系统原因引起的事故与症候分别占总数的15.2％、17％、16.7％、16.8％，空客公司1996年提供的不完全统计中，起落架系统原因引起的事故与症候分别占总数的12.1％。环境问题：飞机的温室气体排放发生在对流层上部，其温室效应将会放大，航空业排放物产生的暖化效应是二氧化碳的2.7倍。国际能源署(IEA)的初步数据显示，商用航空业每年的二氧化碳排放量正向10亿吨迈进。如果按最低标准一架飞机起落架3000千克，一天飞行3小时，CO2排放指数为3150G/KG来计算，一年内由于携带起落架而多排放的二氧化碳排放量竟高达4000多万吨。经济问题：除了起落架的日常维护保养，飞机轮胎一次装机的正常使用寿命一般只有150～200次起落，还是以B737-800为例，共有6个机轮，每个轮胎大约价值1万元人民币，一年更换轮胎的费用就超过10万元。普通民用客机，每小时耗油量在3-5吨。据统计2014年全世界日均航班数量首次超过10万次，为102465次；全年使用的航空燃油达2730亿升。据测算，2006-2010年，B737-800平均每小时耗油2441KG，按最低标准计算一年内由于携带起落架而增加的飞行油耗高达1314万吨，多耗费的经济价值达341亿元。
技术实现思路
本专利技术的目的是提供长时视觉追踪主动分离式起落架，通过引入联合视觉跟踪与重检测模型的长时飞机追踪系统，以在分离式起落架端实现实时稳定的飞机定位，并基于这些定位结果作出相应的决策。为了实现上述目的，长时视觉追踪主动分离式起落架，它包括如下步骤：1)训练飞机检测模型；2)训练飞机跟踪模型；3)应用检测模型搜索飞机位置；4)初始化跟踪模型并基于该模型持续定位飞机；5)在探测到跟丢时重复步骤3)和4)；6)地面主动分离式起落架根据步骤4)的定位结果实时作出决策。本专利技术进一步改进，训练飞机检测模型时，基于大量人工采集的飞机起飞与降落时的图片数据及其标注结果U＝[cx,cy,w,h,θ]；其中cx,cy表示飞机中心坐标，w,h表示其宽高，θ表示其飞行角度；定义损失函数如下：其中，i表示图片中的第i个候选位置，pi表示该候选位置是飞机的概率，根据标注结果得到：当该候选位置是飞机时否则为0，ti表示估计的飞机框坐标向量，表示真实的飞机框坐标向量；Lclass和Lregress分别表示物体分类损失函数和物体位置回归损失函数；其中Lclass定义为：Lregress定义为其中R表示平滑L1函数，具体表示为：此外，项表示回归损失仅针对正样本计算；对于回归向量t，采用五维坐标编码：tcx＝(cx-cxa)/wa,tcy＝(cy-cya)/hatw＝log(w/wa),th＝log(h/ha),tθ＝log(θ/θa)通过梯度下降法优化损失函数L，即可迭代求解得到模型参数。本专利技术进一步改进，训练飞机跟踪模型时，基于大量采集的飞机起飞与降落时的视频数据及其逐帧标注结果Uf＝[cx,cy,w,h,θ]；其中cx,cy表示飞机中心坐标，w,h表示其宽高，θ表示其飞行角度，f表示帧号；每个候选样本处的损失函数定义如下：l(y,v)＝log(1+exp(-yv))其中y∈{+1,-1}表示标注结果，分别表示该候选样本属于飞机或属于背景；v表示模型对该样本的估计得分；对于搜索区域内的所有候选样本，损失定义为各位置候选样本得分的平均值：其中D表示搜索区域内的所有候选样本集合，|D|表示候选样本个数；对于模型参数η，本方法通过统计梯度下降最小化以下函数求解：其中f(z,x；η)表示概率估计函数，用于预测候选样本属于飞机的概率。本专利技术进一步改进，基于训练好的模型定位飞机时，首先基于检测模型计算飞机的位置和姿态；接着基于该检测结果初始化跟踪模型；随后跟踪模型持续定位飞机位姿并输出定位结果用于分离式起落架端的决策；最后，当跟踪模型丢失目标时，本方法立刻执行重检测，重新找回飞机后恢复跟踪模型并继续使用其完成飞机的连续定位。本专利技术进一步改进，基于检测模型定位飞机时，首先根据卷积函数提取全图特征，接着以每个特征点为中心采样多个候选框，根据分类得分过滤掉大部分的候选框，剩余的候选框经过回归模型找到最贴合的飞机位置，并去除重叠率大的候选框以得到最终的检测位置。本专利技术进一步改进，基于跟踪模型定位飞机时，通过模板与候选区域的卷积来实现快速的搜索：f(z,x)＝φ(z)*φ(x)+b·1其中z表示飞机的图片模板，x表示候选区域，b表示偏置变量，φ表示特征提取函数；通过卷积操作*，本方法可在较短的时间内完成候选区域各个位置的得分f(z,x)计算。本专利技术与目前的飞机起落架方法相比具有几个明显优点：1)经济性：飞机不再携带起落架飞行，带来的经济效益和社会效益是十分明显的，首先可以降低燃油消耗，减少温室气体排放，其次是减少设备维护、零件更换费用，再次是可以增加机身有效空间的利用，为航空公司带来不小的收益；2)安全性：一般来说，飞机起飞、降落时是最危险的时候。如果采用分离式起降装置，则能够由计算机通过电力来控制飞机的减速，不容易出现事故。上述设计思路不仅用于商业航空业，对于军事飞行也具有十分重要的作用，减轻的重量可以增加携带的燃油数量，为军机提供更远的巡航半径，减少空中加油次数，或者提供更多的载弹量，在空中格斗中赢得先机。附图说明图1为分离式起落架视觉系统构建总体流程。具体实施方式为了使本领域技术人员更好地理解本专利技术的技术方案，下面结合附图对本专利技术进行详细描述，本部分的描述仅是示范性和解释性，不应对本专利技术的保护范围有任何的限制作用。本专利技术的思想要点是：1)本专利技术提出主动分离式起落架来解决飞机起飞和降落时的安全问题和飞机承载起落架飞行过程中导致的环境和经济问题；2)本专利技术提出基于长时物体追踪系统的主动分离式起落架方法，并给出可行的模型构建与模型应用完整流程；3)本专利技术提出通过结合视觉检测与视觉跟踪，来实现稳定实时的飞机持续定位，从而及时地为分离式起落架提供决策依据。下面对专利技术中所涉及到的技术细节予以说明。1.数据采集与模型训练本方法需要大量采集两组数据：飞机起飞和降落时的图片数据和视频数据，并标注飞机在每张图片和每段视频中的位姿U＝[cx,cy,w,h,θ]，其中cx,cy表示飞机中心坐标，w,h表示其宽高，θ表示其飞行角度；这两组数据分别用于训练两类飞机定位模型：飞机检测模型与飞机跟踪模型。训练检测模型时，考虑两个训练目标：正确分类(区分飞机与背景其他物体)与正确定位。基于这两个目标，定义损失函数如下：其中Lclass和Lrgress分别表示物体分类损失函数和物体位置回归损失函数，i表示图片中的第i个候选位置，pi表示该候选位本文档来自技高网...

【技术保护点】
1.长时视觉追踪主动分离式起落架，其特征在于，它包括以下步骤：1)训练飞机检测模型；2)训练飞机跟踪模型；3)应用检测模型搜索飞机位置；4)初始化跟踪模型并基于该模型持续定位飞机；5)在探测到跟丢时重复步骤3)和4)；6)地面主动分离式起落架根据步骤4)的定位结果实时作出决策。

【技术特征摘要】
1.长时视觉追踪主动分离式起落架，其特征在于，它包括以下步骤：1)训练飞机检测模型；2)训练飞机跟踪模型；3)应用检测模型搜索飞机位置；4)初始化跟踪模型并基于该模型持续定位飞机；5)在探测到跟丢时重复步骤3)和4)；6)地面主动分离式起落架根据步骤4)的定位结果实时作出决策。2.根据权利要求1所述的长时视觉追踪主动分离式起落架，其特征在于，训练飞机检测模型时，基于大量人工采集的飞机起飞与降落时的图片数据及其标注结果U＝[cx,cy,w,h,θ]；其中cx,cy表示飞机中心坐标，w,h表示其宽高，θ表示其飞行角度；定义损失函数如下：其中，i表示图片中第i个候选位置，pi表示该候选位置是飞机的概率，根据标注结果得到：当该候选位置是飞机时否则为0，ti表示估计的飞机框坐标向量，表示真实的飞机框坐标向量；Lclass和Lregress分别表示物体分类损失函数和物体位置回归损失函数；其中Lclass定义为：Lregress定义为其中R表示平滑L1函数，具体表示为：此外，项表示回归损失仅针对正样本计算；对于回归向量t，采用五维坐标编码：tcx＝(cx-cxa)/wa,tcy＝(cy-cya)/hatw＝log(w/wa),th＝log(h/ha),tθ＝log(θ/θa)通过梯度下降法优化损失函数L，即可迭代求解得到模型参数。3.根据权利要求1所述的长时视觉追踪主动分离式起落架，其特征在于，训练飞机跟踪模型时，基于大量采集的飞机起飞与降落时的视频数据及其逐帧标注结果Uf＝[cx,cy,w,h,θ]；其中cx,cy表示飞机中心坐标，w,h表示其宽高，θ表示其飞行角度，f表示帧号；每个...

【专利技术属性】
技术研发人员：王桥生，
申请(专利权)人：王桥生，
类型：发明
国别省市：湖南,43