一种软式空中加油锥套检测跟踪装置的跟踪及受油方法制造方法及图纸

本发明专利技术属于飞机空中加油技术领域，涉及一种软式空中加油锥套检测跟踪装置的跟踪及受油方法。本发明专利技术通过加油锥套状态信息及将逆深度(深度的倒数)嵌入在卡尔曼滤波中，根据视觉理论推导出逆深度与测量精度的关系，与卡尔曼滤波项配合，解决了加油锥套在被其他物体遮挡或者移出相机视野范围时的检测跟踪问题，对于提高加油锥套的检测和跟踪的可靠性、准确性有重要意义。本发明专利技术充分利用图像序列的信息，精确地对加油锥套进行检测和跟踪，避免在加油锥套被遮挡等情况下，受油机错过对接时机、加油失败、甚至发生加油事故等问题。甚至发生加油事故等问题。甚至发生加油事故等问题。

【技术实现步骤摘要】
一种软式空中加油锥套检测跟踪装置的跟踪及受油方法


[0001]本专利技术属于飞机空中加油
，涉及一种软式空中加油锥套检测跟踪装置的跟踪及受油方法，特别涉及到加油锥套在被其他物体遮挡时，能够准确预测加油锥套的位置，并利用卡尔曼滤波提高加油锥套的检测和跟踪精度

技术介绍

[0002]与地面加油不同，空中加油能够在飞机飞行过程中为其加注燃油，从而延长飞机飞行时间和飞行范围。根据加油系统及控制装置和策略的不同，空中加油可以分为软式空中加油和硬式空中加油。其中软式空中加油由受油机在对接过程中主动与加油机放出的受油管末端的加油锥套精确对接。而硬式空中加油由加油机控制其加油机构与受油机受油口的对接。
[0003]空中加油过程可以划分为四个主要阶段，即会合、对接、加油和分离。空中加油的对接阶段是是整个加油过程的关键阶段，同时也是风险最大最为重要的阶段。而且对接阶段对控制精度和安全性的要求很高，在对接过程中，受油机和加油机都在飞行状态，在飞行状态下进行对接操作极具挑战性。为了使得受油机与加油锥套精确对接，需要受油机准确地对加油锥套的位置进行测量，而测量的基础即是对加油锥套的检测。
[0004]传统加油锥套检测方法直接从受油机安装的相机获得的图像中进行锥套检测。在一般情况下，这种检测方法能够在图像中检测到加油锥套。然而，由于受油机相机感知范围局限性以及遮挡等问题，可能导致加油锥套检测失败，从而对加油精确对接造成直接影响。
[0005]在加油锥套检测过程中，由于检测算法的不确定性，得到的检测信息可能不精确。在图像中有噪声干扰的情况下，这种情况会更严重。当锥套被其他物体遮挡时，检测甚至可能失败，导致无法进行位姿估计等方面的计算。更严重的是在加油锥套被遮挡的情况下，传统目标检测和跟踪技术不能确定加油锥套的位置等状态参数。系统在加油锥套不再被遮挡的情况下，重新开始获取加油锥套的位置等状态参数。这种情况对于自主空中加油非常不利，重新计算加油锥套的位置参数可能使得受油机的控制滞后，增加加油对接时间。更严重的情况下，甚至可能导致系统错误判断，错过加油时机或者导致加油事故。

技术实现思路

[0006]本专利技术的目的：针对传统加油锥套检测和跟踪方法的缺陷，本专利技术提出一种利用图像序列的相关信息进行精确可靠的加油锥套的检测跟踪方法，将逆深度(深度的倒数)嵌入在卡尔曼滤波中，根据视觉理论推导出逆深度与测量精度的关系，与卡尔曼滤波项配合，提高加油锥套的检测能力和检测精度。解决了加油锥套在被其他物体遮挡或者移出相机视野范围时的检测跟踪问题，对于提高加油锥套的检测和跟踪的可靠性、准确性有重要意义。
[0007]本专利技术技术方案：
[0008]在加受油过程中，受油机向加油机靠近，根据加油锥套与受油机的相对位置控制受油机的受油头与加油机的加油锥套的对接。在此过程中，以相机光心为原点，根据图像方
向，建立三维世界坐标系OXYZ。此外，在图像内建立图像坐标系oxy。锥套检测给出检测框的位置和大小。
[0009]一种软式空中加油锥套检测跟踪装置，包括受油机100内的相机111、受油头及加油机上安装的加油吊舱210、加油管211、加油锥套212；加油管211安装在加油吊舱210上，加油管211的末端安装有加油锥套212，相机安装在受油机100的机舱内、受油头安装在受油机100的侧面。
[0010]所述相机111为单目相机或双目相机；所述单目相机是使用单一相机获取外界图像；双目相机是使用两台相机同时获取图像。
[0011]所述单目相机可以选择可见光范围相机，相机的分辨率为2048x1024；相机采样频率为60帧/秒。
[0012]所述相机采用分辨率为2048x1024像素；采样频率为60帧/秒；两台相机的基线距离为1000mm。
[0013]软式空中加油锥套检测跟踪装置的跟踪及受油方法，具体包括以下步骤：
[0014]步骤1、加油机200放出带有加油锥套212的加油管211，受油机100与加油机200形成加受油队列；
[0015]步骤2、受油机100基于相机获取的图像序列计算其与加油锥套之间的相对位置，从而控制加油机的受油头与加油锥套对接；
[0016]步骤3、受油机100根据加油锥套212在图像序列的位置进行锥套检测，并利用加油锥套212在图像上的投影1111获取锥套深度；
[0017]步骤4、根据获得的锥套深度，受油机100利用卡尔曼滤波不断预测和更新加油锥套212在图像中的位置，受油机100基于预测的加油锥套212在图像中的位置计算受油头与加油锥套之间的相对位置，从而控制受油机的受油头与加油锥套对接。
[0018]所述卡尔曼滤波预测：第一步，利用上一时刻的后验估计值，通过状态转移矩阵，计算当前时刻的先验估计状态。第二步，利用上一时刻后验协方差计算当前时刻的先验估计协方差。
[0019]所述卡尔曼滤波更新：第一步，首先利用先验估计协方差矩阵和观测矩阵，以及测量状态协方差矩阵计算得到卡尔曼增益矩阵；第二步，将卡尔曼滤波的先验估计值通过观测矩阵投影到测量空间，并计算其与测量值的残差；；第三步，根据卡尔曼增益计算值，将卡尔曼滤波得到的预测值和测量值进行融合得到后验估计值；第四步，根据卡尔曼增益，计算协方差。
[0020]所述卡尔曼滤波预测的观测向量包括加油锥套在二维图像中的位置信息、速度信息及尺寸信息。
[0021]在加油机与受油机相互接近的过程中，二者之间的相对速度是根据加油锥套与受油头之间的距离计算
[0022]本专利技术技术效果：本专利技术通过加油锥套状态信息及将逆深度(深度的倒数)嵌入在卡尔曼滤波中，根据视觉理论推导出逆深度与测量精度的关系，与卡尔曼滤波项配合，解决了加油锥套在被其他物体遮挡或者移出相机视野范围时的检测跟踪问题，对于提高加油锥套的检测和跟踪的可靠性、准确性有重要意义。本专利技术充分利用图像序列的信息，精确地对加油锥套进行检测和跟踪，避免在加油锥套被遮挡等情况下，受油机错过对接时机、加油失
败、甚至发生加油事故等问题。
附图说明
[0023]图1是根据本专利技术实施例的软式空中加油示意图。
[0024]图2示出了根据本专利技术基于单目视觉的加油锥套感知示意图。示出了根据本专利技术基于双目视觉的加油锥套感知示意图。
[0025]图3双目视觉实施例在加油锥套在两台相机的成像平面1131和1121成像示意图。
[0026]图4示出了根据本专利技术实施例的基于逆深度卡尔曼滤波加油锥套检测的系统框图。
[0027]图中的附图标记说明如下：
[0028]图1中，100为受油机；200为加油机；210为加油吊舱；211为加油软管；212为加油锥套；110为受油机受油装置，包括受油管和视觉感知装置。
[0029]图2中，111为相机；1111为相机成像平面；212为加油锥套。
[0030]图3中，113为左相机；112为右相机；1131为左相机成像平面；1121为右相机成像平面。...

【技术保护点】

【技术特征摘要】
1.一种软式空中加油锥套检测跟踪装置，其特征在于，包括受油机100内的相机111、受油头及加油机上安装的加油吊舱210、加油管211、加油锥套212；加油管211安装在加油吊舱210上，加油管211的末端安装有加油锥套212，相机安装在受油机100的机舱内、受油头安装在受油机100的侧面。2.根据权利要求1所述的软式空中加油锥套检测跟踪装置，其特征在于，所述相机111为单目相机或双目相机；所述单目相机是使用单一相机获取外界图像；双目相机是使用两台相机同时获取图像。3.根据权利要求2所述的软式空中加油锥套检测跟踪装置，其特征在于，所述单目相机可以选择可见光范围相机，相机的分辨率为2048x1024；相机采样频率为60帧/秒。4.根据权利要求2所述的软式空中加油锥套检测跟踪装置，其特征在于，所述相机采用分辨率为2048x1024像素；采样频率为60帧/秒；两台相机的基线距离为1000mm。5.根据权利要求1
‑
4任意一项所述的软式空中加油锥套检测跟踪装置的跟踪及受油方法，其特征在于，具体包括以下步骤：步骤1、加油机200放出带有加油锥套212的加油管211，受油机100与加油机200形成加受油队列；步骤2、受油机100基于相机获取的图像序列计算其与加油锥套之间的相对位置，从而控制加油机的受油头与加油锥套对接；步骤3、受...

【专利技术属性】
技术研发人员：王君秋，何亚坤，张西林，陈远泽，
申请(专利权)人：中国航空研究院，
类型：发明
国别省市：