一种飞机姿态测量方法、系统、设备及介质技术方案

本发明专利技术涉及一种飞机姿态测量方法、系统、设备及介质，属于飞机位姿测量领域。方法包括：构建飞机图像数据集；对飞机图像数据集中的检测框标签进行动态平移缩放数据处理，获取感兴趣区域内的飞机图像；以位姿一致性、稠密特征和位姿参数为约束，利用感兴趣区域内的飞机图像对位姿估计网络进行优化，得到优化后的位姿估计网络；将待检测飞机图像输入至训练好的目标检测器模型中，得到飞机图像的最终检测框；利用优化后的位姿估计网络对最终检测框内的飞机图像进行位姿估计，得到飞机的位姿参数；位姿参数包括3D姿态参数和3D位置参数；根据3D姿态参数，由测量系统坐标系空间转换确定飞机姿态角。本发明专利技术提高了飞机姿态测量的准确度和鲁棒性。鲁棒性。鲁棒性。

【技术实现步骤摘要】
一种飞机姿态测量方法、系统、设备及介质


[0001]本专利技术涉及飞机位姿测量领域，特别是涉及一种飞机姿态测量方法、系统、设备及介质。

技术介绍

[0002]飞机位姿的实时监测是保证飞行安全的关键性条件。常用的飞机位姿测量手段主要依据惯导、GPS、雷达等设施获取飞机的位姿参数。但由于惯导存在积累误差，难以长时间地输出准确姿态数据。在GPS拒止环境下和面临高速运动目标时，GPS和雷达位姿测量技术受到限制，难以满足飞机的实时位姿测量。因此，视觉测量方法实现飞机位姿测量越发受到广泛的关注。
[0003]相比于机载视觉测量，地基视觉测量因不受电源和有效负载等限制，在位姿解算能力方面更具优势。传统飞机位姿视觉测量方法中，模板匹配方法主要依靠庞大的模板库，通过将待测图像的飞机区域特征与模板库图像进行比对，查找出飞机位姿参数。此方法搜索耗时较长，且仅能获得粗略位姿，需进一步优化。基于稀疏特征的位姿测量方法依靠飞机关键点和机身边缘线等稀疏特征求解飞机位姿参数。此方法对图像噪声敏感，对稀疏特征的提取精度提出了较高的要求。同时，稀疏特征极易受到飞机自遮挡的影响。目前，基于飞机图像区域特征的位姿跟踪方法虽能实现实时高精度的位姿测量，但其需要人工赋予初始位姿。受飞行环境复杂性的影响，飞行测量过程中无法保障全程连续性监测。
[0004]因此，需要开发一种具有鲁棒性的图像特征，能够实现快速、准确、自动化、远距离的飞机位姿测量方法。

技术实现思路

[0005]本专利技术的目的是提供一种飞机姿态测量方法、系统、设备及介质，以解决现有技术中的飞机位姿测量方法对飞机姿态测量准确性和鲁棒性低的问题。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种飞机姿态测量方法，包括：
[0008]构建飞机图像数据集；所述飞机图像数据集包括真实数据集和虚拟数据集；所述真实数据集包括原始飞机图像、原始飞机图像的检测框标签、原始飞机图像的位姿标签和原始飞机图像的稠密特征标签；所述虚拟数据集包括虚拟飞机图像、虚拟飞机图像的检测框标签、虚拟飞机图像的位姿标签、虚拟飞机图像的稠密特征标签和背景图像；
[0009]对所述原始飞机图像的检测框标签进行动态平移缩放处理，获取感兴趣区域内的飞机图像；
[0010]以位姿一致性、稠密特征和飞机位姿为约束，利用所述感兴趣区域内的飞机图像对位姿估计网络进行优化，得到优化后的位姿估计网络；所述位姿估计网络包括特征提取子网络、稠密特征回归子网络和位姿回归子网络；
[0011]将待检测飞机图像输入至训练好的目标检测器模型中，得到飞机图像的最终检测
框；
[0012]利用优化后的位姿估计网络对所述最终检测框内的飞机图像进行位姿估计，得到飞机的位姿参数；所述位姿参数包括3D姿态参数和3D位置参数；
[0013]根据所述3D姿态参数，利用测量系统坐标系进行空间转换，确定飞机姿态角。
[0014]可选地，所述对所述原始飞机图像的检测框标签进行动态平移缩放处理，获取感兴趣区域内的飞机图像，具体包括：
[0015]利用公式对所述标注检测框后的飞机图像的检测框中心进行平移，得到平移后的检测框中心；其中，(o
x
,o
y
)为原始的检测框中心；σ
x
为x轴的平移系数；σ
y
为y轴的平移系数；α为x轴平移的最大比例因子；β为y轴平移的最大比例因子；w为检测框的宽；h为检测框的高；(c
x
,c
y
)为平移后检测框中心；
[0016]利用公式S＝max(w,h)
·
σ
s
·
η(
‑
γ＜σ
s
＜γ)对所述标注检测框后的飞机图像的检测框尺寸进行缩放，得到缩放后的检测框尺寸；其中，σ
s
为缩放系数；γ为缩放的最大比例因子；η为缩放比例；S为缩放后的检测框尺寸；
[0017]根据所述平移后的检测框中心和所述缩放后的检测框尺寸，确定感兴趣区域的飞机图像。
[0018]可选地，所述将待检测飞机图像输入至训练好的目标检测器模型中，得到飞机图像的最终检测框，具体包括：
[0019]将待检测飞机图像输入至训练好的目标检测器模型中，得到含有原始检测框的飞机图像；
[0020]以所述缩放比例对所述含有原始检测框的飞机图像上的原始检测框进行缩放，得到飞机图像的最终检测框。
[0021]可选地，所述利用优化后的位姿估计网络对所述最终检测框内的飞机图像进行位姿估计，得到飞机的位姿参数，具体包括：
[0022]利用所述特征提取子网络提取所述最终检测框内飞机图像的高层特征，得到高层特征图；
[0023]利用所述稠密特征回归子网络对所述高层特征图进行解码，并回归得到稠密特征图；所述稠密特征图包括飞机稠密3D坐标图、飞机分割图和飞机表面区域图；并根据所述飞机稠密3D坐标图及对应的2D位置编码图，建立飞机区域稠密点2D
‑
3D对应关系；还根据所述飞机表面区域图获取飞机表面区域像素分布；
[0024]利用所述位姿回归子网络，根据所述飞机区域稠密点2D
‑
3D对应关系和所述飞机表面区域像素分布进行位姿估计，回归得到飞机的位姿参数。
[0025]可选地，所述根据所述3D姿态参数，利用测量系统坐标系进行空间转换，确定飞机姿态角，具体包括：
[0026]对所述3D姿态参数，得到飞机坐标系至摄像机坐标系的旋转矩阵；
[0027]根据所述飞机坐标系至摄像机坐标系的旋转矩阵，进行摄像机坐标系至东北天坐标系的空间转换，得到飞机坐标系至东北天坐标系的旋转矩阵；
[0028]根据所述飞机坐标系至东北天坐标系的旋转矩阵，确定飞机姿态角。
[0029]一种飞机姿态测量系统，包括：
[0030]数据集构建模块，用于构建飞机图像数据集；所述飞机图像数据集包括真实数据集和虚拟数据集；所述真实数据集包括原始飞机图像、原始飞机图像的检测框标签、原始飞机图像的位姿标签和原始飞机图像的稠密特征标签；所述虚拟数据集包括虚拟飞机图像、虚拟飞机图像的检测框标签、虚拟飞机图像的位姿标签、虚拟飞机图像的稠密特征标签和背景图像；
[0031]数据集处理模块，用于对所述原始飞机图像的检测框标签进行动态平移缩放处理，获取感兴趣区域内的飞机图像；
[0032]位姿估计网络优化模块，用于以位姿一致性、稠密特征和飞机位姿为约束，利用所述感兴趣区域内的飞机图像对位姿估计网络进行优化，得到优化后的位姿估计网络；所述位姿估计网络包括特征提取子网络、稠密特征回归子网络和位姿回归子网络；
[0033]目标检测模块，用于将待检测飞机图像输入至训练好的目标检测器模型中，得到飞机图像的最终检测框；
[0034]位姿估计模块，用于利用优化后的位姿估计网络对所述最终检测框内的飞机图像进行位姿估计，得到飞本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种飞机姿态测量方法，其特征在于，包括：构建飞机图像数据集；所述飞机图像数据集包括真实数据集和虚拟数据集；所述真实数据集包括原始飞机图像、原始飞机图像的检测框标签、原始飞机图像的位姿标签和原始飞机图像的稠密特征标签；所述虚拟数据集包括虚拟飞机图像、虚拟飞机图像的检测框标签、虚拟飞机图像的位姿标签、虚拟飞机图像的稠密特征标签和原始飞机图像的背景图像；对所述原始飞机图像的检测框标签进行动态平移缩放处理，获取感兴趣区域内的飞机图像；以位姿一致性、稠密特征和飞机位姿为约束，利用所述感兴趣区域内的飞机图像对位姿估计网络进行优化，得到优化后的位姿估计网络；所述位姿估计网络包括特征提取子网络、稠密特征回归子网络和位姿回归子网络；将待检测飞机图像输入至训练好的目标检测器模型中，得到飞机图像的最终检测框；利用优化后的位姿估计网络对所述最终检测框内的飞机图像进行位姿估计，得到飞机的位姿参数；所述位姿参数包括3D姿态参数和3D位置参数；根据所述3D姿态参数，利用测量系统坐标系进行空间转换，确定飞机姿态角。2.根据权利要求1所述的飞机姿态测量方法，其特征在于，所述对所述原始飞机图像的检测框标签进行动态平移缩放处理，获取感兴趣区域内的飞机图像，具体包括：利用公式对所述标注检测框后的飞机图像的检测框中心进行平移，得到平移后的检测框中心；其中，(o
x
,o
y
)为原始的检测框中心；σ
x
为x轴的平移系数；σ
y
为y轴的平移系数；α为x轴平移的最大比例因子；β为y轴平移的最大比例因子；w为检测框的宽；h为检测框的高；(c
x
,c
y
)为平移后检测框中心；利用公式S＝max(w,h)
·
σ
s
·
η(
‑
γ＜σ
s
＜γ)对所述标注检测框后的飞机图像的检测框尺寸进行缩放，得到缩放后的检测框尺寸；其中，σ
s
为缩放系数；γ为缩放的最大比例因子；η为缩放比例；S为缩放后的检测框尺寸；根据所述平移后的检测框中心和所述缩放后的检测框尺寸，确定感兴趣区域内的飞机图像。3.根据权利要求2所述的飞机姿态测量方法，其特征在于，所述将待检测飞机图像输入至训练好的目标检测器模型中，得到飞机图像的最终检测框，具体包括：将待检测飞机图像输入至训练好的目标检测器模型中，得到含有原始检测框的飞机图像；以所述缩放比例对所述含有原始检测框的飞机图像上的原始检测框进行缩放，得到飞机图像的最终检测框。4.根据权利要求1所述的飞机姿态测量方法，其特征在于，所述利用优化后的位姿估计网络对所述最终检测框内的飞机图像进行位姿估计，...

【专利技术属性】
技术研发人员：魏振忠，刘明坤，冯广堃，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：