一种基于遥测数据的跑道自动标注方法技术

本发明专利技术涉及图像处理技术领域，尤其涉及一种基于遥测数据的跑道自动标注方法，跑道自动标注方法包括：获取无人机在真实场景中的飞行视频，并对飞行视频进行截图、裁剪获得飞行图片；读取在真实场景中的飞行日志获取无人机的飞行信息；获取真实场景中跑道的四个端点的GPS信息，并转换为跑道的世界坐标系；计算出的无人机的旋转矩阵和平移矩阵，将世界坐标系转换为相机坐标系；将相机坐标系转换为图像坐标系，并将图像坐标系的点绘制在图像上获取跑道区域。本发明专利技术用于解决现有生成训练集方法主要是使用人工截图，然后人为手动提取图片特征进行人工标注的方法存在的需要消耗大量的人力物力、人工标注效率较低的问题。人工标注效率较低的问题。人工标注效率较低的问题。

【技术实现步骤摘要】
一种基于遥测数据的跑道自动标注方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于遥测数据的跑道自动标注方法。

技术介绍

[0002]近些年来，随着我国经济和计算机技术的快速发展，计算机视觉领域也得到迅猛发展。随着虚拟现实(VR)、增强现实(AR)、裸眼3d等三维场景显示技术的发展，在智慧建筑、智慧公安、智慧飞行等大量真实场景中起到了重要作用。由于无人机飞行试验的成本和安全性问题，对于无人机飞行试验需要大量的训练集来训练模型。而目前生成训练集方法主要是使用人工截图，然后人为手动提取图片特征进行人工标注的方法，此方法需要消耗大量的人力物力，而且人工标注效率较低。

技术实现思路

[0003]有鉴于此，本专利技术的目的是提供一种基于遥测数据的跑道自动标注方法，用于解决现有生成训练集方法主要是使用人工截图，然后人为手动提取图片特征进行人工标注的方法存在的需要消耗大量的人力物力、人工标注效率较低的问题。
[0004]本专利技术通过以下技术手段解决上述技术问题：
[0005]第一方面，本专利技术提供了一种基于遥测数据的跑道自动标注方法，包括以下步骤：
[0006]获取无人机在真实场景中的飞行视频，并对飞行视频进行截图、裁剪获得飞行图片；
[0007]读取在真实场景中的飞行日志获取无人机的飞行信息；
[0008]获取真实场景中跑道的四个端点的GPS信息，并转换为跑道的世界坐标系；
[0009]根据飞行信息计算出的无人机的旋转矩阵和平移矩阵，将所述世界坐标系转换为相机坐标系；
[0010]将所述相机坐标系转换为图像坐标系，并将所述图像坐标系的点绘制在图像上获取跑道区域。
[0011]上述技术方案对无人机在真实场景中的飞行视频进行截图、裁剪获得飞行图片和对应的飞行时间，根据飞行日志获取飞行信息用于得到跑道再世界坐标系中的坐标，再通过旋转矩阵和平移矩阵将跑道的世界坐标系坐标转换为相机坐标系当中的坐标，结合相机的内参矩阵，将相机坐标系的坐标转化为图像坐标系当中的坐标，便可得到跑道的四个端点在图片中的位置。该技术方案避免了人工标注带来的需要消耗大量的人力物力、人工标注效率较低的问题，有效提高了无人机跑道标注的效率，减少人力消耗。
[0012]结合第一方面，在一些实施方式中，所述飞行信息包括无人机的GPS信息、航向角yaw、滚转角roll、俯仰角pitch。
[0013]结合第一方面，在一些实施方式中，所述跑道世界坐标系的获取如下：
[0014]将跑道底边中点设置为世界坐标系的原点，通过原点建立世界坐标系；
[0015]据真实场景中的飞行信息得到跑道四个端点和底边中点的GPS信息，通过GPS信息利用GPS计算公式计算跑道四个端点到底边中点的距离，根据距离计算出跑道四个端点在虚拟三维场景下世界坐标系的坐标。
[0016]结合第一方面，在一些实施方式中，所述旋转矩阵的计算如下：
[0017]a1＝cos(yaw)
[0018]a2＝cos(roll)
[0019]a3＝cos(pitch)
[0020]b1＝sin(yaw)
[0021]b2＝sin(roll)
[0022]b3＝sin(pitch)
[0023][0024]结合第一方面，在一些实施方式中，所述平移矩阵的计算如下：根据所述GPS信息能够计算得到无人机相对于跑道的直线距离Tx，横向距离Ty，纵向距离Tz，计算得到平移矩阵T，计算公式如下：
[0025]T＝[Tx，Ty，Tz]。
[0026]结合第一方面，在一些实施方式中，所述相机坐标系的获取如下：
[0027]将世界坐标系下的点首先左乘旋转矩阵，将左乘旋转矩阵后的结果加上平移矩阵T，得到相机坐标系下的坐标点，计算公式如下：
[0028][0029]结合第一方面，在一些实施方式中，所述图像坐标系的获取如下：
[0030]根据拍摄所述飞行视频的相机内参矩阵K，将相机坐标系下的跑道坐标转换为虚拟三维场景下图像坐标系上的点，计算公式如下：
[0031][0032]其中，
[0033][0034]第二方面，本专利技术提供了一种无人机跑道训练集自动生成装置，包括：
[0035]图片获取模块，获取无人机在真实场景中的飞行视频，并对飞行视频进行截图、裁剪获得飞行图片；
[0036]飞行信息获取模块，用于从所述飞行图片中读取在真实场景中的飞行日志获取无人机的飞行信息；
[0037]世界坐标系获取模块，用于获取跑道的四个端点的GPS信息，并转换为跑道的世界坐标系；
[0038]相机坐标系获取模块，用于根据飞行信息计算出的无人机的旋转矩阵和平移矩阵，将所述世界坐标系转换为相机坐标系；
[0039]跑道区域获取模块，将所述相机坐标系转换为图像坐标系，并将所述图像坐标系的点绘制在图像上获取跑道区域。
[0040]第三方面，本专利技术提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如如前所述的基于遥测数据的跑道自动标注方法。
[0041]第四方面，本专利技术提供了一种计算机可读存储介质，所述可读存储介质中至少有一段程序，所述至少一段程序由所述处理器加载并执行以实现如前所述的基于遥测数据的跑道自动标注方法。
[0042]本专利技术的一种基于遥测数据的跑道自动标注方法，对无人机在真实场景中的飞行视频进行截图、裁剪获得飞行图片和对应的飞行时间，根据飞行日志获取飞行信息用于得到跑道再世界坐标系中的坐标，再通过旋转矩阵和平移矩阵将跑道的世界坐标系坐标转换为相机坐标系当中的坐标，结合相机的内参矩阵，将相机坐标系的坐标转化为图像坐标系当中的坐标，便可得到跑道的四个端点在图片中的位置。该技术方案避免了人工标注带来的需要消耗大量的人力物力、人工标注效率较低的问题，大大提高了无人机跑道标注的效率，减少人力消耗。
附图说明
[0043]图1是本专利技术基于遥测数据的跑道自动标注方法的流程示意图；
[0044]图2是本专利技术无人机跑道自动标注装置的结构框图；
[0045]图3是本专利技术实施例中跑道坐标系的关键点说明示意图；
[0046]其中，无人机跑道自动标注装置200、图片获取模块210、飞行信息获取模块220、世界坐标系获取模块230、相机坐标系获取模块240、跑道区域获取模块250。
具体实施方式
[0047]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0048]除非上下文另有规定，否则术语“包含”，“具有”和“包括”是同义词。短语“A/B”表示“A或B”，短语“A和/或B”表示“(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于遥测数据的跑道自动标注方法，其特征在于，包括以下步骤：获取无人机在真实场景中的飞行视频，并对飞行视频进行截图、裁剪获得飞行图片；读取在真实场景中的飞行日志获取无人机的飞行信息；获取真实场景中跑道的四个端点的GPS信息，并转换为跑道的世界坐标系；根据飞行信息计算出的无人机的旋转矩阵和平移矩阵，将所述世界坐标系转换为相机坐标系；将所述相机坐标系转换为图像坐标系，并将所述图像坐标系的点绘制在图像上获取跑道区域。2.根据权利要求1所述的基于遥测数据的跑道自动标注方法，其特征在于，所述飞行信息包括无人机的GPS信息、航向角yaw、滚转角roll、俯仰角pitch。3.根据权利要求2所述的基于遥测数据的跑道自动标注方法，其特征在于，所述跑道世界坐标系的获取如下：将跑道底边中点设置为世界坐标系的原点，通过原点建立世界坐标系；根据真实场景中的飞行信息得到跑道四个端点和底边中点的GPS信息，通过GPS信息利用GPS计算公式计算跑道四个端点到底边中点的距离，根据距离计算出跑道四个端点在世界坐标系的坐标。4.根据权利要求3所述的基于遥测数据的跑道自动标注方法，其特征在于，所述旋转矩阵的计算如下：a1＝cos(yaw)a2＝cos(roll)a3＝cos(pitch)b1＝sin(yaw)b2＝sin(roll)b3＝sin(pitch)5.根据权利要求4所述的基于遥测数据的跑道自动标注方法，其特征在于，所述平移矩阵的计算如下：根据所述GPS信息能够计算得到无人机相对于跑道的直线距离Tx，横向距离Ty，纵向距离Tz，计算得到平移矩阵T，计算公式如下：T＝[Tx，Ty，Tz]。6.根据权利要求5所述的基于遥测数据的跑道自动标注方法，其特征在于...

【专利技术属性】
技术研发人员：陶呈纲，马波，王瑞，王波，王春兰，
申请(专利权)人：成都瀚蓝科技有限公司，
类型：发明
国别省市：