基于图像识别的飞行器迫降路径规划方法、系统和设备技术方案

本发明专利技术属于图像识别领域，具体涉及了一种基于图像识别的飞行器迫降路径规划方法、系统和设备，旨在解决面对能见度不足或是存在云雾遮挡的情况没有设备辅助很难作出正确的反应的问题。本发明专利技术包括：基于传感器数据和气象信息，计算飞行器的续航距离；进而通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；获取备选降落区域的当前卫星图像，选定降落区域；通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。本发明专利技术通过图像信息自动识别、选取最佳的着陆点并生成迫降的路径，进而对飞行员执行迫降任务进行辅助，能极大提高飞行员执行迫降任务的成功率，增加安全性降低损失。增加安全性降低损失。增加安全性降低损失。

【技术实现步骤摘要】
基于图像识别的飞行器迫降路径规划方法、系统和设备


[0001]本专利技术属于图像识别领域，具体涉及了一种基于图像识别的飞行器迫降路径规划方法、系统和设备。

技术介绍

[0002]随着技术发展，飞行器已经成为主要的交通和运输手段之一，随着服役时间的增长，飞行器不可避免的会出现各种故障，在遭遇恶劣的气候条件时也可能会对飞行器造成各种程度的损坏使得飞行器无法安全抵达目的地。
[0003]面对飞行器无法安全抵达目的地的情况，需要飞行员针对当前飞行器状况进行迫降。若是出现故障，目前只能通过飞行员接收塔台的远程指令的方式执行迫降任务，飞行员的所有操作均是基于肉眼识别的作出的反应，面对能见度不足或是存在云雾遮挡的情况没有设备辅助仅靠肉眼识别很难作出正确的反应。迫降任务通常为迫不得已而为，且反应时间极短实时性要求高，尽可能地提供辅助以提高成功几率具有重要意义。

技术实现思路

[0004]为了解决现有技术中的上述问题，即面对能见度不足或是存在云雾遮挡的情况没有设备辅助很难作出正确的反应的问题，本专利技术提供了一种基于图像识别的飞行器迫降路径规划方法：获取航线中的历史卫星图像、气象信息和等高线图像；基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；基于设置于飞行器上的传感器获取传感器数据；基于传感器数据和气象信息，计算飞行器的续航距离；基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；获取备选降落区域的当前卫星图像，选定降落区域；基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
[0005]在一些优选的实施方式中，所述备选降落区域，其获得方法包括：基于含有等高线信息的卫星图像，选取高度差小于预设的平缓阈值的连续区域，作为平坦区域；通过地形图像识别模型，识别每个平坦区域的地形分析结果；根据地形分析结果，计算对应的触地滑行矩形框的长度和宽度；选取足以包含所述触地滑行矩形框的平坦区域，作为备选降落区域，并根据地形分析结果为备选降落区域计算降落分值。
[0006]在一些优选的实施方式中，所述地形图像识别模型，包括地形类型识别模型、地形均一性识别模型和分块一致性识别模型；
所述地形类型识别模型，用于根据历史卫星图像，识别平坦区域的地形类型；所述地形均一性识别模型，用于根据历史卫星图像，识别平坦区域的图像均一性分值；所述分块一致性识别模型，用于将历史卫星图像划分为不同网格，计算每个网格与其他所有网格之间的一致性分值；根据地形类型、图像均一性分值和一致性分值，加权求和获得地形分析结果。
[0007]在一些优选的实施方式中，所述地形类型识别模型，为基于LBP算法和K聚类算法构建的分类模型，具体为：基于平坦区域的历史卫星图像转化为二值图像，为每个像素点设置邻域窗口；计算每个像素点的邻域窗口内像素的平均像素值；比较平均像素值与对应像素点像素值的大小，将平均像素值大于或等于像素点像素值的像素点标记为1，否则标记为0，获得LBP二值化图像；通过卷积层将所述LBP二值化图像进行特征提取获得LBP特征图像；将所述LBP特征图像与卫星图像通过concat层进行结合，获得特征结合图像；基于所述特征结合图像，通过KNN分类器计算特征结合图像与预设的地形类别数据库中各地形图像的相似度，输出平坦区域的地形类型。
[0008]在一些优选的实施方式中，所述地形均一性识别模型，具体为：计算每个像素点与所在平坦区域的像素均一性:其中，表示坐标为的像素值，i和j表示像素号，表示x轴方向上的像素期望值，表示y轴方向上的像素期望值，表示x轴方向上的像素标准差，表示y轴方向上的像素标准差；平坦区域的像素点的相关度均值表示该平坦区域的图像均一性分值。
[0009]在一些优选的实施方式中，所述分块一致性识别模型，具体为：其中，表示一致性分值，表示网格的尺度，表示颜色一致性分值，表示相对高度一致性分值，表示颜色一致性分值的权重，表示相对高度一致性分值的权重；所述颜色一致性分值为：
其中，表示网格p至网格q的颜色相似度，表示网格q至网格p的颜色相似度；网格p的颜色相似度；其中，和分别表示计算网格到网格的相似度和计算网格到网格的相似度，和分别表示网格的平均颜色值，为预先设定的常数，表示网格数；所述相对高度一致性分值为：其中，表示网格p至网格q的图像相对高度一致性，表示网格q至网格p的图像相对高度一致性；表示网格q至网格p的图像相对高度一致性；其中，表示网格p的平均高度，表示网格q的平均高度。
[0010]在一些优选的实施方式中，所述获取备选降落区域的当前卫星图像，选定降落区域，具体为：获取备选降落区域的当前卫星图像；计算降落分值最高的备选降落区域的当前卫星图像与历史卫星图像的相似度，当相似度大于或等于预设的可靠阈值时，将所述降落分值最高的备选降落区域选定为降落区域；若相似度低于所述预设的可靠阈值时，选取降落分值次高的备选降落区域，计算当前卫星图像与历史卫星图像的相似度，直至出现相似度大于或等于预设的可靠阈值，选出降落区域。
[0011]在一些优选的实施方式中，所述着陆点，其选取方法为：基于飞行器坐标，计算飞行器坐标至所述降落区域的行进方向；
在降落区域中，以行进方向为轴线，若轴线方向存在包含触地滑行矩形框的空间，则选取轴线方向上满足触地滑行矩形框长度最长的起始边中点作为着陆点；若轴线方向不存在包含触地滑行矩形框的空间，则选取轴线方向上偏角最小的方向的触地滑行矩形框长度最长的起始边中点作为着陆点。
[0012]在一些优选的实施方式中，所述规划方法还包括评估救援难易度的步骤，具体为：对于所有备选降落区域的历史卫星图像，计算所有备选降落区域到主干道的路线和路线距离；所述路线满足：在含有等高线信息的卫星图像中，预设的水平距离内高度差低于预设的坡度阈值；根据路线距离设置救援难易度分值；将救援难易度分值与所述地形类型、图像均一性分支和一致性分值进行加权求和获得地形分析结果。
[0013]本专利技术的另一方面，提出了一种基于图像识别的飞行器迫降路径规划系统，包括：航行信息获取模块、图像信息结合模块、传感器数据获取模块、续航距离获取模块、备选降落区域获取模块、降落区域选取模块和路径生成模块；所述航行信息获取模块，配置为获取航线中的历史卫星图像、气象信息和等高线图像；所述图像信息结合模块，配置为基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；所述传感器数据获取模块，配置为基于设置于飞行器上的传感器获取传感器数据；所述续航距离获取模块，配置为基于传感器数据和气象信息，计算飞行器的续航距离；所述备选降落区域获取模块，配置为基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；所述降落区域选取模块，配置为获取备选降落区域的当前卫星图像，选定降落区域；所述路径生成模块，配置为基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像识别的飞行器迫降路径规划方法，其特征在于，所述方法包括：获取航线中的历史卫星图像、气象信息和等高线图像；基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；基于设置于飞行器上的传感器获取传感器数据；基于传感器数据和气象信息，计算飞行器的续航距离；基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；获取备选降落区域的当前卫星图像，选定降落区域；基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。2.根据权利要求1所述的基于图像识别的飞行器迫降路径规划方法，其特征在于，所述备选降落区域，其获得方法包括：基于含有等高线信息的卫星图像，选取高度差小于预设的平缓阈值的连续区域，作为平坦区域；通过地形图像识别模型，识别每个平坦区域的地形分析结果；根据地形分析结果，计算对应的触地滑行矩形框的长度和宽度；选取足以包含所述触地滑行矩形框的平坦区域，作为备选降落区域，并根据地形分析结果为备选降落区域计算降落分值。3.根据权利要求2所述的基于图像识别的飞行器迫降路径规划方法，其特征在于，所述地形图像识别模型，包括地形类型识别模型、地形均一性识别模型和分块一致性识别模型；所述地形类型识别模型，用于根据历史卫星图像，识别平坦区域的地形类型；所述地形均一性识别模型，用于根据历史卫星图像，识别平坦区域的图像均一性分值；所述分块一致性识别模型，用于将历史卫星图像划分为不同网格，计算每个网格与其他所有网格之间的一致性分值；根据地形类型、图像均一性分值和一致性分值，加权求和获得地形分析结果。4.根据权利要求3所述的基于图像识别的飞行器迫降路径规划方法，其特征在于，所述地形类型识别模型，为基于LBP算法和K聚类算法构建的分类模型，具体为：基于平坦区域的历史卫星图像转化为二值图像，为每个像素点设置邻域窗口；计算每个像素点的邻域窗口内像素的平均像素值；比较平均像素值与对应像素点像素值的大小，将平均像素值大于或等于像素点像素值的像素点标记为1，否则标记为0，获得LBP二值化图像；通过卷积层将所述LBP二值化图像进行特征提取获得LBP特征图像；将所述LBP特征图像与卫星图像通过concat层进行结合，获得特征结合图像；基于所述特征结合图像，通过KNN分类器计算特征结合图像与预设的地形类别数据库中各地形图像的相似度，输出平坦区域的地形类型。5.根据权利要求4所述的基于图像识别的飞行器迫降路径规划方法，其特征在于，所述地形均一性识别模型，具体为：计算每个像素点与所在平坦区域的像素均一性:
其中，表示坐标为的像素值，i和j表示像素号，表示x轴方向上的像素期望值，表示y轴方向上的像素期望值，表示x轴方向上的像素标准差，表示y轴方向上的像素标准差；平坦区域的像素点的相关度均值表示该平坦区域的图像均一性分值。6.根据权利要求5所述的基于图像识别的飞行器迫降路径规划方法，其特征在于，所述分块一致性识别模型，具体为：其中，表示一致性分值，表示网格的尺度，表示颜色一致性分值，表示相对高度一致性分值，表示颜色一致性分值的权重，表示相对高度一致性分值的权重；所述颜色一致性分值为：其中，表示网格p至网格q的颜色相似度，表示网格q至网格p的颜色相似度；的颜色相似度；其中，和分别表示计算网格到网格的相似度和计算网格到网格的相似度，和分别表示网格的平均颜色值，为预...

【专利技术属性】
技术研发人员：曾钿，吴林，刘小东，叶宗华，戴慧林，翁沛炎，
申请(专利权)人：珠海翔翼航空技术有限公司，
类型：发明
国别省市：