一种无人机备降和迫降区域的实时分割方法技术

本发明专利技术涉及一种无人机备降和迫降区域的实时分割方法，包括步骤：收集历史航拍图像数据，构成航拍数据集；将航拍数据集输入实时语义分割网络模型，经过主干网络获取多个全局特征图，然后多个全局特征图经过空洞卷积池化金字塔模块进行特征融合后，实时语义分割网络模型输出预测图；全局特征图经过空洞卷积池化金字塔模块进行特征融合后得到的融合特征图，再经过高斯拉普拉斯卷积计算，得到融合特征图的边缘信息；对主干网络获取的任一全局特征图进行细节指导计算，并结合融合特征图的边缘信息计算得到细节损失，通过细节损失对实时语义分割网络模型进行优化。本发明专利技术使用语义分割技术使无人机具备自动识别备降区域、迫降区域以及保护目标的能力。保护目标的能力。保护目标的能力。

【技术实现步骤摘要】
一种无人机备降和迫降区域的实时分割方法


[0001]本专利技术涉及计算机视觉中语义分割
，特别涉及一种无人机备降和迫降区域的实时分割方法。

技术介绍

[0002]无人机航拍图像语义分割是在无人机航拍图像的技术上运用语义分割技术使无人机获得场景目标智能感知能力。针对无人机航拍图像语义分割，面向的对象是非常复杂的航拍场景图，该类图中具有汽车、建筑物、树木、河流等多样目标，尤其是像汽车这类小目标较难分割，且相同目标具有大小不一的特性，这些因素都给图像语义分割精准性带来了很大的挑战。由于传统图像分割方法对非结构化、多目标的图像的分割效果较差，因此利用卷积神经网络对图像进行语义分割是一个热点。一方面，利用卷积神经网络相对传统算法来说具有较高的精准性，但是由于模型在训练过程中的下采样操作，使得灰度原像素时缺乏空间信息；另一方面，深度学习技术对设备的要求较高，模型复杂度也较高，所以提高语义分割精准性成为语义分割的一大技术难点。
[0003]公开号为CN111913492A，名称为《无人机安全降落方法和装置》的专利文献公开了，获取当前位置图像，并将当前位置图像划分为若干个区域；根据深度卷积神经网络模型，识别若干个区域中的安全区域，并将计算得到的安全区域对应的置信度进行排序；控制无人机飞行到安全区域中置信度最高的区域上空，进而，计算无人机在置信度最高的区域中的投影平面，并控制无人机降落至该投影平面。
[0004]上述专利文献对于无人机降落区域识别的方法主要是通过深度卷积神经模型进行训练，运用目标识别的方法识别出场景中若干个安全区域。目标识别的方法确实可以大致地识别出降落区域，但是普遍会存在误检、漏检的情况，且降落区域一般都是不规则的，所以最终呈现的预测框无法较好地实现精准识别。
[0005]公开号为CN115100552A，名称为《一种无人机遥感图像实时语义分割方法》的专利文献公开了，获取遥感图像数据集，进行遥感图像逐像素语义标签标注，构建由图像到类别标签的轻量化语义主干网络，构建多重语义关联激活模块分析遥感图像中的语义信息，构建语义标签判别模块，通过特征图逐像素判定语义标签，作为语义分割的输出结果，最终与训练集的真是标注进行对比并计算损失，进行反向传播优化，对遥感图像进行实时语义分割，并实时发送分割结果。
[0006]上述专利文献体现的是语音分割技术的大致流程，但无人机实际执行语义分割任务时，会产生许多不同的问题。首先是应用场景不同时，模型的泛化能力可能不强；其次是其使用的依旧是传统的encoder
‑
decoder(编码器
‑
解码器)结构，在语义分割任务中除了语义信息外还需要细节信息，模型在不断地卷积、池化的过程中往往会丢失大量的细节信息，且这个过程往往也会导致模型参数变得很大。另外，该专利文献只需要分割出行人和车辆，分割的目标对象相对单一，无人机在高空并不具备全局环境感知能力。

技术实现思路

[0007]本专利技术的目的在于用语义分割技术时无人机具备自动识别备降区域、迫降区域以及保护目标的能力，且解决了传统语义分割方法泛化能力弱、卷积过程中丢失大量细节信息、模型参数量大、分割对象单一等问题，提供一种无人机备降和迫降区域的实时分割方法。
[0008]为了实现上述专利技术目的，本专利技术实施例提供了以下技术方案：
[0009]一种无人机备降和迫降区域的实时分割方法，包括以下步骤：
[0010]步骤1，收集无人机的历史航拍图像数据，并对历史航拍图像数据进行筛选和逐像素点标注，构成航拍数据集；
[0011]步骤2，将航拍数据集输入实时语义分割网络模型，首先经过主干网络获取多个全局特征图，然后多个全局特征图经过空洞卷积池化金字塔模块进行特征融合后，实时语义分割网络模型输出预测图；
[0012]步骤3，所述全局特征图经过空洞卷积池化金字塔模块进行特征融合后得到的融合特征图，再经过高斯拉普拉斯卷积计算，得到融合特征图的边缘信息；对主干网络获取的任一全局特征图进行细节指导计算，并结合融合特征图的边缘信息计算得到细节损失，通过细节损失对实时语义分割网络模型进行优化。
[0013]更进一步地，所述实时语义分割网络模型的主干网络包括依次连接的第一全卷积模块、第二全卷积模块、第一特征注意力权重模块、第二特征注意力权重模块、第三特征注意力权重模块；
[0014]尺度为224*224*3的航拍数据集输入第一全卷积模块，经第一全卷积模块处理后向第二全卷积模块输出尺度为112*112*32的第一特征图；经第二全卷积模块处理后向第一特征注意力权重模块输出尺度为56*56*64的第二特征图；
[0015]经第一特征注意力权重模块处理后向第二特征注意力权重模块输出尺度为28*28*256的第一全局特征图；经第二特征注意力权重模块处理后向第三特征注意力权重模块输出尺度为14*14*512的第二全局特征图；经第三特征注意力权重模块处理后向全局池化层输出尺度为7*7*1024的第三全局特征图；
[0016]主干网络的第一特征注意力权重模块、第二特征注意力权重模块、第三特征注意力权重模块分别向空洞卷积池化金字塔模块输出第一全局特征图、第二全局特征图、第三全局特征图。
[0017]更进一步地，所述第一全卷积模块、第二全卷积模块均包括依次连接的卷积层、归一化层、激活层。
[0018]更进一步地，所述第一特征注意力权重模块、第二特征注意力权重模块、第三特征注意力权重模块均包括依次连接的第一注意力卷积层、第二注意力卷积层、第三注意力卷积层、第四注意力卷积层、ADD层；
[0019]其中，第一注意力卷积层的卷积核大小为1*1，第二注意力卷积层的卷积核大小为3*3，第三注意力卷积层的卷积核大小为5*5，第四注意力卷积层的卷积核大小为7*7；
[0020]输入第一注意力卷积层的为低层特征图F
low
，低层特征图F
low
经过第一注意力卷积层，得到第一全局特征子图F1及其权重a1；第一全局特征子图F1经过第二注意力卷积层，得到第二全局特征子图F2及其权重a2；第二全局特征子图F2经过第三注意力卷积层，得到第三
全局特征子图F3及其权重a3；第三全局特征子图F3经过第四注意力卷积层，得到第四全局特征子图F4及其权重a4；
[0021]低层特征图F
low
、第一全局特征子图F1、第二全局特征子图F2、第三全局特征子图F3、四全局特征子图F4均经过ADD层融合为全局特征图F
out
：
[0022][0023]其中，n表示注意力卷积层的数量，n＝1,...,4；F
i
表示第i个注意力卷积层；a
i
表示第i个注意力卷积层输出的权重，且有
[0024]更进一步地，每一个注意力卷积层得到权重的步骤为：
[0025]将每一个注意力卷积层得到的全局特征子图F
i
经过卷积核大小为3*3的卷积层，再通过全本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机备降和迫降区域的实时分割方法，其特征在于：包括以下步骤：步骤1，收集无人机的历史航拍图像数据，并对历史航拍图像数据进行筛选和逐像素点标注，构成航拍数据集；步骤2，将航拍数据集输入实时语义分割网络模型，首先经过主干网络获取多个全局特征图，然后多个全局特征图经过空洞卷积池化金字塔模块进行特征融合后，实时语义分割网络模型输出预测图；步骤3，所述全局特征图经过空洞卷积池化金字塔模块进行特征融合后得到的融合特征图，再经过高斯拉普拉斯卷积计算，得到融合特征图的边缘信息；对主干网络获取的任一全局特征图进行细节指导计算，并结合融合特征图的边缘信息计算得到细节损失，通过细节损失对实时语义分割网络模型进行优化。2.根据权利要求1所述的一种无人机备降和迫降区域的实时分割方法，其特征在于：所述实时语义分割网络模型的主干网络包括依次连接的第一全卷积模块、第二全卷积模块、第一特征注意力权重模块、第二特征注意力权重模块、第三特征注意力权重模块；尺度为224*224*3的航拍数据集输入第一全卷积模块，经第一全卷积模块处理后向第二全卷积模块输出尺度为112*112*32的第一特征图；经第二全卷积模块处理后向第一特征注意力权重模块输出尺度为56*56*64的第二特征图；经第一特征注意力权重模块处理后向第二特征注意力权重模块输出尺度为28*28*256的第一全局特征图；经第二特征注意力权重模块处理后向第三特征注意力权重模块输出尺度为14*14*512的第二全局特征图；经第三特征注意力权重模块处理后向全局池化层输出尺度为7*7*1024的第三全局特征图；主干网络的第一特征注意力权重模块、第二特征注意力权重模块、第三特征注意力权重模块分别向空洞卷积池化金字塔模块输出第一全局特征图、第二全局特征图、第三全局特征图。3.根据权利要求2所述的一种无人机备降和迫降区域的实时分割方法，其特征在于：所述第一全卷积模块、第二全卷积模块均包括依次连接的卷积层、归一化层、激活层。4.根据权利要求2所述的一种无人机备降和迫降区域的实时分割方法，其特征在于：所述第一特征注意力权重模块、第二特征注意力权重模块、第三特征注意力权重模块均包括依次连接的第一注意力卷积层、第二注意力卷积层、第三注意力卷积层、第四注意力卷积层、ADD层；其中，第一注意力卷积层的卷积核大小为1*1，第二注意力卷积层的卷积核大小为3*3，第三注意力卷积层的卷积核大小为5*5，第四注意力卷积层的卷积核大小为7*7；输入第一注意力卷积层的为低层特征图F
low
，低层特征图F
low
经过第一注意力卷积层，得到第一全局特征子图F1及其权重a1；第一全局特征子图F1经过第二注意力卷积层，得到第二全局特征子图F2及其权重a2；第二全局特征子图F2经过第三注意力卷积层，得到第三全局特征子图F3及其权重a3；第三全局特征子图F3经过第四注意力卷积层，得到第四全局特征子图F4及其权重a4；低层特征图F
low
、第一全局特征子图F1、第二全局特征子图F2、第三全局特征子图F3、四全局特...

【专利技术属性】
技术研发人员：张军，陈忠辉，李宇雄，朱纯午，章磊，谭锦涛，李诚龙，江波，黄龙杨，屈若锟，
申请(专利权)人：中国民用航空飞行学院，
类型：发明
国别省市：