一种基于深度学习的无人机图像分割方法和系统技术方案

本发明专利技术提供了一种基于深度学习的无人机图像分割方法和系统，所述的无人机的图像分割方法包括以下步骤：首先设计适用于无人机图像分割的深度学习模型，然后获取无人机集群的实时图像数据，将获取的图像数据输入到设计的深度模型中进行实时图像语义分割，最后得到实时的像素级预测的图像。所述的适用于无人机图像分割的深度模型包括低分辨率图像特征提取模块、中分辨率图像特征提取模块、高分辨率图像特征提取模块和特征融合模块。本发明专利技术可以实时的获取图像分割结果，提高了无人机集群的智能化程度和操作效率。化程度和操作效率。化程度和操作效率。

【技术实现步骤摘要】
一种基于深度学习的无人机图像分割方法和系统


[0001]本专利技术涉及无人机视觉领域，并且更具体地，涉及一种基于深度学习的无人机图像分割方法和系统。

技术介绍

[0002]目前，无人机技术已经广泛应用于军事、民用等领域，如军事侦察、边境巡逻、物流配送等。随着无人机技术的不断发展，无人机的图像分割技术已经成为无人机技术发展的重要方向。无人机的图像分割可以帮助无人机实现自主导航、目标检测、地图绘制等应用，对于提高自主导航和智能化水平具有重要意义。
[0003]然而，无人机图像分割面临的问题是如何精准将收集到的图片进行分割，使得无人机的图像分割具有更高的准确性，同时能够更好的适应复杂场景。传统的无人机的图像分割通常需要手动设置参数，分割精度不高，且对于复杂环境下的无人机分割效果不佳。

技术实现思路

[0004]针对现有技术的以上缺陷或者改进需求，本专利技术提供了一种基于深度学习的无人机图像分割方法，其目的在于通过深度学习算法有效解析的无人机获取图片中的语义信息，提高对图像中信息分割的准确度。
[0005]本专利技术具有较高的精度和较快的处理速度，可以对无人机场景中的目标进行精确的识别和跟踪。本专利技术将深度学习应用于无人机语义分割中，利用其强大的识别能力，实现了对无人机的智能化控制和管理。
[0006]为实验上述目的，按照本专利技术的一个方面，提供了一种基于深度学习的无人机图像分割方法，包括以下步骤：步骤1，设计适用于无人机图像分割模型；所述的基于深度学习的无人机图像分割方法模型包括低分辨率图像特征提取模块、中分辨率图像特征提取模块、高分辨率图像特征提取模块和特征融合模块；首先对原始的输入图像分别进行上采样操作得到中分辨率图像和低分辨率图像，然后将原始的输入图像、中分辨率图像和低分辨率图像分别输入到高分辨率图像特征提取模块、中分辨率图像特征提取模块和低分辨率图像特征提取模块得到不同的语义特征，最后通过特征融合模块对不同的语义特征进行融合，生成全分辨率的预测结果；步骤2，训练设计好的图像语义分割模型；步骤3，获取无人机集群的实时图像数据；步骤4，使用训练好的图像语义分割模型来解析实时获取的图像，生成像素级的预测图像。
[0007]进一步的，步骤1中的低分辨率图像特征提取模块用于快速提取低分辨率图像中的语义特征。对输入图像上采样两次获得的1/4分辨率图像（低分辨率图像），同时使用该模块对低分辨率图像进行两次特征提取，将两次提取的语义特征进行融合。该模块包含3个卷
积层和一个池化层，其中第三个卷积层的步长为2，以进一步降低分辨率。
[0008]进一步的，步骤1中的中分辨率图像特征提取模块中输入图像上采样一次获得的1/2分辨率图像（中分辨率图像），中分辨率图像首先被输入到步长为2的卷积层，卷积层对输入图片进行特征提取。经过卷积层后，图像的特征图被送入一个具有步幅的下采样层，以减小特征图的分辨率，减少为输入下采样层前的1/4。经过下采样后的特征图被送入具有步幅为2的上采样层（反卷积层），以增加特征图的分辨率。最后，经过反卷积层的特征图送入步长为2的卷积层。
[0009]进一步的，步骤1高分辨率图像特征提取模块中，输入图像首先经过一个3
×
3卷积层进行特征提取，得到64个特征图。紧接着是两个步长为2的下采样层，分别用于减小特征图的空间分辨率和通道数。
[0010]进一步的，步骤1特征融合模块中，将低分辨率图像特征提取模块和中分辨率图像特征提取模块的输出特征按照一定比例进行上采样。接着，将上采样后的特征和高分辨率图像特征提取模块的输出特征进行融合，最终生成全分辨率的预测结果。
[0011]进一步的，步骤2中，训练过程的使用的损失函数由三部分组成，第一部分是高分辨率图像特征提取模块的损失函数，第二部分是中分辨率图像特征提取模块的损失函数，第三部分是低分辨率图像特征提取模块的损失函数。
[0012]训练中使用的损失函数,其中和是超参数，用来平衡不同分辨率的损失。
[0013][0014][0015][0016]=N / (C * n_c)其中，输入的图片大小为HW，C为类别数，为适应无人机集群的不同场景下的权重，表示在输入图像中第 i 个像素的真实标签值，其中标签值是按照独热向量的格式表示的，表示每个像素点在该类别的概率，N 是训练集中的总样本数，n_c 是类别 c 在训练集中的样本数量。
[0017]进一步的，所述3个卷积层和一个池化层的具体操作为：输入图像首先通过第一个卷积层进行特征提取。接着，通过第二个卷积层进一步提取特征，并通过池化层将分辨率降低为原始图像的1/8。最后，通过第三个卷积层进一步提取特征，并通过步长为2的卷积操作将分辨率降低为原始图像的1/16。
[0018]进一步的，所述的下采样层的具体操作为：下采样层包含四个不同大小的池化层，每个池化层的步幅大小都不同，分别是1、2、3、6。这些池化层分别对输入特征图进行池化，并将每个池化层的结果按通道方向拼接在一起，以获得一个具有全局上下文信息的特征
图。
[0019]进一步的，所述的两个步长为2的下采样层的具体操作为：第一个下采样层包含一个3
×
3的卷积层和一个2
×
2的最大池化层，用于减小特征图的大小和通道数。第二个下采样层只包含一个3
×
3的卷积层，用于进一步减小特征图的通道数。
[0020]本专利技术还提供一种基于深度学习的无人机图像分割系统，包括以下模块：模型设计模块，用于设计适用于无人机的图像分割模型；所述的基于深度学习的无人机图像分割方法模型包括低分辨率图像特征提取模块、中分辨率图像特征提取模块、高分辨率图像特征提取模块和特征融合模块；首先对原始的输入图像分别进行上采样操作得到中分辨率图像和低分辨率图像，然后将原始的输入图像、中分辨率图像和低分辨率图像分别输入到高分辨率图像特征提取模块、中分辨率图像特征提取模块和低分辨率图像特征提取模块得到不同的语义特征，最后通过特征融合模块对不同的语义特征进行融合，生成全分辨率的预测结果；模型训练模块，用于训练设计好的图像语义分割模型；数据获取模块，用于获取无人机的实时图像数据；输出模块，用于使用训练好的图像语义分割模型来解析实时获取的图像，生成像素级的预测图像。
[0021]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：（1）加深网络的深度增强模型的学习能力，提高模型识别的精确度。
[0022]（2）使用新的损失函数，使模型训练更好的获取语义信息和细节，同时训练效果更好，更加符合图像场景。
[0023]（3）通过实时提取图像语义分割信息，能够应对不同环境和任务的需求，提高无人机图像分割的效率和性能。
附图说明
[0024]图1 本专利技术实施例提供的的技术方案流程图。
[0025]图2本专利技术实施例提供的无人机图像分割模型模块示意图。
具体实施方式
[0026]为了使本专利技术的目的、技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的无人机图像分割方法，其特征在于，包括以下步骤：步骤1，设计适用于无人机的图像分割模型；所述的基于深度学习的无人机图像分割方法模型包括低分辨率图像特征提取模块、中分辨率图像特征提取模块、高分辨率图像特征提取模块和特征融合模块；首先对原始的输入图像分别进行上采样操作得到中分辨率图像和低分辨率图像，然后将原始的输入图像、中分辨率图像和低分辨率图像分别输入到高分辨率图像特征提取模块、中分辨率图像特征提取模块和低分辨率图像特征提取模块得到不同的语义特征，最后通过特征融合模块对不同的语义特征进行融合，生成全分辨率的预测结果；步骤2，训练设计好的图像语义分割模型；步骤2中，训练过程的使用的损失函数由三部分组成，第一部分是高分辨率图像特征提取模块的损失函数，第二部分是中分辨率图像特征提取模块的损失函数，第三部分是低分辨率图像特征提取模块的损失函数；训练中使用的损失函数，其中和是超参数，用来平衡不同分辨率的损失；；；；=N / (C * n_c)其中，输入的图片大小为HW，C为类别数，为适应无人机集群的不同场景下的权重，表示在输入图像中第 i 个像素的真实标签值，其中标签值是按照独热向量的格式表示的，表示每个像素点在该类别的概率，N 是训练集中的总样本数，n_c 是类别 c 在训练集中的样本数量；步骤3，获取无人机的实时图像数据；步骤4，使用训练好的图像语义分割模型来解析实时获取的图像，生成像素级的预测图像。2.如权利要求1所述的一种基于深度学习的无人机图像分割方法，其特征在于：步骤1中的低分辨率图像特征提取模块用于快速提取低分辨率图像中的语义特征，对输入图像上采样两次获得的1/4分辨率图像即低分辨率图像，同时使用低分辨率图像特征提取模块对低分辨率图像进行两次特征提取，然后将两次提取的语义特征进行融合；所述低分辨率图像特征提取模块包含3个卷积层和一个池化层，其中第三个卷积层的步长为2，以进一步降低分辨率。3.如权利要求1所述的一种基于深度学习的无人机图像分割方法，其特征在于：步骤1中的中分辨率图像特征提取模块用于快速提取中分辨率图像中的语义特征，输入图像上采
样一次获得的1/2分辨率图像即中分辨率图像，中分辨率图像首先被输入到步长为2的卷积层，卷积层对输入图片进行特征提取，经过卷积层后，图像的特征图被送入一个具有步幅的下采样层，以减小特征图的分辨率，减少为输入下采样层前的1/4，经过下采样后的特征图被送入具有步幅为2的上采样层即反卷积层，以增加特征图的分辨率；最后，经过反卷积层的特征图送入步长为2的卷积层。4.如权利要求1所述的一种基于深度学习的无人机图像分割方法，其特征在于：步骤1高分辨率图像特征提取模块中，输入图像首先经过一个3
×
3卷积层进行特征提取，得到64个特征图，紧接着是两个步长为2的下采样层，分别用于减小特征图的空间分辨率和通道数。5.如权利要求1所述的一种基于深度学习的无人机图像分割方法，其...

【专利技术属性】
技术研发人员：姜明华，张影，余锋，刘莉，宋坤芳，周昌龙，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：