一种无人机航拍目标检测识别方法和系统技术方案

本发明专利技术提出一种无人机航拍目标检测识别方法和系统。方法包括：融合公开数据和实际采集的数据，构建大量的训练和测试数据库，采用旋转数据增强和Mosaic数据增强处理原始样本图像，丰富样本数量以及提高复杂背景和小目标在样本中的比例；设计加权循环的特征金字塔融合不同尺度的特征图，得到融合丰富语义信息和几何位置特征信息的特征图；根据不同尺度大小的特征图，将分类和回归视为两个任务，设计注意力机制分别处理两个不同的任务，获取鲁棒的特征；设计一种动态调节多任务损失的方法，提高网络模型的收敛速度；设定一定的步长，训练网络，探究权重大小对精度的影响，得到使网络泛化能力更强的权重，从而实现对无人机航拍目标的准确检测识别。标的准确检测识别。标的准确检测识别。

【技术实现步骤摘要】
一种无人机航拍目标检测识别方法和系统


[0001]本专利技术属于无人机航拍目标检测识别领域，尤其涉及一种无人机航拍目标检测识别方法和系统。

技术介绍

[0002]随着科技的进步，无人机技术发展的日趋成熟。由于无人机灵活、成本低、易操作等特点，目前已经广泛应用在生产生活和军事等多个领域，在战场侦查监视、战斗伤害评估、土壤和受灾面积检测、交通和人群监控等方面发挥巨大作用。目标检测识别是计算机视觉方向一个重要的研究领域，其研究目的是快速准确的识别出感兴趣的目标，以进一步处理获取其他需求信息。此技术对于提高无人机的感知和数据分析能力、促进无人机在民用和军事领域转化出更多的应用具有重要的意义。其中，快速准确的检测识别无人机航拍目标是无人机执行各种任务的基础和前提。研究无人机航拍目标的精准检测识别方法，对于保障无人机执行各种任务具有重要意义。
[0003]目前无人机航拍目标检测识别大都直接应用常规生活场景下的目标检测识别算法，目标检测识别的效果较差，这主要是因为无人机航拍图像由于成像视角不同于自然场景图像，具有背景复杂、旋转、小目标、大视场等特点，这些特点将导致目标检测的精度较低。

技术实现思路

[0004]为解决上述技术问题，本专利技术提出一种无人机航拍目标检测识别方法的技术方案，以解决上述技术问题。
[0005]本专利技术第一方面公开了一种无人机航拍目标检测识别方法，所述方法包括：步骤S1、收集航拍目标的图像并建立图像数据集；步骤S2、对所述图像数据集中的图像进行标注；步骤S3、采用融合旋转数据增强和Mosaic数据增强的样本数据增强方式，对含有标注的原始样本图像进行增强处理，得到处理后的增强的图像数据集；步骤S4、将增强后的图像进行归一化处理，输入基线模型的主干网络，得到相应的第一特征图；步骤S5、设计加权循环的特征金字塔结构，对不同分辨率的所述第一特征图添加不同的权重，得到融合丰富语义信息和几何位置特征信息的第二特征图；步骤S6、根据不同尺度大小的第二特征图，将无人机航拍目标检测识别中的分类和回归视为两个任务，分别提取特征，获取不同任务的鲁棒特征，获得类别、位置信息和置信度的预测结果；步骤S7、通过均衡难分类样本与易分类样本，以及考虑不同的损失权重，建立Focal Loss函数；步骤S8、设定一定的步长，训练模型，探究模型的网络权重大小对精度的影响，得
到使模型的网络泛化能力更强的权重；步骤S9、应用训练好的模型做无人机航拍目标的检测识别。
[0006]根据本专利技术第一方面的方法，在所述步骤S3中，所述采用融合旋转数据增强和Mosaic数据增强的样本数据增强方式，对含有标注的原始样本图像进行增强处理的方法包括：采用albumentations库对原始图像以一定概率进行旋转增强，同时以一定概率进行Mosaic数据增强。
[0007]根据本专利技术第一方面的方法，在所述步骤S6中，所述根据不同尺度大小的第二特征图，将无人机航拍目标检测识别中的分类和回归视为两个任务，分别提取特征，获取不同任务的鲁棒特征，获得类别、位置信息和置信度的预测结果的方法包括：设计基于多任务注意力机制的预测头，通过融合通道注意力和空间注意力机制，分别处理两个不同的任务，获取不同任务的鲁棒特征，然后，将融合通道注意力和空间注意力机制的每个特征层作为共享特征层，再将共享特征层的特征通过Force Attention Block模块，获得类别、位置信息和置信度的预测结果。
[0008]根据本专利技术第一方面的方法，在所述步骤S6中，将共享特征层的特征通过Force Attention Block模块，获得类别、位置信息和置信度的预测结果的方法包括：采用第一个Force Attention Block模块，将共享特征层的特征通过一层卷积学习注意力的掩码，将所述掩码的结果和另外一个共享特征层的特征相乘，进而得到第三特征图；同时在第二个Force Attention Block模块和第三个Force Attention Block模块，先将共享特征层的特征和前一个Force Attention Block模块的输出相加后，再利用卷积学习注意力掩码，获得类别、位置信息和置信度的预测结果。
[0009]根据本专利技术第一方面的方法，在所述步骤S7中，所述通过均衡难分类样本与易分类样本，以及考虑不同的损失权重，建立Loss函数的具体公式为：其中，表示边界框的损失，表示类别的损失， 表示置信度的损失；对边界框的损失加权，对分类的损失加权，对置信度的损失加权；若用表示epoch次数，即训练次数，则、和的计算公式为：
其中，和为计算的过程变量，为更新计算后的权重；在训练初试阶段，前两个epoch会先以1为权重，第三个epoch会按照所述、和的计算公式进行计算。
[0010]根据本专利技术第一方面的方法，在所述步骤S7中，所示方法还包括：对于某些任务而言其本身应该是重要的任务，也以一定概率让程序选取上次的值作为当前的权重，是某个损失上次的权重，表示是由上述公式计算得到的，表示某个损失的当前的权重，表示概率；。
[0011]根据本专利技术第一方面的方法，所述设定一定的步长，训练模型，探究模型的网络权重大小对精度的影响，得到使模型的网络泛化能力更强的权重的方法包括：采用迁移学习的方式，利用预训练所述主干网络的权重，所述主干网络先冻结训练，然后在所述图像数据集上进行微调，微调后主干网络解冻，参与模型的训练。
[0012]本专利技术第二方面公开了一种无人机航拍目标检测识别系统，所述系统包括：第一处理模块，被配置为，收集航拍目标的图像并建立图像数据集；第二处理模块，被配置为，对所述图像数据集中的图像进行标注；第三处理模块，被配置为，采用融合旋转数据增强和Mosaic数据增强的样本数据增强方式，对含有标注的原始样本图像进行增强处理，得到处理后的增强的图像数据集；第四处理模块，被配置为，将增强后的图像进行归一化处理，输入基线模型的主干网络，得到相应的第一特征图；第五处理模块，被配置为，设计加权循环的特征金字塔结构，对不同分辨率的所述第一特征图添加不同的权重，得到融合丰富语义信息和几何位置特征信息的第二特征图；第六处理模块，被配置为，根据不同尺度大小的第二特征图，将无人机航拍目标检
测识别中的分类和回归视为两个任务，分别提取特征，获取不同任务的鲁棒特征，获得类别、位置信息和置信度的预测结果；第七处理模块，被配置为，通过均衡难分类样本与易分类样本，以及考虑不同的损失权重，建立Focal Loss函数；第八处理模块，被配置为，设定一定的步长，训练模型，探究模型的网络权重大小对精度的影响，得到使模型的网络泛化能力更强的权重；第九处理模块，被配置为，应用训练好的模型做无人机航拍目标的检测识别。
[0013]根据本专利技术第二方面的系统，第三处理模块，被配置为，所述采用融合旋转数据增强和Mosaic数据增强的样本数据增强方式，对含有标注的原始样本图像进行增强处理包括：采用albumentations库对原始图像以一定概率进行旋转增强，同时以一定概率进行Mos本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机航拍目标检测识别方法，其特征在于，所述方法包括：步骤S1、收集航拍目标的图像并建立图像数据集；步骤S2、对所述图像数据集中的图像进行标注；步骤S3、采用融合旋转数据增强和Mosaic数据增强的样本数据增强方式，对含有标注的原始样本图像进行增强处理，得到处理后的增强的图像数据集；步骤S4、将增强后的图像进行归一化处理，输入基线模型的主干网络，得到相应的第一特征图；步骤S5、设计加权循环的特征金字塔结构，对不同分辨率的所述第一特征图添加不同的权重，得到融合丰富语义信息和几何位置特征信息的第二特征图；步骤S6、根据不同尺度大小的第二特征图，将无人机航拍目标检测识别中的分类和回归视为两个任务，分别提取特征，获取不同任务的鲁棒特征，获得类别、位置信息和置信度的预测结果；步骤S7、通过均衡难分类样本与易分类样本，以及考虑不同的损失权重，建立Focal Loss函数；步骤S8、设定一定的步长，训练模型，探究模型的网络权重大小对精度的影响，得到使模型的网络泛化能力更强的权重；步骤S9、应用训练好的模型做无人机航拍目标的检测识别。2.根据权利要求1所述的一种无人机航拍目标检测识别方法，其特征在于，在所述步骤S3中，所述采用融合旋转数据增强和Mosaic数据增强的样本数据增强方式，对含有标注的原始样本图像进行增强处理的方法包括：采用albumentations库对原始图像以一定概率进行旋转增强，同时以一定概率进行Mosaic数据增强。3.根据权利要求1所述的一种无人机航拍目标检测识别方法，其特征在于，在所述步骤S6中，所述根据不同尺度大小的第二特征图，将无人机航拍目标检测识别中的分类和回归视为两个任务，分别提取特征，获取不同任务的鲁棒特征，获得类别、位置信息和置信度的预测结果的方法包括：设计基于多任务注意力机制的预测头，通过融合通道注意力和空间注意力机制，分别处理两个不同的任务，获取不同任务的鲁棒特征，然后，将融合通道注意力和空间注意力机制的每个特征层作为共享特征层，再将共享特征层的特征通过Force Attention Block模块，获得类别、位置信息和置信度的预测结果。4.根据权利要求3所述的一种无人机航拍目标检测识别方法，其特征在于，在所述步骤S6中，将共享特征层的特征通过Force Attention Block模块，获得类别、位置信息和置信度的预测结果的方法包括：采用第一个Force Attention Block模块，将共享特征层的特征通过一层卷积学习注意力的掩码，将所述掩码的结果和另外一个共享特征层的特征相乘，进而得到第三特征图；同时在第二个Force Attention Block模块和第三个Force Attention Block模块，先将共享特征层的特征和前一个Force Attention Block模块的输出相加后，再利用卷积学习注意力掩码，获得类别、位置信息和置信度的预测结果。5.根据权利要求1所述的一种无人机航拍目标检测识别方法，其特征在于，在所述...

【专利技术属性】
技术研发人员：张超凡，陶泽兴，王琦，吴茂炜，丁子津，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：