一种基于深度学习的无人机影像树木检测方法技术

本方案公开了一种基于深度学习的无人机影像树木检测方法，该方法所构建的模型在基于回归方法的基础上，引入了注意力机制和多尺度特征融合策略，同时提出双层次信息融合方式，融合前述方法提供一个全新的树木检测模型，这个模型能够在不影响预测速度的情况下，提高复杂场景的泛化能力，提高模型的识别精度，解决现有模型容易漏识小棵树木且在背景复杂的场景下鲁棒性差的问题。景下鲁棒性差的问题。景下鲁棒性差的问题。

【技术实现步骤摘要】
一种基于深度学习的无人机影像树木检测方法


[0001]本专利技术属于树木检测
，尤其是涉及一种无人机影像树木检测模型构建方法及其检测方法。

技术介绍

[0002]树木是林业生态系统不可分割的一部分，在改善人类的生活环境、提供社会服务以及物质生产等多方面发挥着至关重要的作用。为了推进树木的可持续管理工作，有必要对树木的基本信息(比如树种、位置等)进行收集。获取详尽的树木信息是实现可持续管理树木工作的基础，通过对树木信息收集，实现对树木的映射和表征，有利于树木后期的养护管理工作的推进。
[0003]随着航空航天工程技术的不断进步，无人机因其具有超高的空间分辨率、相对较低的操作成本，以及接近实时的图像采集等优点正在被逐步推广应用以获取低空表面图像。目前树木检测方法可以分为两类：基于传统图像处理的树木检测方法和基于深度学习的树木检测方法。
[0004]基于传统图像处理的树木检测方法可分为两大类，一类是基于像素点的方法，该类方法一般通过提取局部区域的最大值作为树木中心点，并结合区域生长、分水岭分割、模板匹配等算法检测单棵树，这类基于局部最大值理论的树木检测方法无法根据树木的整体特性进行分类，复杂背景下种子点的选取准确性也会降低，从而影响单棵树木检测的准确率；另一类是基于对象的树木检测方法，该类方法能更好地体现树木的整体特性，并通过融入机器学习算法提高树木检测的准确率，但对于不同的场景需要人为指定提取的特征以及限定相应的参数，在没有先验知识的情况下很难进行单棵树木的准确检测。
[0005]与基于传统图像处理方法相比，基于深度学习的树木检测方法不依赖手工选择特征，而是通过海量影像数据，按照设定的标签自动地学习相关特征，将图像的低维纹理颜色特征抽象为高维语义特征，具有良好的分类性能。基于深度学习的树木检测算法主要有两种：基于候选区域的检测算法和基于回归方法的检测算法。基于候选区域的检测算法先在特征图上获取感兴趣区域，再进行微调，这类算法的准确率较高，但也有不足，需要花费较多时间提取候选区域，限制了算法的检测速度；基于回归方法的检测算法摒弃了提取候选区域阶段，直接在特征图上各个位置生成锚框并作目标判别，仅管牺牲了部分的准确度，但算法的检测识别速度得到了提高。但是如果影像的分辨率不够，这类方法将会漏识小棵树木。总体来看，基于深度学习的树木检测方法对于树木大小固定，场景简单的情况检测效果较好，对于背景复杂，树木形态多样的场景鲁棒性不太理想。

技术实现思路

[0006]本专利技术的目的是针对上述问题，提供一种基于深度学习的无人机影像树木检测方法，该方法所构建的模型在基于回归方法的基础上，引入了注意力机制和多尺度特征融合策略，同时提出双层次信息融合方式，融合前述方法提供一个全新的树木检测模型，这个模
型能够在不影响预测速度的情况下，提高复杂场景的泛化能力，提高模型的识别精度，解决现有模型容易漏识小棵树木且在背景复杂的场景下鲁棒性差的问题。
[0007]为达到上述目的，本专利技术采用了下列技术方案：
[0008]一种基于深度学习的无人机影像树木检测方法，该方法包括：
[0009]S1.对输入的无人机影像进行第一次尺寸修整及进行深度和宽度两个层次的双层次信息融合，输出第一特征图；
[0010]S2.对第一特征图进行下采样及第二次双层次信息融合，输出第二特征图；
[0011]S3.对第二特征图继续下采样，并进行第三次双层次信息融合，输出第三特征图；
[0012]S4.对第三特征图使用MSPP模块进行多尺度信息捕捉，输出第四特征图；
[0013]S5.对第四特征图和第二特征图分别进行尺寸修整以将两个特征图修整为同一尺寸并进行叠加处理，随后再次进行双层次信息融合处理输出第五特征图；
[0014]S6.对第五特征图和第一特征图分别进行尺寸修整以将两个特征图修整为同一尺寸并进行叠加处理，随后再次进行双层次信息融合处理输出第六特征图；
[0015]S7.对第六特征图继续进行尺寸修整使其与第五特征图具有相同尺寸，随后将其与第五特征图进行叠加处理，并再次进行双层次信息融合处理后输出第七特征图；
[0016]S8.对第七特征图继续进行尺寸修整使其与第四特征图具有相同尺寸，随后将其与第四特征图进行叠加处理，并再次进行双层次信息融合处理后输出第八特征图；
[0017]S9.对第六特征图、第七特征图、第八特征图分别使用AM Block模块进行处理以使网络在各尺度下均聚焦于重点区域；
[0018]S10.分别使用检测头一、检测头二、检测头三基于分别经过AM Block模块处理的三个特征图进行小目标、中等目标和大目标的检测，合并三个检测头的检测结果输出模型的最终检测结果。
[0019]这里说的尺寸是指特征图的宽、高、通道数。宽高一致即可进行通道维度上的叠加，通道数相同可使来自不同尺度的信息占比一致。
[0020]使用基于回归方法的检测算法，首先能够避免候选区域提取所耗费的时间，保证算法的检测速度；在此基础上，算法中对多个层次的特征图分别进行双层次的信息融合，能够增强网络对复杂场景下目标的检测能力，从而克服目前对复杂场景泛化能力弱的问题；使用MSPP捕捉多尺度的信息，并且通过S5、S6对多个层次的信息进行融合，从而使网络能够检测到不同大小物体的目标；并且对大目标、中目标和小目标分别使用AM Block模块对重点区域进行关注，弱化不相关背景区域，使模型对大目标、中目标和小目标都能够具有较好的识别效果。以上操作使得模型在不影响预测速度的情况亦能很好地对小目标进行捕捉，克服了目前预测速度和小目标捕捉无法兼顾的问题。
[0021]在上述的基于深度学习的无人机影像树木检测方法中，步骤S1中，被输入的无人机影像为经过裁剪的具有特定尺寸的输入特征图；
[0022]步骤S1依次包括两个Basic Conv1模块，一个FE
‑
1Block模块，一个MP2模块，一个FE
‑
1Block模块，由Basic Conv1模块和MP2模块对输入影像进行第一次尺寸修整，由两个FE
‑
1Block模块进行深度和宽度两个层次的双层次信息融合。
[0023]在上述的基于深度学习的无人机影像树木检测方法中，所述的FE
‑
1Block模块包括一个Basic Conv2模块，Basic Conv2模块的输出具有两个支路，支路一连续经过两个
Conv Block模块处理后，继续对其做一个Basic Conv2模块操作，随后与支路二进行相加操作，自此完成深度层次的信息融合，宽度层次的信息融合由所述的Conv Block模块实现，最后将融合后的特征图经过一个Basic Conv3模块操作后输出。
[0024]在上述的基于深度学习的无人机影像树木检测方法中，所述的Conv Block模块具有两个支路，支路一经过一个Basic Conv3模块操作后将得到的特征图按通道数均分为四份得到x1、x2、x本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的无人机影像树木检测方法，其特征在于，该方法包括：S1.对输入的无人机影像进行第一次尺寸修整及进行深度和宽度两个层次的双层次信息融合，输出第一特征图；S2.对第一特征图进行下采样及第二次双层次信息融合，输出第二特征图；S3.对第二特征图继续下采样，并进行第三次双层次信息融合，输出第三特征图；S4.对第三特征图使用MSPP模块进行多尺度信息捕捉，输出第四特征图；S5.对第四特征图和第二特征图分别进行尺寸修整以将两个特征图修整为同一尺寸并进行叠加处理，随后再次进行双层次信息融合处理输出第五特征图；S6.对第五特征图和第一特征图分别进行尺寸修整以将两个特征图修整为同一尺寸并进行叠加处理，随后再次进行双层次信息融合处理输出第六特征图；S7.对第六特征图继续进行尺寸修整使其与第五特征图具有相同尺寸，随后将其与第五特征图进行叠加处理，并再次进行双层次信息融合处理后输出第七特征图；S8.对第七特征图继续进行尺寸修整使其与第四特征图具有相同尺寸，随后将其与第四特征图进行叠加处理，并再次进行双层次信息融合处理后输出第八特征图；S9.对第六特征图、第七特征图、第八特征图分别使用AM Block模块进行处理以使网络在各尺度下均聚焦于重点区域；S10.分别使用检测头一、检测头二、检测头三基于分别经过AM Block模块处理的三个特征图进行小目标、中等目标和大目标的检测，合并三个检测头的检测结果输出模型的最终检测结果。2.根据权利要求1所述的基于深度学习的无人机影像树木检测方法，其特征在于，步骤S1中，被输入的无人机影像为经过裁剪的具有特定尺寸的输入特征图；步骤S1依次包括两个Basic Conv1模块，一个FE
‑
1Block模块，一个MP2模块，一个FE
‑
1Block模块，由Basic Conv1模块和MP2模块对输入影像进行第一次尺寸修整，由两个FE
‑
1Block模块进行深度和宽度两个层次的双层次信息融合。3.根据权利要求2所述的基于深度学习的无人机影像树木检测方法，其特征在于，所述的FE
‑
1Block模块包括一个Basic Conv2模块，Basic Conv2模块的输出具有两个支路，支路一连续经过两个Conv Block模块处理后，继续对其做一个Basic Conv2模块操作，随后与支路二进行相加操作，自此完成深度层次的信息融合，宽度层次的信息融合由所述的Conv Block模块实现，最后将融合后的特征图经过一个Basic Conv3模块操作后输出。4.根据权利要求3所述的基于深度学习的无人机影像树木检测方法，其特征在于，所述的Conv Block模块具有两个支路，支路一经过一个Basic Conv3模块操作后将得到的特征图按通道数均分为四份得到x1、x2、x3和x4，对x1不做任何操作得到y1，对x2经过Basic Conv2模块处理得y2，对y2与x3做相加之后再经过Basic Conv2模块操作得y3，对y3与x4做相加之后再经过Basic Conv2模块得y4；将特征图y1、y2、y3和y4在通道维度上叠加，从而完成宽度层次上的信息融合；之后，对融合后的特征进行一个Basic Conv2模块处理，再与支路二进行跳跃连接，将该两部分的特征图进行相加操作，之后经过一个Basic Conv3模块后输出。5.根据权利要求4所述的基于深度学习的无人机影像树木检测方法，其特征在于，所述的Basic Conv1模块、Basic Conv2模块、Basic Conv3模块均依次包括2D卷积层、BN层和激
活函数层，且三者的2D卷积层具有相同或不同的大小、步长。6.根据权利要求5所述的基于深度学习的无人机影像树木检测方法，其特征在于，步骤S2和步骤S2均包括一个MP2模块和一个FE
‑
2Bl...

【专利技术属性】
技术研发人员：罗小燕，唐攀攀，赵博，万昊明，王辉，勾鹏，
申请(专利权)人：南湖实验室，
类型：发明
国别省市：