结合RGB-DSM图像和深度学习的城市森林单木树冠检测方法技术

本发明专利技术公开了一种结合RGB

【技术实现步骤摘要】
结合RGB
‑
DSM图像和深度学习的城市森林单木树冠检测方法


[0001]本专利技术属于目标检测领域，具体涉及一种结合RGB
‑
DSM图像和深度学习的城市森林单木树冠检测方法。

技术介绍

[0002]城市森林具有调节城市气候、吸收有毒有害气体、改善居住环境和维持生物多样性等重要作用。随着城市化效应日趋严重，城市森林的建设愈发受到重视。单木树冠检测(individual tree crown detection，ITCD)作为实现城市森林可持续经营和管理的重要方法，不但被用于获取树木的基本信息，还在病树检测和城市绿量监测等方面有重要应用。
[0003]ITCD任务可以分为两个步骤：位置检测和边缘描绘。位置检测的常用算法包括局部最大值法、模板匹配法、尺度分析法等；边缘描绘的常用算法包括区域生长法、谷底跟踪法、分水岭分割法等。这些算法是无监督算法，更适合景观同质化区域。而城市森林处于城市之中，周围遍布多种类型的地物。在这种复杂的环境中，上述算法难以取得良好的检测效果。
[0004]随着计算机算力的提升和数据量的增加，强大的特征学习能力使得深度学习在适应复杂背景、泛化模型和降低准入门槛等方面具备了明显的优势，这些优势使得深度学习在人脸识别、无人驾驶等多个领域得到了广泛的应用。在林业上，结合深度学习和无人机高清影像数据，ITCD任务被应用于诸多场景。
[0005]已有研究表明，高程信息有助于提升计算机视觉任务的性能。一些研究者在 ITCD研究中使用了高程数据，但这些研究在基于非深度学习算法的ITCD任务中使用了高程数据，但是由于彩色图像和高程数据分别是三通道图像和单通道图像(两者共计有四个通道)，而目前通用的深度学习网络接受的是三通道图像，因此在结合两类数据进行基于深度学习的ITCD任务之前，必须设法解决研究数据和网络在通道数量上的矛盾。

技术实现思路

[0006]本专利技术的目的在于解决现有技术中存在的问题，并提供一种结合RGB
‑
DSM 图像和深度学习的城市森林单木树冠检测方法。本专利技术结合无人机RGB影像和 DSM进行城市森林单木树冠检测，以提高检测结果的准确性。
[0007]本专利技术所采用的具体技术方案如下：
[0008]一种结合RGB
‑
DSM图像和深度学习的城市森林单木树冠检测方法，其步骤如下：
[0009]S1：获取目标检测区域的无人机影像，利用所得的无人机影像生成密集点云，进而得到代表地物反射率的RGB三通道正射影像图和代表地物高度的单通道数字表面模型；
[0010]S2：获取基于深度学习网络分别训练的第一目标检测模型和第二目标检测模型；所述第一目标检测模型以正射影像图为输入，输出单木树冠的检测框；所述第二目标检测模型以单通道的数字表面模型重复叠加形成的三通道高程图为输入，输出单木树冠的检测框；
[0011]S3：将S1中得到的RGB三通道正射影像图作为所述第一目标检测模型的输入，得到一组代表输入图像中所有单木树冠的第一检测框集合；将S1中得到的单通道数字表面模型作为所述第二目标检测模型的输入，得到另一组代表输入图像中所有单木树冠的第二检测框集合；
[0012]S4：遍历两组检测框进行置信度重置和冗余消除：
[0013]若存在两个检测框分别属于两组检测框且交并比大于等于交并比阈值，则认为这两个检测框代表同一个树冠，将这两个检测框的置信度按预设权重加权后赋值给原置信度较高的一个检测框，然后剔除另一个检测框；
[0014]若一组检测框集合中存在一个检测框与另一组检测框集合中所有检测框之间的并交比都小于交并比阈值，则认为在另一组检测框集合中并不存在这个单木树冠，将该检测框保留，但置信度按预设比例进行缩小；
[0015]S5：完成S4的置信度重置和冗余消除后，得到一组新的检测框，作为最终的单木树冠检测结果。
[0016]作为优选，利用无人机获取所述无人机影像时，需保持航向重叠和旁向重叠不低于90％。
[0017]作为优选，利用无人机获取所述无人机影像时，飞行区域应大于目标检测区域，然后通过去除图像边缘部分得到目标检测区域的无人机影像。
[0018]作为优选，所述深度学习网络包括特征提取网络和区域提案网络，该网络接受三通道图像作为输入，输入图像经过特征提取之后得到一组特征图；然后区域提案网络在特征图上生成大量的感兴趣区域，对这些感兴趣区域进行回归、分类和筛选之后，得到检测框。
[0019]作为优选，所述深度学习网络为Faster R
‑
CNN。
[0020]作为优选，所述的交并比阈值为0.5。
[0021]作为优选，所述的预设权重为相等权重，即两个检测框的置信度按照相等的 0.5权重进行加权。
[0022]作为优选，所述的第一目标检测模型和第二目标检测模型均预先利用经过数据增强的带标注样本数据进行训练。
[0023]本专利技术相对于现有技术而言，具有以下有益效果：
[0024]本专利技术提出了一种结合RGB
‑
DSM图像和深度学习的城市森林单木树冠检测方法，该模型先结合高程信息和色彩信息分别进行单木树冠目标检测，再通过进一步的置信度重置和冗余消除形成了新的检测结果，从而提高了ITCD任务的性能。相比于仅使用RGB图像或DSM图像训练的深度学习网络，本专利技术具有明显的精度优势。
附图说明
[0025]图1为本专利技术中城市森林单木树冠检测方法的步骤流程图；
[0026]图2为双分支检测网络的结构示意图。
具体实施方式
[0027]下面结合附图和具体实施方式对本专利技术做进一步阐述和说明。本专利技术中各个实施
方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
[0028]如图1所示，在本专利技术中，提供了一种结合RGB
‑
DSM图像和深度学习的城市森林单木树冠检测方法，其步骤如下：
[0029]S1：获取目标检测区域的无人机影像，利用所得的无人机影像生成密集点云，进而得到代表地物反射率的正射影像图(Digital Orthophoto Map，DOM)和代表地物高度的数字表面模型(Digital Surface Model，DSM)。其中正射影像图为RGB 三通道的彩色图像，数字表面模型为单通道的高程数据。
[0030]利用无人机获取所述无人机影像时，飞行区域应大于目标检测区域，然后通过去除图像边缘部分得到目标检测区域的无人机影像。
[0031]对于DOM和DSM而言，在生成密集点云的过程中，飞行区域的边缘由于图片角度的问题，难以构建较为精准的点云，因此对于图像中的边缘区域进行舍弃，只截取图像的非边缘区域进行深度学习网络的训练。鉴于此，在执行无人机航摄任务获取无人机影像的时候，应该将飞行区域设置为略大于目标检测区域，然后通过去除图像边缘部分得到目标检测区域的无人机影像。另外，为了制作 DOM，利用无人机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合RGB
‑
DSM图像和深度学习的城市森林单木树冠检测方法，其特征在于，步骤如下：S1：获取目标检测区域的无人机影像，利用所得的无人机影像生成密集点云，进而得到代表地物反射率的RGB三通道正射影像图和代表地物高度的单通道数字表面模型；S2：获取基于深度学习网络分别训练的第一目标检测模型和第二目标检测模型；所述第一目标检测模型以正射影像图为输入，输出单木树冠的检测框；所述第二目标检测模型以单通道的数字表面模型重复叠加形成的三通道高程图为输入，输出单木树冠的检测框；S3：将S1中得到的RGB三通道正射影像图作为所述第一目标检测模型的输入，得到一组代表输入图像中所有单木树冠的第一检测框集合；将S1中得到的单通道数字表面模型作为所述第二目标检测模型的输入，得到另一组代表输入图像中所有单木树冠的第二检测框集合；S4：遍历两组检测框进行置信度重置和冗余消除：若存在两个检测框分别属于两组检测框且交并比大于等于交并比阈值，则认为这两个检测框代表同一个树冠，将这两个检测框的置信度按预设权重加权后赋值给原置信度较高的一个检测框，然后剔除另一个检测框；若一组检测框集合中存在一个检测框与另一组检测框集合中所有检测框之间的并交比都小于交并比阈值，则认为在另一组检测框集合中并不存在这个单木树冠，将该检测框保留，但置信度按预设比例进行缩小；S5：完成S4的置信度重置和冗余消除后，得到一组新的检测框，作为最终的单木树冠检测结果。2.如权利要求1所述的结合RGB
‑
DSM图像和深度学习的城市森林单木树冠检测方法，其特征在于，利用无人机获取所述...

【专利技术属性】
技术研发人员：夏凯，王昊，冯海林，杨垠晖，徐流畅，
申请(专利权)人：浙江农林大学，
类型：发明
国别省市：