基于无人机航拍的园林乔木数量智能检测方法及系统技术方案

本发明专利技术公开了基于无人机航拍的园林乔木数量智能检测方法及系统，具体涉及计算机视觉技术领域，包括下列步骤：步骤S01、采集航拍图像，将倾斜摄影数据和点云数据融合，得到园林仿真模型；步骤S02、识别出园林中的乔木类型，将仿真模型按照乔木种类划分为不同区域；步骤S03、得到乔木树冠半径r与树高H、乔木冠层高度h的关系系数；步骤S04、利用切片工具对园林仿真模型进行冠层分离，利用乔木数量检测模型检测得到乔木数量，根据乔木树冠半径r判断树冠点云的归属，若树冠点云落入紧邻的乔木的半径中，通过增加形状指数Z区分单棵乔木和乔木分支，Z满足步骤S05、所有区域内的乔木数量之和为园林中乔木的数量。木数量之和为园林中乔木的数量。

【技术实现步骤摘要】
基于无人机航拍的园林乔木数量智能检测方法及系统


[0001]本专利技术涉及计算机视觉
，更具体地说，本专利技术涉及基于无人机航拍的园林乔木数量智能检测方法及系统。

技术介绍

[0002]乔木是指树身高大的树木，由根部发生独立的主干，树干和树冠有明显区分，依其高度而分为伟乔(31米以上)、大乔(21～30米)、中乔(11～20米)、小乔(6～10米)等有四级，乔木是园林中的骨干树种，无论在功能上还是艺术处理上都能起主导作用。乔木作为城市绿化的重要构成元素之一，能够营造较高质量的城市景观，改善城市生态环境，发挥重要的生态效应。乔木分为落叶乔木和常绿乔木，落叶乔木会因为气候寒冷大面积落叶，直到光秃。
[0003]对园林中乔木数量的检测统计有利于园林的管理，目前园林中乔木数量的统计基于人力计数和估算的方式，该方式存在效率低、正确率低的问题，不能智能地对园林进行巡检和资产盘点。现今大部分智慧园林都采用无人机对园林中的情况进行动态的监控，然后利用目标检测等算法对监控信息进行智能分析。随着深度学习在计算机视觉领域的飞速发展，目标检测技术作为计算机视觉领域的一部分也得到了突破性的发展。
[0004]然而采用目标检测等深度学习方法进行识别统计其过程中由于乔木距离近，图片中存在粘连问题、对于多帧图片信息存在重复问题等，都导致乔木统计的准确率偏低，无法准确地对园林资产进行盘点。综上所述，如何在现有技术上提供一种准确的乔木识别方法和乔木统计是目前业内人士所亟待解决的问题。

技术实现思路

[0005]为了克服现有技术的上述缺陷，本专利技术的实施例提供基于无人机航拍的园林乔木数量智能检测方法及系统，基于无人机航拍采集图像数据，搭建仿真模型，先识别园林中乔木种类，根据乔木种类不同将园林乔木划分为不同待测区域，再根据乔木种类和环境数据从数据库中调用乔木冠层模型，检测每个区域内的乔木数量，最后通过屏幕展示园林乔木的数量和密度，以解决上述
技术介绍
中提出的现有乔木数量检测结果不准确，没办法清楚检测落叶乔木的数量的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于无人机航拍的园林乔木数量智能检测方法，所述方法包括下列步骤：
[0007]步骤S01、采集航拍图像：通过在无人机上搭载相机和激光扫描仪采集得到园林的倾斜摄影和三维激光点云数据，将倾斜摄影数据和点云数据融合，经过数据去噪得到园林仿真模型；
[0008]步骤S02、水平方向分区：根据园林俯视图和乔木种类识别模型，识别出园林中的乔木类型，将仿真模型按照乔木种类划分为不同区域；
[0009]步骤S03、数据调用：根据环境信息从数据库中调用乔木的特征信息和乔木冠层模
型，得到乔木树冠半径r与树高H、乔木冠层高度h的关系系数；
[0010]步骤S04、分层检测乔木：利用切片工具对园林仿真模型进行冠层分离，按照从高到低的顺序，利用乔木数量检测模型检测得到乔木数量，所述乔木数量检测模型用于检测紧邻区域中乔木的数量，先得到紧邻区域中包括的顶点S，记为{S1，S2，...，S
n
}，每个顶点的高度记为{H1，H2，...H
n
}，乔木树冠半径r与树高的关系满足r＝(w
MAX
‑
w
MIN
)
·
H，其中w表示乔木树冠半径与乔木树高的系数，所述系数与乔木种类有关，满足w∈(w
MAX
‑
w
MIN
)，根据乔木树冠半径r判断树冠点云的归属，若树冠点云落入紧邻的乔木的半径中，通过增加形状指数Z区分单棵乔木和乔木分支，Z满足，其中C表示点云凸起的周长，A1表示树冠点云凸起的面积，若Z的值越大表示凸起部分的形状越长，即点云凸起部分属于邻近乔木，不计为乔木；
[0011]步骤S05、统计与展示：统计不同区域的乔木数量，所有区域内的乔木数量之和为园林中乔木的数量。
[0012]在一个优选地实施方式中，步骤S01中，所述无人机航拍基于无人机倾斜摄影和三维激光点云融合技术，所述无人机倾斜摄影是在同一无人机上同时搭载多台传感器，以一垂直、四倾斜的5个不同的角度同时进行影像采集，最终获取园林乔木的顶面及侧面的三维建模数据；所述三维激光点云是在无人机上搭载三维激光扫描仪采集得到园林乔木的点云数据，利用VIS视觉追踪技术及IMU惯导多种传感器，实现多站点云自动拼接，最后将三维模型和点云数据融合，得到园林的仿真图像。
[0013]在一个优选地实施方式中，所述多站点云自动拼接用于将不同扫描坐标系统柜转换到同一坐标系中，设有点云集合E、F,m(z1,y1,z1)∈E,n(x2,y2,z2)∈F,m,n分别为同一点在不同扫描坐标系下的坐标，满足如下公式：其中R表示旋转正交矩阵，T为平移矩阵。
[0014]在一个优选地实施方式中，步骤S02中，所述乔木识别模型基于神经网络算法识别乔木类型，乔木识别模型的构建包括下列步骤：
[0015]步骤S11、图像样本标记：首先采集得到不同气候、不同种类乔木的树冠图像，然后在采集的样本中标记乔木的种类，最后将标记乔木种的图像样本按照8:2的比例划分为训练集和验证集；
[0016]步骤S12、图像特征提取：将训练集的图像样本输入神经网络的输入层中，以两组卷积核和池化层为基础，最后接一个全连接层对上层提取到的特征进行权重叠加并分类，从图像中识别出乔木种类；
[0017]步骤S13、模型训练和验证：使用训练集训练乔木特征识别模型，得到模型参数；使用验证集验证乔木识别模型的识别准确率，最终得到乔木识别模型。
[0018]在一个优选地实施方式中，步骤S03中，所述乔木冠层高度h通过仿真模型和点云分布得到，包括下列步骤：
[0019]步骤S21、对图像进行预处理，增强树冠顶的分辨率，尽量减少非顶点像元的数量，例如通过使用中值滤波简化冠形，降低图像噪声；
[0020]步骤S22、将局部最大滤波器应用于图像，获取准确局部最大值的关键在于设置一个准确合理的移动窗口范围，移动窗口根据性质可以选择固定窗口或可变窗口，根据形状可以选择正方形或圆形，窗口的选择与研究对象树冠大小密切相关；
[0021]步骤S23、使用固定大小的滑动滤波器提取乔木冠层高度的最大值，生成最大值图像中的像素值为对应窗口范围内乔木冠层高度的最大值，然后将最大值图像与原始乔木冠
层高度进行掩码，将与原始树冠值不一致的所有像元的值设置为零。
[0022]在一个优选地实施方式中，步骤S04中，所述树冠点云凸起的面积A1的计算方式为：先得到邻近乔木顶点s1和s2，得到乔木s1和s2的最小半径和最大半径；将最小半径和最大半径三等分，得到四组等分值，即树冠点云凸起的面积存在4
×
4种情况；分别计算16种情况下的面积A1，将面积A1代入公式中计算Z值，最后取平方平均值，判断平方平均值的数值是否满足阈值，若满足阈值，则该树冠点云凸起不计为乔木。
[0023]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于无人机航拍的园林乔木数量智能检测方法，其特征在于：所述方法包括下列步骤：步骤S01、采集航拍图像：通过在无人机上搭载相机和激光扫描仪采集得到园林的倾斜摄影和三维激光点云数据，将倾斜摄影数据和点云数据融合，经过数据去噪得到园林仿真模型；步骤S02、水平方向分区：根据园林俯视图和乔木种类识别模型，识别出园林中的乔木类型，将仿真模型按照乔木种类划分为不同区域；步骤S03、数据调用：根据环境信息从数据库中调用乔木的特征信息和乔木冠层模型，得到乔木树冠半径r与树高H、乔木冠层高度h的关系系数；步骤S04、分层检测乔木：利用切片工具对园林仿真模型进行冠层分离，按照从高到低的顺序，利用乔木数量检测模型检测得到乔木数量，所述乔木数量检测模型用于检测紧邻区域中乔木的数量，先得到紧邻区域中包括的顶点S，记为{S1，S2，...，S
n
}，每个顶点的高度记为{H1，H2，...H
n
}，乔木树冠半径r与树高的关系满足r＝(w
MAX
‑
w
MIN
)
·
H，其中w表示乔木树冠半径与乔木树高的系数，所述系数与乔木种类有关，满足w∈(w
MAX
‑
w
MIN
)，根据乔木树冠半径r判断树冠点云的归属，若树冠点云落入紧邻的乔木的半径中，通过增加形状指数Z区分单棵乔木和乔木分支，Z满足，其中C表示点云凸起的周长，A1表示树冠点云凸起的面积，若Z的值越大表示凸起部分的形状越长，即点云凸起部分属于邻近乔木，不计为乔木；步骤S05、统计与展示：统计不同区域的乔木数量，所有区域内的乔木数量之和为园林中乔木的数量。2.根据权利要求1所述的基于无人机航拍的园林乔木数量智能检测方法，其特征在于：步骤S01中，所述无人机航拍基于无人机倾斜摄影和三维激光点云融合技术，所述无人机倾斜摄影是在同一无人机上同时搭载多台传感器，以一垂直、四倾斜的5个不同的角度同时进行影像采集，最终获取园林乔木的顶面及侧面的三维建模数据；所述三维激光点云是在无人机上搭载三维激光扫描仪采集得到园林乔木的点云数据，利用VIS视觉追踪技术及IMU惯导多种传感器，实现多站点云自动拼接，最后将三维模型和点云数据融合，得到园林的仿真图像。3.根据权利要求2所述的基于无人机航拍的园林乔木数量智能检测方法，其特征在于：所述多站点云自动拼接用于将不同扫描坐标系统柜转换到同一坐标系中，设有点云集合E、F,m(z1,y1,z1)∈E,n(x2,y2,z2)∈F,m,n分别为同一点在不同扫描坐标系下的坐标，满足如下公式：其中R表示旋转正交矩阵，T为平移矩阵。4.根据权利要求1所述的基于无人机航拍的园林乔木数量智能检测方法，其特征在于：步骤S02中，所述乔木识别模型基于神经网络算法识别乔木类型，乔木识别模型的构建包括下列步骤：步骤S11、图像样本标记：首先采集得到不同气候、不同种类乔木的树冠图像，然后在采集的样本中标记乔木的种类，最后将标记乔木种的图像样本按照8:2的比例划分为训练集和验证集；步骤S12、图像特征提取：将训练集的图像样本输入神经网络的输入层中，以两组卷积核和池化层为基础，最后接一个全连接层对上层提取到的特征进行权重叠加并分类，从图像中识别出乔木种类；
步骤S13、模型训练和验证：使用训练集训练乔木特征识别模型，得到模型参数；使用验证集验证乔木识别模型的识别准确率，最终得到乔木识别模型。5.根据权利要求1所述的基于无人机航拍的园林乔木数量智能检测方法，其特征在于：步...

【专利技术属性】
技术研发人员：何纯伟，黄俊，罗俊，李敏，李博，刘光举，
申请(专利权)人：深圳市绿恩环保技术有限公司，
类型：发明
国别省市：