【技术实现步骤摘要】
本专利技术属于图像三维重建，具体涉及一种基于无人机采集图像与图像识别的树木建模方法。
技术介绍
1、目前，传统的树木资源调查方法主要依赖人工地面测量与手工记录，这种方式存在许多局限性。人工地面测量的效率较低，尤其在大范围的森林或绿化区进行调查时，需要耗费大量的时间和人力资源。每棵树木的测量都要求精确的定位以及多项数据记录，这一过程繁琐且重复，严重影响了调查效率。并且人工测量工作强度大，而且精度容易受到人为因素的影响。操作不当、测量设备的使用不当、测量人员经验的差异等因素，都可能导致数据的不准确，从而影响最终的调查结果。
2、传统的人工测量方法也难以有效地获取树木的空间数据。例如，传统方法无法迅速准确地获取树木的空间分布、枝干形态等三维信息，这对现代生态监测、森林资源管理及相关领域的应用提出了更高的要求。由此可见传统的树木资源调查方法在效率、准确性和空间数据获取能力等方面，都存在一定的局限性。
3、随着无人机技术的快速发展，搭载高精度摄像设备的无人机为树木资源调查提供了新的解决方案。无人机可以在较短时间内覆盖大范围的区域，且采集的数据具有较高的精度，能够在复杂的地形和环境中高效地进行树木信息采集。无人机通过不同的飞行规划，可以快速拍摄到各个角度的树木图像，这为树木的三维建模提供了更多视角和数据支持。由于无人机可以轻松地飞越树木密集的区域，避开人工测量中难以到达的地带，因此可以大大提高工作效率。
4、尽管无人机技术可以实现大范围、高效的树木图像采集，但如何从大量的图像数据中提取有效的树木信息并将其
5、现有的基于图像的树木建模方法，尽管在一定程度上提高了树木信息采集的效率，但仍然存在识别精度不高、点云质量差以及重建效果有限等问题。这些问题限制了现有技术在实际应用中的有效性，特别是在需要高精度树木建模的场景中，传统方法往往难以满足要求。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于无人机采集图像与图像识别的树木建模方法。
2、本专利技术的目的可以通过以下技术方案来实现：
3、本专利技术提供了一种基于无人机采集图像与图像识别的树木建模方法，包括以下步骤：
4、步骤s1：根据目标区域的规模、形状以及树木的分布规划无人机的飞行模式与飞行路径；
5、步骤s2：通过规划的飞行模式与飞行路径利用无人机在目标区域飞行，采集树木的多角度图像数据，所述多角度图像数据包括多个不同的视角和高度拍摄的树木图像集合；
6、步骤s3：对多角度图像数据进行预处理，包括去噪、裁剪、图像增强、标准化；
7、步骤s4：将预处理后的多角度图像数据输入预训练的神经网络模型进行树木识别与语义分割，输出各个树木图像的语义分割图，所述语义分割图中各个像素赋予了语义标签；
8、步骤s5：使用sift算法从每张树木图像中提取特征点及其描述符，使用最近邻匹配算法根据每张树木图像的特征点及其描述符在多张树木图像之间进行特征点匹配，使用ransac算法剔除误匹配的特征点；
9、步骤s6：基于匹配的特征点，利用colmap通过增量式重建方法构建初步三维点云模型；
10、步骤s7：计算步骤s4获得的语义分割图中的各个像素在初步三维点云模型中的三维坐标，根据各个像素的三维坐标确定像素对应的点云数据，将各个像素的语义标签传递给对应的点云数据；
11、步骤s8：遍历初步三维点云模型中的每个点云数据，根据点云数据的语义标签对初步三维点云模型进行分割，获得树木三维点云模型；
12、步骤s9：使用sor滤波算法对树木三维点云模型进行降噪优化，将降噪优化后的树木三维点云模型通过poisson重建方法获得树木三维网格模型，根据树木三维网格模型构建树木的几何模型。
13、进一步的，所述语义标签包括树干、树叶与背景。
14、进一步的，所述神经网络模型为mask r-cnn模型，所述mask r-cnn模型的训练过程包括以下步骤：
15、获取多个不同的视角和高度拍摄的树木图像集合，对树木图像集合进行预处理，包括去噪、裁剪、图像增强、标准化；
16、对预处理后的树木图像集合使用图像标注工具labelme手动标注图像中的各个区域，对树叶遮挡树干部分标注为树叶，为树木图像中每个像素分配标签并生成相应的分割掩码，将标注后的树木图像转换为二进制掩码图；
17、将预处理后的树木图像集合与二进制掩码图输入mask r-cnn模型进行训练，输出树木图像的二进制掩码图，根据输出的二进制掩码图与标注的二进制掩码图，通过损失函数计算每个像素点的损失，使用计算得到的总损失值，通过反向传播算法更新模型的参数。
18、进一步的，所述mask r-cnn模型的损失函数为：
19、
20、其中，l为mask r-cnn模型的损失函数，w为mask r-cnn模型的损失权重矩阵，表示各个预测语义标签与真实语义标签中间的损失权重，p为树木图像的第p个像素点，y(p)为第p个像素点的真实语义标签，为mask r-cnn模型输出的第p个像素点的预测语义标签，为mask r-cnn模型对于第p个像素点属于预测语义标签的概率，n为树木图像的像素点总数，背景标签为0，树干标签为1，树叶标签为2。
21、进一步的，所述mask r-cnn模型的损失权重矩阵w为：
22、
23、其中，行表示真实语义标签，列表示预测语义标签，值表示该语义标签之间的损失权重。
24、进一步的，所述使用最近邻匹配算法根据每张树木图像的局部特征点在多张树木图像之间进行特征点匹配，包括以下步骤：
25、提取每张图像中的特征点和描述符，所述特征点由尺度不变特征变换sift算法识别，所述描述符为每个特征点的128维向量；
26、对每两张树木图像中的描述符进行匹配，计算每对描述符之间的欧氏距离，根据最近欧氏距离对各个特征点进行匹配，得到匹配点对。
27、进一步的，所述基于匹配的特征点，利用colmap通过增量式重建方法构建初步三维点云模型，包括以下步骤：
28、步骤a1：根据匹配特征点对，计算图像间的相对位姿；
29、步骤a2：基于所述相对位姿和匹配特征点对，通过本文档来自技高网...
【技术保护点】
1.一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述语义标签包括树干、树叶与背景。
3.根据权利要求1所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述神经网络模型为Mask R-CNN模型，所述Mask R-CNN模型的训练过程包括以下步骤：
4.根据权利要求2或3所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述Mask R-CNN模型的损失函数为：
5.根据权利要求4所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述Mask R-CNN模型的损失权重矩阵W为：
6.根据权利要求1所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述使用最近邻匹配算法根据每张树木图像的局部特征点在多张树木图像之间进行特征点匹配，包括以下步骤：
7.根据权利要求1所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述基
8.根据权利要求1所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述步骤S7包括以下步骤：
9.根据权利要求1所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述遍历初步三维点云模型中的每个点云数据，根据点云数据的语义标签对初步三维点云模型进行分割，获得树木三维点云模型，包括以下步骤：
10.根据权利要求1所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述使用SOR滤波算法对树木三维点云模型进行降噪优化，包括以下步骤：
...【技术特征摘要】
1.一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述语义标签包括树干、树叶与背景。
3.根据权利要求1所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述神经网络模型为mask r-cnn模型，所述mask r-cnn模型的训练过程包括以下步骤：
4.根据权利要求2或3所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述mask r-cnn模型的损失函数为：
5.根据权利要求4所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述mask r-cnn模型的损失权重矩阵w为：
6.根据权利要求1所述的一种基于无人机采集图像与图像识别的树木建模方法，其特征在于，所述使用...
【专利技术属性】
技术研发人员：芮易，熊秀真，王叔锟，张予馨，朱合华，王楚涵，易珈仰，
申请(专利权)人：同济大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。