基于机器学习预测计算强度的并行化点云生成DEM方法技术

本发明专利技术提供一种基于机器学习预测计算强度的并行化点云生成DEM方法，其特征在于：进行CART模型的训练，包括特征选择、样本数据生成、模型训练以及存储；使用四叉树对待处理的点云数据进行递归划分，采用存储的CART模型预测各瓦片计算强度，基于Z‑曲线将二维空间的瓦片进行降维处理，然后基于预测的瓦片计算强度和空间编码将瓦片映射到各进程并行内插DEM。本发明专利技术技术方案具有高效性和可行性。本发明专利技术与传统串行的点云生成DEM相比，采用了基于机器学习预测计算强度的并行化点云生成DEM方法，性能提升能实现量级的突破，有效地节省执行时间，特别适合于海量稠密点云的数据处理，支持地学应用实时化。

【技术实现步骤摘要】
基于机器学习预测计算强度的并行化点云生成DEM方法
本专利技术属于网络地理信息系统应用
，是一种快速高效基于点云生成DEM(DigitalElevationModel，数字高程模型)的方法，具体地说是一种能够以并行地方式实现点云生成DEM的方法，相比传统的串行处理方式，时间上可实现量级的突破，提出方法的思想可用于其他地理空间数据处理领域。
技术介绍
近年随着数据获取技术的快速发展，稠密点云的获取已经越来越普遍，然而如何高效快速地处理原始点云数据并从中提取有用的信息例如利用点云快速生成DEM，目前仍然是一个挑战。高性能计算在GIS(地理信息系统)领域已经得到了广泛的使用，作为一个典型的数据密集型且计算密集型的应用，点云生成DEM能够通过并行计算得到可观的性能提升。然而点云作为一种空间数据，其分布通常具有空间异质性，并且点云内插DEM算法的计算强度也不仅仅依赖于点云数量，并行化过程若采用常规的数据划分方式以及不准确的计算强度评估方法，将会造成严重的负载不均衡现象，降低并行化效率。因此，如何准确评估算法计算强度，实现快速、高效地基于点云生成DEM成为目前迫切的需要。
技术实现思路
为解决上述问题，本专利技术提供了一种基于机器学习预测计算强度的并行化点云生成DEM方法，实现准确评估算法计算强度，且快速、高效地基于点云生成DEM。本专利技术采用的技术方案包括一种基于机器学习预测计算强度的并行化点云生成DEM方法，进行CART模型的训练，包括特征选择、样本数据生成、模型训练以及存储；使用四叉树对待处理的点云数据进行递归划分，采用存储的CART模型预测各瓦片计算强度，基于Z-曲线将二维空间的瓦片进行降维处理，然后基于预测的瓦片计算强度和空间编码将瓦片映射到各进程并行内插DEM。而且，采用以下步骤实现，步骤1，选择样本特征，包括将瓦片点云数量、邻域点云数量、瓦片中DEM网格数量、点云密度和点云分布方差作为样本特征；步骤2，样本数据生成，包括生成不同面积、不同数量的点云数据并按统一的分辨率内插DEM，统计各样本特征，将点云内插DEM的时间作为样本标签；步骤3，将样本数据拆分为训练集和验证集，基于训练集构建CART模型，基于验证集对CART模型进行后剪枝处理，本地化存储构建的CART模型；所述CART表示分类回归树；步骤4，基于四叉树以及预设的初始递归参数将点云划分为瓦片，读取本地化存储的CART模型，预测各瓦片计算强度；步骤5，对划分的瓦片基于Z-曲线进行空间编码，实现二维到一维空间的转换，并将瓦片按照Z-曲线编码排序；步骤6，按照编码顺序将瓦片映射到各进程，映射策略为首先对所有瓦片计算强度求和，然后除以进程数得到每个进程所容纳的平均计算强度，最后按照编码顺序将瓦片依次映射到各进程；步骤7，计算反映负载均衡情况的参数时差比，若该参数大于预设的相应时差比阈值，则对计算强度大于预设的相应计算强度阈值的瓦片继续划分，生成多粒度瓦片并预测计算强度，返回步骤5；否则，跳到步骤8；步骤8，各进程基于映射的瓦片内插DEM并将结果发送到主进程，主进程合并DEM。而且，采用IDW方式实现点云内插DEM，所述IDW表示反距离加权内插。而且，基于训练集构建CART模型，生成完全决策树，实现方式如下，首先基于输入的训练集，选取一个特征进行数据分裂使得分裂后的数据集误差最小；然后根据该特征将数据划分为两个子集，判断当前节点误差与节点分裂后子集误差的差值是否小于预设的相应误差变化阈值，若小于则停止划分，否则继续判断两个子集所包含的样本数量是否均小于预设的相应数量阈值，若小于则停止划分，否则继续划分。而且，基于验证集对CART模型进行后剪枝处理，实现方式为，基于验证集自底向上的检测每一个子树，计算该子树下两个叶节点的验证误差以及合并后的验证误差，如合并后的验证误差小于两个叶节点的验证误差，则合并两个叶节点，完成剪枝处理。而且，时差比的计算方式为进程中最大耗时和最小耗时的差值除以最大耗时。而且，步骤7中，设置一个回溯参数控制瓦片的划分粒度以及额外的划分时间，同时防止无解。而且，预测各瓦片计算强度实现方式如下：首先统计划分后的各瓦片的瓦片点云数量、邻域点云数量、瓦片中DEM网格数量，点云密度和点云分布方差；然后读取本地化存储的CART模型，根据CART模型中选取的分裂特征，依次判断瓦片的各个特征直到叶子结点；最后，叶子结点的值即为瓦片的计算强度。本专利技术与传统串行的点云生成DEM相比，采用了基于机器学习预测计算强度的并行化点云生成DEM方法，性能提升能实现量级的突破，有效地节省算法的执行时间，特别适合于海量稠密点云的数据处理，支持地学应用实时化，具有重要的经济价值。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。本专利技术提供了一种基于机器学习预测计算强度的并行化点云生成DEM方法，实现准确评估算法计算强度，且快速、高效地基于点云生成DEM。本专利技术采用的技术方案是一种基于机器学习预测计算强度的并行化点云生成DEM方法，进行CART模型的训练，包括特征选择、样本数据生成、模型训练以及存储；使用四叉树对待处理的点云数据进行递归划分，采用存储的CART模型预测各瓦片计算强度，基于Z-曲线将二维空间的瓦片进行降维处理，然后基于预测的瓦片计算强度和空间编码将瓦片映射到各进程。而且，采用以下步骤实现，步骤1，选择算法特征，实验选用IDW(InverseDistanceWeighted，反距离加权内插)实现点云内插DEM，将影响算法计算强度的因素包括瓦片点云数量，邻域点云数量，瓦片中DEM网格数量，点云密度，点云分布方差作为样本特征；本步骤中综合考虑了影响IDW算法计算强度的因素，而不仅仅以点云数量作为评估计算强度的指标。其中邻域范围定义为瓦片空间范围外扩指定距离的大矩形，该距离一般为IDW算法中的最大搜索半径。IDW算法过程为首先初始化初始搜索半径、搜索半径增长步距、最大搜索半径，然后对每个DEM网格，判断初始搜索半径内的点云数量是否大于内插需要使用的数量，若小于则按增长步距逐步增长，直到半径内点云数量达到内插需要使用的数量并基于IDW内插公式生成DEM，如果搜索半径大于最大搜索半径时点云仍达不到内插所需要数量，则不进行内插。具体实施时，IDW内插公式可采用现有技术，本专利技术不予赘述。步骤2，样本数据生成，生成不同面积、不同数量的点云数据并按统一的分辨率内插DEM，得到样本数据瓦片，统计每个样本的各项特征(瓦片点云数量、邻域点云数量、瓦片中DEM网格数量、点云密度和点云分布方差)，将点云内插DEM的时间作为样本标签；步骤3，将样本数据拆分为训练集和验证集，基于训练集构建CART(ClassificationandRegressionTree，分类回归树)模型，基于验证集对CART模型进行后剪枝处理，本地化存储构建的CART模型；本步骤中综合考虑了训练的CART模型会对训练集产生过拟合的情况，将样本数据拆分为了独立的训练集和验证集。训练集用于模型训练，验证集则对生成的模型进行树剪枝。训练集用于模型训练生成完全决策树，完全决策树是特定参数下的CART本文档来自技高网...

【技术保护点】
1.一种基于机器学习预测计算强度的并行化点云生成DEM方法，其特征在于：进行CART模型的训练，包括特征选择、样本数据生成、模型训练以及存储；使用四叉树对待处理的点云数据进行递归划分，采用存储的CART模型预测各瓦片计算强度，基于Z‑曲线将二维空间的瓦片进行降维处理，然后基于预测的瓦片计算强度和空间编码将瓦片映射到各进程并行内插DEM。

【技术特征摘要】
1.一种基于机器学习预测计算强度的并行化点云生成DEM方法，其特征在于：进行CART模型的训练，包括特征选择、样本数据生成、模型训练以及存储；使用四叉树对待处理的点云数据进行递归划分，采用存储的CART模型预测各瓦片计算强度，基于Z-曲线将二维空间的瓦片进行降维处理，然后基于预测的瓦片计算强度和空间编码将瓦片映射到各进程并行内插DEM。2.根据权利要求1所述基于机器学习预测计算强度的并行化点云生成DEM方法，其特征在于：采用以下步骤实现，步骤1，选择样本特征，包括将瓦片点云数量、邻域点云数量、瓦片中DEM网格数量、点云密度和点云分布方差作为样本特征；步骤2，样本数据生成，包括生成不同面积、不同数量的点云数据并按统一的分辨率内插DEM，统计各样本特征，将点云内插DEM的时间作为样本标签；步骤3，将样本数据拆分为训练集和验证集，基于训练集构建CART模型，基于验证集对CART模型进行后剪枝处理，本地化存储构建的CART模型；所述CART表示分类回归树；步骤4，基于四叉树以及预设的初始递归参数将点云划分为瓦片，读取本地化存储的CART模型，预测各瓦片计算强度；步骤5，对划分的瓦片基于Z-曲线进行空间编码，实现二维到一维空间的转换，并将瓦片按照Z-曲线编码排序；步骤6，按照编码顺序将瓦片映射到各进程，映射策略为首先对所有瓦片计算强度求和，然后除以进程数得到每个进程所容纳的平均计算强度，最后按照编码顺序将瓦片依次映射到各进程；步骤7，计算反映负载均衡情况的参数时差比，若该参数大于预设的相应时差比阈值，则对计算强度大于预设的相应计算强度阈值的瓦片继续划分，生成多粒度瓦片并预测计算强度，返回步骤5；否则，跳到步骤8；步骤8，各进程基于映射的瓦片内插DEM并将结果发送到主进程，主进程合并DEM。3.根据权利要求2所述基于机器学习预测计算强...

【专利技术属性】
技术研发人员：乐鹏，高凡，张明达，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42