面向并行数字地形分析海量DEM部署与调度方法技术

本发明专利技术公开了一种面向并行数字地形分析海量DEM部署与调度方法，其步骤如下：第一步是并行应用程序的初始化，各计算节点同时获取并行计算环境及DEM的各种参数；第二步、各计算节点根据本地数据块与缓冲区执行串行算法，在必要时对缓冲区的相应数据进行更新操作；第三步、调用并行计算粒度控制模块，对并行计算的数据粒度进行统计与更新，直到并行计算的效率达到最优；第四步、生成结果文件：对并行地形分析应用申请的各种内存进行回收，清空临时内存与无关的外存数据；更新日志文件，统计并记录各节点每次执行不同操作的时间，以便该地形分析算法的重复执行；进行结果融合与后操作，最终输出结果文件。本发明专利技术具有广阔的工业化应用前景。

【技术实现步骤摘要】
本专利技术涉及一种海量数字高程模型数据管理与调度的方法，具体说，是一种基于分布式并行数字地形分析技术与数据并行计算模型的动态数据分配部署方法。
技术介绍
数字地形分析是在数字高程模型(DEM)上进行地形属性计算和特征提取的数字信息处理技术。自上世纪60年代以来，数字地形分析已在制图、土木、水利、交通、水文、农业、规划等地学领域得到广泛应用。随着研究的深入和应用领域的扩展，各应用领域给数字地形分析提出了新的要求。同时，各种新型传感器，如LiDAR、InSAR, SAR等的出现，使DEM在数据获取上更加灵活和迅速，网络通讯技术使得各类DEMjBSRTM DEM,USGS DEM得以共享，特别是空间数据基础设施的兴起，区域级DEM的建库工作已相继完成，DEM呈现多比例尺、多分辨率的系列化的特征。面对如此浩瀚的、多元化的DEM数据，如何将其转化为能在社会 经济过程中直接应用的地学信息，并将这些地学信息转化为地学知识，从而推动地学研究和应用的发展，已经成为国内外相关领域研究的主题。这也迫切要求解决在面对如此海量DEM数据时，现有分析方法及硬件资源在计算能力上严重不足甚至是无能为力的问题。并行计算技术本文档来自技高网...

【技术保护点】
面向并行数字地形分析海量DEM部署与调度方法，其步骤如下：步骤1，初始化并行应用系统的信息；步骤2，各计算节点调用执行并行算法模块，根据本地数据块与缓冲区执行串行算法；步骤3，调用并行数字地形分析控制粒度模块，对并行计算的数据粒度进行统计与更新；步骤4，生成结果文件：对并行地形分析应用申请的各种内存进行回收，清空临时内存与无关的外存数据；更新日志文件，统计并记录各节点每次执行不同操作的时间；进行结果融合与后操作，最终输入结果文件。

【技术特征摘要】
1.面向并行数字地形分析海量DEM部署与调度方法，其步骤如下 步骤1，初始化并行应用系统的信息； 步骤2，各计算节点调用执行并行算法模块，根据本地数据块与缓冲区执行串行算法； 步骤3，调用并行数字地形分析控制粒度模块，对并行计算的数据粒度进行统计与更新； 步骤4，生成结果文件对并行地形分析应用申请的各种内存进行回收，清空临时内存与无关的外存数据；更新日志文件，统计并记录各节点每次执行不同操作的时间；进行结果融合与后操作，最终输入结果文件。2.根据权利要求I所述的面向并行数字地形分析海量DEM部署与调度方法，其特征在于，所述步骤I的具体过程如下 步骤11，在MPI环境，各进程读取全局DEM和并行环境的各种信息； 步骤12，调用内存管理模块，为了最大程度的保证物理内存的充分使用，初始内存限制设定为所有进程可用物理内存的平均值的十分之一； 步骤13，选择数据块划分的类型； 步骤14，根据内存限制、数据块划分类型与栅格数据类型，各计算节点根据内存限制申请内存使用，然后动态地计算各进程第一次需要...

【专利技术属性】
技术研发人员：刘学军，汤国安，宋效东，江岭，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：