一种基于Spark框架的空间矢量多边形缝隙检测方法技术

技术编号:46577301 阅读:0 留言:0更新日期:2025-10-10 21:19
本发明专利技术公开了一种基于Spark框架的空间矢量多边形缝隙检测方法,包括:读取多边形空间矢量数据并创建第一RDD数据集;将第一RDD数据集进行过滤处理得到第二RDD数据集;将聚合类和第二RDD数据集中的要素对象作为参数进行聚合操作,得到第三RDD数据集;对第三RDD数据集转换和扁平化处理得到第四RDD数据集;根据第四RDD数据集创建第五RDD数据集;将第五RDD数据集的每行数据写出至目标数据库。本发明专利技术通过基于Spark分布式框架的矢量多边形缝隙检测能够在多机集群中分布式运行,也可以使用单机多CPU并行计算,实现高效地分布式多边形缝隙检测。本发明专利技术还公开了用于实现上述方法的系统、电子设备和存储介质。

【技术实现步骤摘要】

本专利技术涉及空间矢量数据的分布式数据处理,尤其涉及一种基于spark框架的空间矢量多边形缝隙检测方法。


技术介绍

1、多边形缝隙检测作为空间矢量数据质量检查中的基础性规则,在地理信息系统(gis)领域具有广泛应用。该技术主要用于识别和定位相邻或重叠多边形之间存在的未被覆盖的空间区域,即"缝隙",这些缝隙可能由数据采集误差、拓扑关系错误或处理过程中的逻辑问题导致。现有的矢量多边形缝隙检测是基于单机串行运行分析,随着地理信息数据采集范围的扩大和精度的提高,矢量数据量呈现指数级增长。以市级地类图斑数据为例,一个中等城市的地类图斑数据通常包含数十万至数百万个多边形要素。对于此类大范围、大体量的空间矢量多边形数据,传统单机串行检测技术的计算效率较低,进而无法满足在智慧城市建设、自然资源动态监测、应急指挥等应用场景中的实时性或准实时性要求。


技术实现思路

1、为了解决现有技术中存在的上述问题,本专利技术提供了一种基于spark框架的空间矢量多边形缝隙检测方法。本专利技术要解决的技术问题通过以下技术方案实现:

...

【技术保护点】

1.一种基于Spark框架的空间矢量多边形缝隙检测方法,其特征在于,包括以下步骤:

2.如权利要求1所述的方法,其特征在于,所述第一RDD数据集中的要素对象包括几何对象和属性对象;

3.如权利要求1所述的方法,其特征在于,所述将所述第一RDD数据集中的几何对象为空的要素对象进行过滤处理,得到第二RDD数据集,包括:

4.如权利要求2所述的方法,其特征在于,所述聚合类包括:聚合函数、融合数据函数、聚合分区函数和获取聚合结果函数;

5.如权利要求1所述的方法,其特征在于,所述获取所述第三RDD数据集中所述最终聚合对象的多边形几何对象数组,以生成...

【技术特征摘要】

1.一种基于spark框架的空间矢量多边形缝隙检测方法,其特征在于,包括以下步骤:

2.如权利要求1所述的方法,其特征在于,所述第一rdd数据集中的要素对象包括几何对象和属性对象;

3.如权利要求1所述的方法,其特征在于,所述将所述第一rdd数据集中的几何对象为空的要素对象进行过滤处理,得到第二rdd数据集,包括:

4.如权利要求2所述的方法,其特征在于,所述聚合类包括:聚合函数、融合数据函数、聚合分区函数和获取聚合结果函数;

5.如权利要求1所述的方法,其特征在于,所述获取所述第三rdd数据集中所述最终聚合对象的多边形几何对象数组,以生成目标线要素对象,得到第四rdd数据集,包括:

6.如权利要求5所述的方法,其特征在于,所述通过spark中的flatmap算子获取所述...

【专利技术属性】
技术研发人员:李治君范延平姚敏黎韶光赵岱红吴孔逸吴豪赵越王熙耿雯丁双龙刘春影
申请(专利权)人:自然资源部信息中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1