一种基于数据复杂度的空间矢量数据的建模方法技术

本发明专利技术公开了一种基于数据复杂度的空间矢量数据的建模方法，包括以下步骤：建立空间矢量数据集；计算空间矢量数据均匀度，根据公式PH＝ΣNi/J和PHi＝Ni/PH得到空间对象偏离值，发现原始数据的不均匀性，数据量总数与分布式计算节点数量匹配性矛盾；分割处理，遍历矢量数据集，若PHi＞M，M为初始值(M＝1.00)，则使用Ni＝F(PHi)，(F(PHi)：空间对象分割算法)和预处理软件对该空间对象进行水平分布，分割处理，提升数据均匀度；建立分布式空间数据库；常用指标效率对比测试。本发明专利技术通过我们提出的空间矢量数据均匀度模型，对原始数据颗粒度进行重新划分，达到分布式计算所需的合理均匀度，避免木桶效应，降低数据传输(广播)时间，大大提高计算效率。

【技术实现步骤摘要】
一种基于数据复杂度的空间矢量数据的建模方法
本专利技术涉及空间矢量数据计算
，具体涉及一种基于数据复杂度的空间矢量数据的建模方法。
技术介绍
分布式数据库将集中存储的数据分布到若干节点上存储，并通过并行计算，同时完成若干节点上数据的处理，解决集中式架构I/O吞吐瓶颈和单点计算带来的效率低下问题。在非空间信息数据库中，每条记录的各个字段由一些数字和文本构成，数据量比较均匀，计算效率非常高，而且计算效率与节点基本成线性比例提升，因此分布式架构成为目前大数据计算的主流技术。由于所有信息都具有时空属性，因此地理空间信息作为连接所有信息的天然载体，在大数据时代具有重要作用，目前地理空间大数据也广泛应用分布式架构进行巨量地理空间矢量数据的高性能计算。为了便于管理和应用，地理空间矢量数据也采用面向对象的数据建库模式，即一个空间对象在库中作为一条记录的某个字段来存储。但空间对象本身具有信息颗粒度极不均匀的问题，例如POI、控制点等点对象，数据量一般只有几个字节；河流、等高线等线对象，行政界线、地类图斑等面对象，数据量从0.1K到上百兆不等，但他们在数据库里都是一条记录。对于这些数据量差异巨大的对象，在分布式架构下的数据传输/广播和分布式并行计算都面临严重的木桶效应问题(整体计算效率由最慢的那个计算节点决定)。即由于少数对象数据量特别巨大，导致与其相关的计算节点上数据传输和计算耗时特别大，根据分布式并行计算的原理，其他已完成传输和计算的节点，必须等待这些节点完成计算才能统一汇总，完成整个计算任务，空间大数据计算属于全新技术领域，上述问题都是我们在理论推导和试验中发现的，未见类似报道。
技术实现思路
本专利技术的目的在于提供一种基于数据复杂度的空间矢量数据的建模方法，用以解决空间矢量数据易产生木桶效应，降低数据传输时间，数据计算分析效率较低的问题。为解决上述技术问题，本专利技术采用了以下方案：一种基于数据复杂度的空间矢量数据的建模方法，包括以下步骤：S1：建立空间矢量数据集；S2：计算空间矢量数据均匀度，首先根据公式PH＝ΣNi/J(PH:平均均匀度，Ni：第i个空间对象复杂度，Ni为空间矢量数据本身属性，本领域技术人员可直接得到Ni值，J：空间对象数量，本领域技术人员可直接得到)计算得到原始数据平均均匀度值，然后将PH值代入公式PHi＝Ni/PH(Ni：第i个空间对象复杂度，PHi：第i个空间对象偏离值)计算得到原始数据空间对象偏离值，通过上述原始数据复杂度计算，发现原始数据的不均匀性；S3：预设一个M初始值(M＝1.00)；S4：分割处理，遍历矢量数据集，若PHi＞M，则使用Ni＝F(PHi)，(F(PHi)：空间对象分割算法)和预处理软件对该对空间对象进行分割处理，提升数据均匀度；S5：建立分布式数据库；S6：常用指标效率对比测试，若对比测试效率提升值不显著，则返回步骤S4，调整M值大小，重新对原始数据进行分割处理，若对比测试效率提升值显著，对比测试结束，原始数据重新分割处理，是为找到一个合理的M值，使得原始数据达到分布式计算所需的合理均匀度，避免木桶效应，降低数据传输时间，大大提高计算效率。优选的，所述步骤S6中，用三个以上区域或三种以上不同类型空间数据，对常规空间数据建立的分布式空间数据库和按分布式空间矢量数据库模型处理后建立的分布式空间数据库进行应用对比测试，验证本专利技术是否提高空间数据查询效率、空间数据统计分析效率、空间数据处理效率。优选的，所述对比测试效率提升值小于10％为效率提高不显著，就需要重新对原始数据进行分割处理，若对比测试效率提升值大于10％为效率提高显著，此时的M值为一个合理值，对比测试结束，原始数据的均匀度也符合要求。本专利技术具有的有益效果：1、通过提出的空间矢量数据均匀度模型，对原始数据颗粒度进行重新划分，达到分布式计算所需的合理均匀度，避免木桶效应，降低数据传输(广播)时间，大大提高计算效率，结合物理架构调整，可以将全国范围上的复杂空间计算时间控制在几秒秒内完成，改变大范围、长距离空间计算需要几十分钟才能完成的现状。附图说明图1为本专利技术的流程原理示意图；具体实施方式下面结合实施例及附图，对本专利技术作进一步的详细说明，但本专利技术的实施方式不限于此。在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖向”、“纵向”、“侧向”、“水平”、“内”、“外”、“前”、“后”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。在本专利技术的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“开有”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。实施例如图1所示，一种基于数据复杂度的空间矢量数据的建模方法，包括以下步骤：S1：建立空间矢量数据集；S2：计算空间矢量数据均匀度，首先根据公式PH＝ΣNi/J(PH:平均均匀度，Ni：第i个空间对象复杂度，为空间矢量数据本身属性，本领域技术人员可直接得到，J：空间对象数量，本领域技术人员可直接得到)计算得到原始数据平均均匀度值，然后将PH值代入公式PHi＝Ni/PH(Ni：第i个空间对象复杂度，PHi：第i个空间对象偏离值)计算得到原始数据空间对象偏离值，通过上述原始数据复杂度计算，发现原始数据的不均匀性。S3：预设一个M初始值，(M＝1.00)；S4：分割处理，遍历矢量数据集，若PHi＞M，则使用Ni＝F(PHi)，(F(PHi)：空间对象分割算法)和预处理软件对该空间对象进行水平分布，分割处理，提升数据均匀度。S5：建立分布式空间数据库；S6：常用指标效率对比测试，用三个以上区域或三种以上不同类型空间数据，对常规空间数据建立的分布式空间数据库和按分布式空间矢量数据库模型处理后建立的分布式空间数据库进行应用对比测试，验证本专利技术是否提高空间数据查询效率、空间数据统计分析效率、空间数据处理效率；常用指标效率对比测试效率提升值若小于10％为效率提高不显著，则返回对原始数据进行重新分割处理，并对M值大小做调整，如此重复的分割、对比计算，找到一个合理的M值，使得原始数据到达分布式计算所需的合理均匀度，能大幅度提升分布式架构下空间计算效率，有效避免木桶效应，降低数据传输时间，大大提高计算效率，对比测试效率提升值若大于10％为效率提高显著，对比结束，确定M值为合理值，此时原始数据的均匀度符合要求。以实际本文档来自技高网...

【技术保护点】
1.一种基于数据复杂度的空间矢量数据的建模方法，其特征在于，包括以下步骤：/nS1：建立空间矢量数据集；/nS2：计算空间矢量数据均匀度，根据公式PH＝ΣNi/J(PH:平均均匀度，Ni：第i个空间对象复杂度，J：空间对象数量)得到平均均匀度值；根据公式PHi＝Ni/PH(Ni：第i个空间对象复杂度，PHi：第i个空间对象偏离值)得到第i个空间对象偏离值，发现原始数据的不均匀性；/nS3：预设一个M初始值(M＝1.00)；/nS4：分割处理：遍历矢量数据集，若PHi＞M，则使用Ni＝F(PHi)，(F(PHi)：空间对象分割算法)和预处理软件对该空间对象进行分割处理，提升数据均匀度；/nS5：建立分布式空间数据库；/nS6：常用指标效率对比测试，若对比测试效率提升值不显著，则返回步骤S4，调整M值大小，重新对原始数据进行分割处理，若对比测试效率提升值显著，对比测试结束，数据模型建立成功。/n

【技术特征摘要】
1.一种基于数据复杂度的空间矢量数据的建模方法，其特征在于，包括以下步骤：
S1：建立空间矢量数据集；
S2：计算空间矢量数据均匀度，根据公式PH＝ΣNi/J(PH:平均均匀度，Ni：第i个空间对象复杂度，J：空间对象数量)得到平均均匀度值；根据公式PHi＝Ni/PH(Ni：第i个空间对象复杂度，PHi：第i个空间对象偏离值)得到第i个空间对象偏离值，发现原始数据的不均匀性；
S3：预设一个M初始值(M＝1.00)；
S4：分割处理：遍历矢量数据集，若PHi＞M，则使用Ni＝F(PHi)，(F(PHi)：空间对象分割算法)和预处理软件对该空间对象进行分割处理，提升数据均匀度；
S5：建立分布式空间数据库；
S6：常用指标效率对比测试，若对比测试效率提...

【专利技术属性】
技术研发人员：杨军，
申请(专利权)人：杨军，
类型：发明
国别省市：四川;51