一种空间及属性数据一体化质检方法技术

本发明专利技术适用于地理信息系统技术领域，提供了一种空间及属性数据一体化质检方法，包括以下步骤：数据准备，对需要进行质检的数据进行收集和整理；通过ETL系统对需要质检的数据进行流式的抽取，数据转换和加工，以及数据装载，将分散、凌乱或标准不统一的数据整合到一起；按照数据类型和字段类型自动创建相对应数据库表结构，完成待质检空间数据和属性数据的入库工作；配置质检规则和质检方案；选择质检方案，质检系统评估各质检项耗时，根据计算节点数据，分配总耗时相近的质检项到各个计算节点，各节点开始进行质检；在质检任务结束后，形成质检错误清单，并根据各质检项评分因子，给出质量评分。该方法的质检效率高，质检成果质量高。量高。量高。

【技术实现步骤摘要】
一种空间及属性数据一体化质检方法


[0001]本专利技术属于地理信息系统
，尤其涉及一种空间及属性数据一体化质检方法。

技术介绍

[0002]空间数据在农业、测绘、自然资源、规划和气象等领域都发挥了非常重要的作用。空间数据的质量作为空间数据的生命线，直接影响分析应用的正确性和可靠性。高质量的空间数据可为决策管理部门作出科学决策，为监管部门明确工作方向，为统筹领导部门反映基本国情国力。
[0003]传统的空间数据质检步骤通常包括以下步骤：
[0004]1、收集需要质检的空间数据和属性数，分类建立模板，规范化数据标准；
[0005]2、质检人员对收集的数据进行分类，(按行政区或按数据类型)分配不同人员进行人工质检；
[0006]3、质检人员使用传统GIS桌面软件，对空间数据进行拓扑检查；
[0007]4、质检人员使用Excel文件对属性数据进行逐条筛查，关联信息搜索关联核对；
[0008]5、对存在的错误数据逐条汇总、分类和统计，最终形成质量报告。
[0009]但是传统方法需要多名具备专业素质人员进行质检工作，人力成本高，多人协同工作，组织沟通成本高。且前期数据整理工作量大，逐条检查效率低，共性逻辑错误无法批量检查。对于逻辑质检存在主观意识，数据量大易出错，多人协同存在沟通问题。质检过程中存在问题，统计分析结果出现偏差，后期复盘定位错误数据困难，严重情况还会造成返工。

技术实现思路

[0010]本专利技术实施例的目的在于提供一种空间及属性数据一体化质检方法，旨在解决上述
技术介绍
中提出的问题。
[0011]本专利技术实施例是这样实现的，一种空间及属性数据一体化质检方法，包括以下步骤：
[0012]步骤1、数据准备，对需要进行质检的数据进行收集和整理；
[0013]步骤2、通过ETL系统对需要质检的数据进行流式的抽取，数据转换和加工，以及数据装载，将分散、凌乱或标准不统一的数据整合到一起；
[0014]步骤3、按照数据类型和字段类型自动创建相对应数据库表结构，完成待质检空间数据和属性数据的入库工作；
[0015]步骤4、配置质检规则和质检方案，质检规则是一类质检模板，质检方案是根据具体质检内容使用质检规则配置的一系列质检项，质检项中可以设置评分因子；
[0016]步骤5、选择质检方案，质检系统评估各质检项耗时，根据计算节点数据，分配总耗时相近的质检项到各个计算节点，各节点开始进行质检；
[0017]步骤6、在质检任务结束后，形成质检错误清单，并根据各质检项评分因子，给出质量评分。
[0018]进一步的技术方案，所述步骤2包括以下具体步骤：
[0019]步骤2.1、数据抽取：将来源于数据库或者文件的质检数据抽取出来；
[0020]步骤2.2、数据清洗：配置过滤规则，对不完整的数据、错误的数据以及重复的数据进行数据清洗；
[0021]步骤2.3、数据转换：对提取的不一致的质检数据进行数据转换和数据粒度转换；
[0022]步骤2.4、数据加载，将抽取、清洗和转换后的规范化数据加载到各个质检节点。
[0023]进一步的技术方案，所述步骤3包括以下具体步骤：
[0024]步骤3.1、根据处理后的质检数据的表类型和字段类型建立相应的表结构，同时支持在每个存储节点上建立相应的空间表和业务表；
[0025]步骤3.2、将处理后的质检数据导入对应新建的表结构中，完成质检数据的入库。
[0026]进一步的技术方案，所述步骤4包括以下具体步骤：
[0027]步骤4.1、质检规则配置：质检系统内置多种质检规则，包含坐标系检查、拓扑错误检查、字典域检查、值域范围检查和空值检查等，基本涵盖常规空间和逻辑质检，同时可根据具体业务逻辑，增加质检规则；
[0028]步骤4.2、建立质检方案：质检方案是质检项的集合，质检方案可用于所有同类检查，根据质检业务不同建立不同的质检方案，以便于同类质检，仅需配置一次。
[0029]步骤4.3、质检项配置：质检项以质检规则为模板，对图层和字段的具体质检细节描述，质检项是最小质检单元；质检项配置质检的图层、字段、唯一标识、错误信息、评分因子和最大最小扣分系数等参数的设置；质检项关联质检方案，符合对应质检规则约束的参数类型。
[0030]进一步的技术方案，所述步骤5包括以下具体步骤：
[0031]步骤5.1、创建质检任务，评估各质检项耗时和累计耗时，根据质检节点数，计算各节点预计平均耗时；根据平均耗时，任务池分配贴近平均耗时的质检项清单到各个节点；
[0032]步骤5.2、质检节点根据分配的质检项清单开始质检任务；
[0033]步骤5.3、单个质检项完成质检时，根据质检错误数、质检项评分因子和最小最大扣分系数评估该质检项的实际扣分；
[0034]步骤5.4、所有节点完成质检任务时，汇总各节点质检错误清单。
[0035]进一步的技术方案，所述步骤5.1包括以下具体步骤：
[0036]步骤5.1.1、质检调度模块遍历评估所有单个质检项预估耗时和总耗时，再根据质检节点数计算平均耗时；
[0037]步骤5.1.2、质检调度模块使用最大平均值和的分组算法，动态规划各个节点质检项清单，详细过程如下：
[0038]计算m个数的n平均值，平均值记为mean；
[0039]然后将这m个数按从大到小的顺序进行排序；
[0040]从最大的数max开始选择，如果max≥mean，则直接将max单独分成一组；否则，将max纳入一组g，并为g继续选择是否有新的数可以加入；
[0041]a.首先计算假设不再有新的数纳入g，则计算delta0＝mean
‑
max和sqrt0＝(mean
‑
max)*2；
[0042]b.然后从剩下的数中寻找最接近delta0的数，此时，重复上述步骤a，继续计算delta1和sqrt1，再按照步骤b继续，直至不能继续；
[0043]c.比较上述过程中可能组合最终的sqrti，选择一个最小的。
[0044]进一步的技术方案，所述步骤6包括以下具体步骤：
[0045]步骤6.1、对错误类型、数量等信息进行统计分析，根据各质检项评分因子计算单个质检项减分数值；
[0046]步骤6.2、评分系统给出最终质量评分：比对减分数值是否满足最大最小减分系数，减分数值小于最小减分系数采用最小减分值，减分数值大于最大减分系数使用最大减分值；评分系统汇总各质检项减分，计算最终得分；
[0047]步骤6.3、输出质检质量报告：完成评分后，质检系统拉取质检错误清单，对质检结果进行分类统计，输出质量分析报告。
[0048]进一步的技术方案，所述步骤6.3包括以下具体步骤：
[0049]6.3.1、质检系统拉取质检错误清单，标记定位标识和错误描述，方便后续错误定位和修改；
...

【技术保护点】

【技术特征摘要】
1.一种空间及属性数据一体化质检方法，其特征在于，包括以下步骤：步骤1、数据准备，对需要进行质检的数据进行收集和整理；步骤2、通过ETL系统对需要质检的数据进行流式的抽取，数据转换和加工，以及数据装载，将分散、凌乱或标准不统一的数据整合到一起；步骤3、按照数据类型和字段类型自动创建对应的数据库表结构，完成待质检空间数据和属性数据的入库工作；步骤4、配置质检规则和质检方案，质检规则是一类质检模板，质检方案是根据具体质检内容使用质检规则配置的一系列质检项，质检项包括评分因子；步骤5、选择质检方案，质检系统评估各质检项耗时，根据计算节点数据，分配总耗时相近的质检项到各个计算节点，各节点开始进行质检；步骤6、在质检任务结束后，形成质检错误清单，并根据各质检项评分因子，给出质量评分。2.根据权利要求1所述的空间及属性数据一体化质检方法，其特征在于，所述步骤2包括以下具体步骤：步骤2.1、数据抽取：将来源于数据库或文件的质检数据抽取出来；步骤2.2、数据清洗：配置过滤规则，对不完整的数据、错误的数据以及重复的数据进行数据清洗；步骤2.3、数据转换：对提取的不一致的质检数据进行数据转换和数据粒度转换；步骤2.4、数据加载，将抽取、清洗和转换后的规范化数据加载到各个质检节点。3.根据权利要求1所述的空间及属性数据一体化质检方法，其特征在于，所述步骤3包括以下具体步骤：步骤3.1、根据处理后的质检数据的表类型和字段类型建立相应的表结构，同时支持在每个存储节点上建立相应的空间表和业务表；步骤3.2、将处理后的质检数据导入对应新建的表结构中，完成质检数据的入库。4.根据权利要求3所述的空间及属性数据一体化质检方法，其特征在于，所述步骤4包括以下具体步骤：步骤4.1、质检规则配置：质检系统内置多种质检规则，包含坐标系检查、拓扑错误检查、字典域检查、值域范围检查和空值检查，同时可根据具体业务逻辑，增加质检规则；步骤4.2、建立质检方案：质检方案是质检项的集合，质检方案可用于所有同类检查，根据质检业务不同建立不同的质检方案，以便于同类质检，仅需配置一次；步骤4.3、质检项配置：质检项以质检规则为模板，对图层和字段的具体质检细节描述，质检项是最小质检单元；质检项配置质检的图层、字段、唯一标识、错误信息、评分因子和最大最小扣分系数；质检项关联质检方案，符合对应质检规则约束的参数类型。5.根据权利要求4所述的空间及属性数据一体化质检方法，其特征在于，所述步骤5包括以下具体步骤：步骤5.1...

【专利技术属性】
技术研发人员：崔健，方应明，
申请(专利权)人：上海飞未信息技术有限公司，
类型：发明
国别省市：