一种基于全量数据的地理服务发布系统及方法技术方案

本发明专利技术公开了一种基于全量数据的地理服务发布系统及方法，所述数据异常处理模块获取数据校验模块的校验结果中的异常数据，并对获取的异常数据进行处理，得到最终数据集合；所述全量数据发布模块获取最终数据集合，并将最终数据集合与历史数据中前一次最终数据集合进行比较，进而对全量数据发布方式进行判断，并根据判断结果进行全量数据发布。本发明专利技术采用异构平台组合技术，针对不同来源的地理信息实现统一发布，解决了地理信息资源难以统筹利用的难题，并在发布前，根据待发布内容与历史数据之间的差异情况，判定相应的发布方式，在确保发布内容精度的情况下提高发布效率。保发布内容精度的情况下提高发布效率。保发布内容精度的情况下提高发布效率。

【技术实现步骤摘要】
一种基于全量数据的地理服务发布系统及方法


[0001]本专利技术涉及地理信息系统
，具体为一种基于全量数据的地理服务发布系统及方法。

技术介绍

[0002]随着测绘技术的快速发展，人们获取地理信息的途径及种类逐渐变得丰富，如地理空间数据、业务属性数据、文本数据及物联感知数据，这些地理信息的来源不同、类型不同，因此这些系统在为人们的生产生活带来便利的同时，对地理服务发布系统的挑战也逐渐变强。
[0003]现有技术中的地理服务发布系统针对不同来源的地理信息只能够实现单一来源的地理信息发布，无法同时显示多来源多数据类型的地理信息的发布。
[0004]针对上述情况，我们需要一种基于全量数据的地理服务发布系统及方法。

技术实现思路

[0005]本专利技术的目的在于提供一种基于全量数据的地理服务发布系统及方法，以解决上述
技术介绍
中提出的问题。
[0006]为了解决上述技术问题，本专利技术提供如下技术方案：一种基于全量数据的地理服务发布系统，包括：
[0007]数据获取模块，所述数据获取模块获取不同来源的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全量数据的地理服务发布系统，其特征在于，包括：数据获取模块，所述数据获取模块获取不同来源的信息数据；数据抽取转换模块，所述数据抽取转换模块根据信息数据中的时空标签分别对不同来源的信息数据进行数据抽取，并将抽取的数据进行组合转换，得到相应的组合转换数据，所述时空标签标为包含数据被采集的时间属性及空间属性的标签；数据校验模块，所述数据校验模块逐个对数据抽取转换模块得到的组合转换数据的格式及值进行校验；数据异常处理模块，所述数据异常处理模块获取数据校验模块的校验结果中的异常数据，并对获取的异常数据进行处理，得到最终数据集合；全量数据发布模块，所述全量数据发布模块获取最终数据集合，并将最终数据集合与历史数据中前一次最终数据集合进行比较，进而对全量数据发布方式进行判断，并根据判断结果进行全量数据发布。2.根据权利要求1所述的一种基于全量数据的地理服务发布系统，其特征在于：所述数据抽取转换模块包括数据抽取模块及数据转换模块，所述数据抽取模块用于将不同来源的数据信息进行数据抽取，将相同时空标签对应的抽取的数据统一进行保存；所述数据转换模块对抽取的数据进行数据转换，并对相同时空标签的转换的数据进行数据组合；所述数据抽取模块在对不同来源的数据信息进行数据抽取的方法包括以下步骤：S1.1、对不同来源的数据信息中的各项数据进行爬取；S1.2、将同一时空标签对应的爬取数据保存到一个空白集合中，得到第一集合，当数据信息的来源为n个时，则第一集合包括n+1个元素，第一集合中的第一元素为爬取数据对应的时空标签，第一集合中的第2至n+1个元素均分别为一个子集合，每个子集合对应一个来源的数据信息爬取的各项数据。3.根据权利要求2所述的一种基于全量数据的地理服务发布系统，其特征在于：所述数据转换模块对抽取的数据进行转换的方法包括以下步骤：S2.1、分别获取各个时空标签对应的第一集合；S2.2、分别对每个第一集合中每个子集合内的各个元素进行关键词提取，并将提取的关键词与相应元素编号在数据库中对应的标准关键词阈进行匹配，得到各元素对应的提取的关键词在相应的标准关键词阈中对应的转换阈值，得到每个第一集合对应的第二集合，所述第二集合中包含多个子集合，所述第二集合中子集合个数与相应第一集合中子集合个数相同，且第二集合中每个子集合内元素对应的转换数据对应的数据来源相同；S2.3、当第n1子集合中第n2个元素对应的提取的关键词在相应的标准关键词阈中匹配不到对应的转换阈值时，则将第n1子集合中第n2个元素对应的转换阈值记为空，并将第n1子集合中第n2个元素对应的提取的关键词与第n1子集合中第n2+1个元素编号在数据库中对应的标准关键词阈进行匹配，若第n1子集合中第n2个元素对应的提取的关键词在第n1子集合中第n2+1个元素编号对应的标准关键词阈中匹配到对应的转换阈值时，则将匹配的转换阈值记到第n1子集合中第n2+1个元素对应的转换阈值位置，且第n1子集合中第n2个元素之后的每个元素对应的提
取的关键词相应的标准关键词阈为各个元素编号加一后在数据库中对应的标准关键词阈，若第n1子集合中第n2个元素对应的提取的关键词在第n1子集合中第n2+1个元素编号对应的标准关键词阈中未匹配到对应的转换阈值时，则停止对第n1子集合中第n2个元素对应的提取的关键词的匹配，且第n1子集合中第n2个元素之后的每个元素对应的提取的关键词相应的标准关键词阈为各个元素编号在数据库中对应的标准关键词阈；S2.4、当第n1子集合中第n2个元素对应的提取的关键词在数据库中匹配不到相应的标准关键词阈时，则不对第n1子集合中第n2个元素对应的转换阈值进行记录；所述数据转换模块对相同时空标签的转换的数据进行数据组合的方法包括以下步骤：S3.1、将第二集合与标准集合进行比较；S3.2、比较第二集合中子集合的个数与标准集合中子集合的个数；S3.3、当第二集合中子集合的个数与标准集合中子集合的个数不相同时，根据转换数据对应的数据来源在标准集合中所处的子集合位置，在第二集合中相应位置分别添加一个空集，使得添加空集后的第二集合与标准集合对应的子集合的个数相同；S3.4、当第二集合中子集合的个数与标准集合中子集合的个数相同时，分别比较第二集合与标准集合中相应子集合中元素的个数，当第二集合与标准集合中相应子集合中元素的个数相同时，则判定第二集合中该子集合正常，当第二集合与标准集合中相应子集合中元素的个数不相同时，则计算第二集合中该子集合比标准集合中相应子集合少的元素个数n4，并在第二集合中该子集合内的最后添加n4个空元素；S3.5、在与标准集合比较后的第二集合内的最前方插入该第二集合对应的时空标签，得到第三集合。4.根据权利要求3所述的一种基于全量数据的地理服务发布系统，其特征在于：所述数据校验模块逐个对数据抽取转换模块得到的组合转换数据的格式及值进行校验的方法包括以下步骤：S4.1、获取数据抽取转换模块得到的各个第三集合；S4.2、判断每个第三集合中是否含有空集，当第三集合中含有空集时，则判定该第三集合中空集对应的数据异常，即校验结果异常，S4.3、当第三集合中不含有空集时，则判断第三集合中各个子集合中是否存在元素为空的情况，当存在元素为空的情况，则判定该元素对应的数据异常，即校验结果异常，S4.4、当不存在元素为空的情况，则逐个提取第三集合中元素对应的数据，并将提取的数据与对比数据库中的相应的阈值区间进行比较，第三集合中不同元素在对比数据库中相应的阈值区间不同，当提取的数据均在对比数据库中相应的阈值区间内，则判定该第三集合对应的校验结果正常，反之，则判定该第三集合对应的校验结果异常。5.根据权利要求4所述的一种基于全量数据的地理服务发布系统，其特征在于：所述数据异常处理模块获取校验结果异常的第三集合及相应的异常位置，并根据校验结果异常的
第三集合中的异常位置对获取的异常数据进行处理，所述数据异常处理模块对异常数据进行处...

【专利技术属性】
技术研发人员：张志勋，姚小军，张鹏，
申请(专利权)人：如皋市勘测院有限公司，
类型：发明
国别省市：