基于分布式及多层次汇交的大数据交换系统及方法技术方案

本发明专利技术涉及一种基于分布式及多层次汇交的大数据交换系统及方法。本发明专利技术通过同步和推送机制，实现了各个数据中心节点数据更新的一致性及有效性，而且任何一个更新节点故障都不会影响整体，从而提高地理信息数据的高效、网络化。并且对数据的应用更加广泛，减少数据传输的次数，提高工作效率。

【技术实现步骤摘要】

本专利技术涉及一种数据交换系统及方法，属于地理信息数据管理领域，具体涉及一种。
技术介绍
目前在地理信息数据的管理和保障方面，各级各类应用系统还是采取独立建设和维护的模式。这样就造成了如下不足:(1)地理信息数据的保障模式不统一由于地理数据由各级应用系统独立建设、维护和保障，“烟卤”式的使得不同时期，不同用户在地理信息的数据处理，使用上缺少一致的保障维护体制及规范。(2)地理信息数据的管理时效不足目前主要依靠人工通过存储介质来进行地理数据的导入导出，各级各类应用系统之间缺少地理信息数据的网络化共享能力，虽然系统建设耗时耗力，数据更新周期长，但是数据共享及应用比较局限。而且通常的手工操作的模式不仅导致数据的管理及维护投入巨大，同时也容易受到人为因素的影响，使得数据管理的安全性问题频发。(3)地理信息数据的支持能力不够现有的地理信息的数据管理模式比较单一，而且未能提供对地理空间数据的多源、多时相版本，同时可以跨平台的统一的数据管理支持，因此，大大的限制了地理数据的应用发展。由于存在以上问题，现有地理数据的管理还是各级、各类系统，各自管理各自地理数据的模式。这样一来，各系统所负责管理的那部分地理信息数据，在完成数据的订阅使用及数据下发时，主要依靠人工通过存储介质来进行地理数据的导入导出来进行同步和传送。这样的方式会有以下缺点:(1)人工处理，简单重复，但需要有较大投入，而且手工操作的模式也容易造成人为问题。(2)现有的同步机制，各个应用系统所需要的数据管理，由各个系统单独处理，只支持单数据源，属于是单纯的数据同步操作，对于包含数据版本的时相数据无法提供更新、同步及版本管理的能力。(3)对不同时期、不同用户在地理信息数据的受领、处理和使用上，也缺少一致的管理、保障、维护体制和规范。本专利技术将解决通过同步和推送机制，实现了各个数据中心节点数据更新的一致性及有效性，而且任何一个更新节点故障都不会影响整体。从而提高地理信息数据的高效、网络化。并对数据的应用更加广泛。减少数据传输的次数，提高工作效率。
技术实现思路
本专利技术主要是解决现有技术所存在的上述的技术问题，提供了一种。该系统及方法使用无人值守方式，自动完成对分布存储于各级不同数据中心的地理信息数据交汇、同步与更新，并提供全方位的任务的状态监控，并且支持数据订阅及推送两种方式，来实现对数据的更新。为了解决上述问题，根据本专利技术的一方面，提供了一种基于分布式及多层次汇交的大数据交换系统，包括:服务中心，与地理信息源相连，用于提供地理信息的存储和服务；前置节点，部署于用户系统内，用于为其所属的用户系统进行数据管理、缓存和服务，以及从区域中心获取地理信息数据；其中，所述服务中心进一步包括:全国中心，用于提供各类地理数据的接入存储以及同步操作，进行地理数据的编目和同步；区域中心，与全国中心相连，用于承担区域地理数据服务，各区域中心形成分布式数据服务网络。优化的，上述的一种基于分布式及多层次汇交的大数据交换系统，还包括用于进行数据订阅和获取的同步模块，所述同步模块进一步包括:区域中心同步模块，位于区域中心内，用于向全国中心订阅所需数据，接收全国中心所返回的订阅数据；前置节点同步模块，位于前置节点内，用于向区域中心订阅所需数据，接收区域中心所返回的订阅数据。优化的，上述的一种基于分布式及多层次汇交的大数据交换系统，所述同步模块在设置需要订阅数据的数据中心信息，然后通过设置定时任务间隔性的探测和同步节点编目表，在编目表的相关属性标记发生变化时，开始触发数据的同步和推送操作。优化的，上述的一种基于分布式及多层次汇交的大数据交换系统，其特征在于，还包括:服务发布系统，与用户系统相连，用于在用户系统接受到推送或同步的数据后发布或更新服务；运维系统，与服务中心、前置节点以及服务发布系统相连，用于对数据分类和数据推送取向提供全方位的任务的状态监控。为了解决上述问题，根据本专利技术的另一方面，提供了一种基于分布式及多层次汇交的大数据交换方法，包括:建立与地理信息源相连的服务中心，由服务中心提供地理信息的存储和服务；在用户系统部署前置节点，由前置节点为用户系统进行数据管理、缓存和服务，以及从区域中心获取地理信息数据； 其中，在所述服务中心内分别建立全国中心和与全国中心相连的区域中心，由全国中心提供各类地理数据的接入存储以及同步操作，进行地理数据的编目和同步；由区域中心承担区域地理数据服务，各区域中心形成分布式数据服务网络。优化的，上述的一种基于分布式及多层次汇交的大数据交换方法，通过同步模式来订阅和获取数据，由区域中心向全国中心订阅所需数据，接收全国中心所返回的订阅数据；前置节点向区域中心订阅所需数据，接收区域中心所返回的订阅数据。优化的，上述的一种基于分布式及多层次汇交的大数据交换方法，在数据同步时，先设置需要订阅数据的数据中心信息，然后通过设置定时任务间隔性的探测和同步节点编目表，在编目表的相关属性标记发生变化时，开始触发数据的同步和推送操作。优化的，上述的一种基于分布式及多层次汇交的大数据交换方法，其特征在于，还包括:在用户系统接受到推送或同步的数据后，利用与用户系统相连的服务发布系统发布或更新服务；利用与服务中心、前置节点以及服务发布系统相连的运维系统对数据分类和数据推送取向提供全方位的任务状态监控。因此，本专利技术具有如下优点:1.使用无人值守方式，自动完成对分布存储于各级不同数据中心的地理信息数据交汇、同步与更新，并提供全方位的任务的状态监控；2.支持数据订阅及推送两种方式，来实现对数据的更新。【附图说明】附图1是本专利技术的系统原理图；附图2是本专利技术的信息交互图；附图3是本专利技术的信息同步机制图。【具体实施方式】下面通过实施例，并结合附图，对本专利技术的技术方案作进一步具体的说明。实施例:如图1所示，一种基于分布式及多层当前第1页1 2 本文档来自技高网...

【技术保护点】
一种基于分布式及多层次汇交的大数据交换系统，其特征在于，包括：服务中心，与地理信息源相连，用于提供地理信息的存储和服务；前置节点，部署于用户系统内，用于为其所属的用户系统进行数据管理、缓存和服务，以及从区域中心获取地理信息数据；其中，所述服务中心进一步包括：全国中心，用于提供各类地理数据的接入存储以及同步操作，进行地理数据的编目和同步；区域中心，与全国中心相连，用于承担区域地理数据服务，各区域中心形成分布式数据服务网络。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘奕夫，尹心亮，
申请(专利权)人：武大吉奥信息技术有限公司，
类型：发明
国别省市：湖北;42