用于多集群的数据汇集系统和方法技术方案

本发明专利技术提出一种用于多集群的数据汇集系统及方法，数据汇集系统包括：一主集群和至少一分集群，主集群输出数据汇集请求至所述分集群，分集群根据数据汇集请求对原始数据文件进行处理后获得压缩文件和第一签名文件并发送至主集群，主集群对第一签名文件进行验证，验证成功后主集群装载原始数据文件。本发明专利技术解决了现有多集群数据之间相互隔离，从而导致无法统一汇聚起来进行数据分析的问题。

【技术实现步骤摘要】
用于多集群的数据汇集系统和方法
本专利技术涉及数据同步
，具体地说，尤其涉及一种用于多集群的数据汇集系统和方法。
技术介绍
集群(cluster)技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。随着互联网服务的高速发展，企业组织在提供互联网服务时，为了提高服务响应速度，或者为了部分敏感数据合规，通常采用集群技术会在多国家甚至多洲建立多个业务独立的数据中心，即多集群架构。但是在实际使用中发现，由于每一个数据中心都是独立的，因而在企业组织需要进行统一数据分析时，这些多集群数据之间相互隔离，从而导致无法统一汇聚起来进行数据分析。例如，存在多个跨州或跨境的数据中心集群，每个集群日产生数据量达到几个T，现有的多个数据中心数据汇集通常采用实时同步汇集，即分集群本文档来自技高网...

【技术保护点】
1.一种用于多集群的数据汇集系统，其特征在于，包括：一主集群和至少一分集群，所述主集群输出数据汇集请求至所述分集群，所述分集群根据所述数据汇集请求对原始数据文件进行处理后获得压缩文件和第一签名文件并发送至所述主集群，所述主集群对所述第一签名文件进行验证，验证成功后所述主集群装载所述原始数据文件。/n

【技术特征摘要】
1.一种用于多集群的数据汇集系统，其特征在于，包括：一主集群和至少一分集群，所述主集群输出数据汇集请求至所述分集群，所述分集群根据所述数据汇集请求对原始数据文件进行处理后获得压缩文件和第一签名文件并发送至所述主集群，所述主集群对所述第一签名文件进行验证，验证成功后所述主集群装载所述原始数据文件。


2.如权利要求1所述的数据汇集系统，其特征在于，每一所述分集群包括：
分集群数据中心，存储所述原始数据文件；
分集群数据接口服务，根据所述数据汇集请求调取所述分集群数据中心存储的所述原始数据文件，并对所述原始数据文件进行压缩处理获得所述压缩文件，所述分集群数据接口服务还对所述原始数据文件进行MD5计算获得所述第一签名文件。


3.如权利要求2所述的数据汇集系统，其特征在于，所述主集群包括：
主集群数据中心，输出所述数据汇集请求至所述分集群数据接口服务；
主集群数据接口服务，对所述第一签名文件进行验证，验证成功后所述主集群数据接口服务将所述原始数据文件装载至所述主集群数据中心。


4.如权利要求3所述的数据汇集系统，其特征在于，所述主集群数据接口服务对所述压缩文件进行解压处理获得所述原始数据文件，所述主集群数据接口服务对所述原始数据文件进行MD5计算获得第二签名文件，所述主集群数据接口服务将所述第一签名文件与所述第二签名文件进行比对生成比对结果。


5.如权利要求4所述的数据汇集系统，其特征在于，当所述比对结果为所述第一签名文件与所述第二签名文件一致时，所述主集群数据接口服务将所述原始数据文件装载至所述主集群数据中心；当所述比对结果为所述第一签名文件与所述第二签名文件不一致时，所述主集群数据中心根据所述比对结果再次输出所述数据汇集请求至所述分集群数据接口服务。


6.一种用于多集群的数据汇集方法，其特征在于，包括：
请求...

【专利技术属性】
技术研发人员：徐浩，
申请(专利权)人：青岛易来智能科技股份有限公司，
类型：发明
国别省市：山东;37