基于大数据的集群数据同步方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种基于大数据的集群数据同步方法、装置、设备及存储介质，涉及数据处理技术领域。该方法包括：接收数据导入指令；响应于数据导入指令，获取第一集群中的待同步数据，对待同步数据执行数据转换，以将待同步数据转换为匹配第二集群中存储结构的待同步数据；建立多条并行通信线程和任务监控表，将转换后的待同步数据同步至第二集群中，并实时记录数据的同步状态。所述方法可以对于不在同一系统架构下的集群之间的数据实现数据同步，通过数据转换、设置并行线程以及任务监控表的方式提升了同步的效率和稳定性，并能对任务状态、数据丢失和同步异常等数据进行实时跟踪，获取同步时反馈的数据状态。

Big data based cluster data synchronization method, device, device and storage medium

【技术实现步骤摘要】
基于大数据的集群数据同步方法、装置、设备及存储介质
本申请实施例涉及数据处理
，特别是一种基于大数据的集群数据同步方法、装置、设备及存储介质。
技术介绍
随着信息时代的高速发展，整个社会正逐步进入“数字化”时代，这是一个信息爆炸的时代，全球数据持续以爆炸性速度增长，面对持续增长的海量数据对传统存储系统带来的新的挑战。在这个大背景下，消耗中央处理器最多的计算逐渐从提升软件本身性能方面转移到了信息处理方面，从而各大厂商不得不面临着极大地挑战—他们需要从TB(Terabyte，太字节)级乃至PB(Petabytes，拍字节)级的数据中挖掘出有用的信息，并对这些海量数据进行快捷高效的处理。而数据存储是数据管理工作的基石，所以如何进行大数据的存储并在不同的集群间对大数据的迁移是一个值得关注研究的问题。现有技术中，针对大数据的同步方案大多为对于同一个系统架构下的集群之间进行的同步，缺乏对不同类型的集群之间的数据同步方案，且数据同步的方案中对集群数据安全的管控相对宽松，使用的计算引擎较慢，而且对海量数据集同步时的稳定性与性能均表现一般，本文档来自技高网...

【技术保护点】
1.一种基于大数据的集群数据同步方法，其特征在于，包括：/n接收数据导入指令，所述数据导入指令用于将第一集群中的待同步数据同步至第二集群；/n响应于所述数据导入指令，获取所述第一集群中的待同步数据，对所述待同步数据执行数据转换，以将所述待同步数据转换为匹配所述第二集群中存储结构的待同步数据；/n建立多条并行通信线程和任务监控表，基于所述多条并行通信线程将转换后的所述待同步数据同步至所述第二集群中，并基于所述任务监控表实时记录数据的同步状态。/n

【技术特征摘要】
1.一种基于大数据的集群数据同步方法，其特征在于，包括：
接收数据导入指令，所述数据导入指令用于将第一集群中的待同步数据同步至第二集群；
响应于所述数据导入指令，获取所述第一集群中的待同步数据，对所述待同步数据执行数据转换，以将所述待同步数据转换为匹配所述第二集群中存储结构的待同步数据；
建立多条并行通信线程和任务监控表，基于所述多条并行通信线程将转换后的所述待同步数据同步至所述第二集群中，并基于所述任务监控表实时记录数据的同步状态。


2.根据权利要求1所述的基于大数据的集群数据同步方法，其特征在于，所述接收数据导入指令的步骤之后，所述方法还包括步骤：
判断所述数据导入指令是否为第一次从所述第一集群中将数据同步至所述第二集群；
若是，将所述第一集群中的全量数据作为所述待同步数据；
若否，则将所述第一集群中的增量数据作为所述待同步数据。


3.根据权利要求2所述的基于大数据的集群数据同步方法，其特征在于，所述判断所述数据导入指令是否为第一次从所述第一集群中将数据同步至所述第二集群的步骤还包括：
获取所述数据导入指令中的时间戳，根据所述时间戳判断所述数据导入指令是否为第一次从所述第一集群中将数据同步至所述第二集群；
当确认所述数据导入指令非第一次从所述第一集群中将数据同步至所述第二集群时，检测所述时间戳之前的所述第一集群中的数据是否有更新；
若有更新，将所述更新的数据与所述时间戳之后的新增数据共同记为所述增量数据。


4.根据权利要求1所述的基于大数据的集群数据同步方法，其特征在于，所述获取所述第一集群中的待同步数据的步骤之后，所述方法还包括步骤：
在所述第一集群中对所述待同步数据执行数据分区，以将所述待同步数据存储在通过数据分区划分出的多个分区中。


5.根据权利要求1所述的基于大数据的集群数据同步方法，其特征在于，所述对所述待同步数据执行数据转换的步骤包括：
获取...

【专利技术属性】
技术研发人员：饶刚，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44