大数据量的数据同步方法、设备、存储介质及装置制造方法及图纸

本发明专利技术公开了一种大数据量的数据同步方法、设备、存储介质及装置，该方法包括：从源端获取大数据量的源数据，按照业务类型簇对所述大数据量的源数据进行分类，获得多个类别的链路数据；将各类别的链路数据分别通过不同的链路同步至目标端，以使所述目标端启动多个预设进程并行处理各类别的链路数据。本发明专利技术中，通过将各类别的链路数据分别通过不同的链路同步至目标端，以使所述目标端启动多个预设进程并行处理各类别的链路数据，避免将大量的源数据通过一条链路传输，效率低，从而极大缩短了大数据量的数据进行数据同步的时间。

Data Synchronization Method, Equipment, Storage Medium and Device for Large Data Volume

The invention discloses a method, device, storage medium and device for data synchronization with large amount of data. The method includes: obtaining large amount of source data from the source end, classifying the source data with large amount of data according to the service type cluster, and obtaining multiple types of link data; synchronizing various types of link data through different links to the target end so as to achieve the goal. The label initiates several preset processes to process various types of link data in parallel. In the present invention, by synchronizing various types of link data to the target end through different links, the target end can start multiple preset processes to process various types of link data in parallel, thus avoiding the transmission of a large number of source data through one link with low efficiency, thus greatly shortening the time of data synchronization for a large number of data.

【技术实现步骤摘要】
大数据量的数据同步方法、设备、存储介质及装置
本专利技术涉及大数据
，尤其涉及一种大数据量的数据同步方法、设备、存储介质及装置。
技术介绍
目前，在两个系统之间，需要将一个系统中的数据变化及时的同步到另一个系统，如果在某一时间点数据更新的量非常大(千万以上级别)涉及的表也比较多，而且数据关联性又比较复杂的情况下，同步会产生比较大的延迟，在数据量非常大的情况下，如何提高大数据量的数据进行同步时的效率是亟待解决的技术问题。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种大数据量的数据同步方法、设备、存储介质及装置，旨在解决现有技术中大数据量的数据进行同步时的效率低的技术问题。为实现上述目的，本专利技术提供一种大数据量的数据同步方法，所述大数据量的数据同步方法包括以下步骤：从源端获取大数据量的源数据，按照业务类型簇对所述大数据量的源数据进行分类，获得多个类别的链路数据；将各类别的链路数据分别通过不同的链路同步至目标端，以使所述目标端启动多个预设进程并行处理各类别的链路数据。优选地，所述从源端获取大数据量的源数据，本文档来自技高网...

【技术保护点】
1.一种大数据量的数据同步方法，其特征在于，所述大数据量的数据同步方法包括以下步骤：从源端获取大数据量的源数据，按照业务类型簇对所述大数据量的源数据进行分类，获得多个类别的链路数据；将各类别的链路数据分别通过不同的链路同步至目标端，以使所述目标端启动多个预设进程并行处理各类别的链路数据。

【技术特征摘要】
1.一种大数据量的数据同步方法，其特征在于，所述大数据量的数据同步方法包括以下步骤：从源端获取大数据量的源数据，按照业务类型簇对所述大数据量的源数据进行分类，获得多个类别的链路数据；将各类别的链路数据分别通过不同的链路同步至目标端，以使所述目标端启动多个预设进程并行处理各类别的链路数据。2.如权利要求1所述的大数据量的数据同步方法，其特征在于，所述从源端获取大数据量的源数据，按照业务类型簇对所述大数据量的源数据进行分类，获得多个类别的链路数据，包括：从源端获取大数据量的源数据，对所述大数据量的源数据进行解析，获得各源数据对应的各业务关键词集合；获取各业务类型簇对应的各类型簇关键词集合；将各业务关键词集合分别与各类型簇关键词集合进行匹配，获得匹配程度；根据所述匹配程度对各业务关键词集合对应的各源数据进行分类，获得多个类别的链路数据。3.如权利要求2所述的大数据量的数据同步方法，其特征在于，所述业务类型簇包括多个关联业务类型；所述将各业务关键词集合分别与各类型簇关键词集合进行匹配，获得匹配程度之前，所述大数据量的数据同步方法还包括：获取每个业务类型簇中各关联业务类型对应的样本数据，对所述样本数据进行关键词提取，获得样本关键词；根据所述样本关键词构建各业务类型簇对应的各类型簇关键词集合。4.如权利要求3所述的大数据量的数据同步方法，其特征在于，所述将各业务关键词集合分别与各类型簇关键词集合进行匹配，获得匹配程度，包括：遍历各业务关键词集合，将所述业务关键词集合分别与各类型簇关键词集合进行匹配，获得各业务关键词集合与各类型簇关键词集合之间的匹配程度。5.如权利要求4所述的大数据量的数据同步方法，其特征在于，所述将各类别的链路数据分别通过不同的链路同步至目标端，以使所述目标端启动多个预设进程并行处理各类别的链路数据，包括：通过抽取进程从所述源端的数据库中读取联机重做日志文件；对所述联机重做日志文件进行解析，获得各类别的链路数据中的变化数据；通过传输进程将各类别的链路数据中的变化数据同步至目标端，以使所述目标端启动多个预设进程并行处理各类别的链路数据...

【专利技术属性】
技术研发人员：许永夫，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44