增量数据抽取处理方法及装置、计算机设备、介质制造方法及图纸

本申请涉及增量数据抽取处理方法及装置、计算机设备、介质，方法包括：创建用于存储新数据的新数据表A，创建用于存储历史数据的历史更新表B，以及创建有N个线程的线程池；从系统获取需要同步更新的数据量为M的数据；将数据量为M的数据，平均分配到N个线程进行处理插入到新数据表A；将新数据表A与历史更新表B进行差集运算，得到数据量为L的增量数据；将数据量为L的增量数据，平均分配到N个线程进行处理，将处理的数据分别插入到历史更新表B，并清空新数据表A的数据。本发明专利技术提供了设计合理，效果显著的多线程处理基于数据库表差集抽取增量数据的方法，可以提高系统的吞吐能力，数据处理准确、高效、节约应用软件的内存占有量。

Incremental data extraction and processing methods and devices, computer equipment, media

【技术实现步骤摘要】
增量数据抽取处理方法及装置、计算机设备、介质
本申请涉及数据处理
，特别是涉及一种增量数据抽取处理方法及装置、计算机设备、可读存储介质。
技术介绍
在数据同步领域，需要将系统A的数据同步到系统B中。增量数据的抽取成为关键所在，也是领域内急需解决的一大关键问题。增量数据抽取的最核心问题是如何通过某种办法找到上一次数据处理完成后变化的数据。现有技术中有基于数据库之间、增加时间戳和全文比对等方式抽取增量数据。但是这些方法或多或少存在问题，例如数据库之间，这种方式存在的问题是数据库之间同步时，无法做到数据的一致性，有时候数据库的安全性也不允许这样的操作。增加时间戳，需要修改源数据库中没有时间戳的表，为其增加时间戳字段，导致修改表结构，且需要源数据库维护时间戳字段；对于全文对比，若是少量数据，这种方式可行，但是面对海量数据进行全文对比，对整个系统的性能是个不小的挑战，即现有技术增量数据抽取处理内存占用大，数据处理准确率不高，处理效率不高，吞吐能力弱。因此，现有技术有待改进。
技术实现思路
本专利技术针对上述现有技本文档来自技高网...

【技术保护点】
1.一种增量数据抽取处理方法，其特征在于，所述方法包括：/n创建数据库，创建用于存储新数据的新数据表A，创建用于存储历史数据的历史更新表B，以及创建有N个线程的线程池；/n从系统获取需要同步更新的数据，称为数据量为M的数据；/n将数据量为M的数据，平均分配到N个线程进行处理插入到新数据表A；/n将新数据表A与历史更新表B进行差集运算，得到数据量为L的增量数据；/n将数据量为L的增量数据，平均分配到N个线程进行处理，将处理的数据分别插入到历史更新表B，并清空新数据表A的数据。/n

【技术特征摘要】
1.一种增量数据抽取处理方法，其特征在于，所述方法包括：
创建数据库，创建用于存储新数据的新数据表A，创建用于存储历史数据的历史更新表B，以及创建有N个线程的线程池；
从系统获取需要同步更新的数据，称为数据量为M的数据；
将数据量为M的数据，平均分配到N个线程进行处理插入到新数据表A；
将新数据表A与历史更新表B进行差集运算，得到数据量为L的增量数据；
将数据量为L的增量数据，平均分配到N个线程进行处理，将处理的数据分别插入到历史更新表B，并清空新数据表A的数据。


2.根据权利要求1所述增量数据抽取处理方法，其特征在于，所述创建数据库，创建用于存储新数据的新数据表A，创建用于存储历史数据的历史更新表B，以及创建有N个线程的线程池的步骤包括：
创建本地数据库；
创建用于存储每次更新来的新数据的新数据表A，以及创建用于存储历史更新数据的历史更新表B，且新数据表A与历史更新表B有相同的ID主键字段；
创建包括N个线程的线程池，其中，N为线程数量，且N>0。


3.根据权利要求1所述增量数据抽取处理方法，其特征在于，所述从系统获取需要同步更新的数据，称为数据量为M的数据的步骤包括：
从系统获取数据；
判断是否存在更新的数据；
当是，则提取需要同步更新的数据，称为数据量为M的数据。


4.根据权利要求1所述增量数据抽取处理方法，其特征在于，所述将数据量为M的数据，平均分配到N个线程进行处理插入到新数据表A的步骤包括：
将获取的数据量为M的数据，平均分配给从线程池获取的线程；
将线程1到线程N处理数据分别插入到新数据表A。


5.根据权利要求1所述增量数据抽取处理方法，其特征在于，所述将新数据表A与历史更新表B进行差集运算，得到数据量为L的增量数据的步骤包括：
将新数据表A与历史更新表B进行差集运算；
得到数据量为L的增量数据；
输出抽取的数据量为L的增量数据。

【专利技术属性】
技术研发人员：白肖，卫宣安，吴闽华，姜坤，
申请(专利权)人：深圳震有科技股份有限公司，
类型：发明
国别省市：广东;44