一种数据同步方法及装置制造方法及图纸

本申请提供一种数据同步方法及装置，该方法可以包括：从源表中抽取第一数据组中的数据至第一缓存队列，并根据在预设字段的取值调整第一数据组中的各条数据的排列顺序以得到第二数据组，使第二数据组中在所述预设字段具有相同取值的所有数据相邻排列；将第二数据组中的数据抽取至第二缓存队列，并逐条识别第二缓存队列中的每条数据在预设字段的取值；当识别到任一条数据在预设字段的取值与上一条数据不同时，将第二缓存队列中位于所述任一条数据之前的所有数据批量同步至目的表中对应的分区。

【技术实现步骤摘要】
一种数据同步方法及装置
本申请涉及数据库领域，尤其涉及一种数据同步方法及装置。
技术介绍
随着大数据的发展，将海量数据同步到数据库的需求越来越常见，为了方便过滤查询和使用，将源表中的数据同步至数据库的目的表时会选择使用分区表来将数据进行分区存储。相关技术中，分区存储数据时对源表中的数据形式有较多的限制，为分区同步数据带来不便。
技术实现思路
有鉴于此，本申请提供一种数据同步方法及装置。为实现上述目的，本申请提供技术方案如下：根据本申请的第一方面，提出了一种数据同步方法，包括：从源表中抽取第一数据组中的数据至第一缓存队列，并根据在预设字段的取值调整所述第一数据组中的各条数据的排列顺序以得到第二数据组，使第二数据组中在所述预设字段具有相同取值的所有数据相邻排列；将所述第二数据组中的数据抽取至第二缓存队列，并逐条识别所述第二缓存队列中的每条数据在所述预设字段的取值；当识别到任一条数据在所述预设字段的取值与上一条数据不同时，将所述第二缓存队列中位于所述任一条数据之前的所有数据批量同步至目的表中本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其特征在于，包括：/n从源表中抽取第一数据组中的数据至第一缓存队列，并根据在预设字段的取值调整所述第一数据组中的各条数据的排列顺序以得到第二数据组，使第二数据组中在所述预设字段具有相同取值的所有数据相邻排列；/n将所述第二数据组中的数据抽取至第二缓存队列，并逐条识别所述第二缓存队列中的每条数据在所述预设字段的取值；/n当识别到任一条数据在所述预设字段的取值与上一条数据不同时，将所述第二缓存队列中位于所述任一条数据之前的所有数据批量同步至目的表中对应的分区。/n

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：
从源表中抽取第一数据组中的数据至第一缓存队列，并根据在预设字段的取值调整所述第一数据组中的各条数据的排列顺序以得到第二数据组，使第二数据组中在所述预设字段具有相同取值的所有数据相邻排列；
将所述第二数据组中的数据抽取至第二缓存队列，并逐条识别所述第二缓存队列中的每条数据在所述预设字段的取值；
当识别到任一条数据在所述预设字段的取值与上一条数据不同时，将所述第二缓存队列中位于所述任一条数据之前的所有数据批量同步至目的表中对应的分区。


2.根据权利要求1所述的方法，其特征在于，还包括：
当检测到预设反压条件被满足时，降低抽取第一数据组中的数据至第一缓存队列的速度和/或降低抽取所述第二数据组中的数据至第二缓存队列的速度。


3.根据权利要求2所述的方法，其特征在于，所述预设反压条件包括：第一预设反压条件和第二预设反压条件；所述当检测到预设反压条件被满足时，降低所述抽取第一数据组中的数据至第一缓存队列的速度和/或降低所述抽取所述第二数据组中的数据至第二缓存队列的速度，包括：
当检测到任一缓存队列的状态满足第一预设反压条件时，降低将数据抽取至所述任一缓存队列的速度；
当检测到系统的状态满足第二预设反压条件时，降低抽取第一数据组中的数据至第一缓存队列的速度，以及降低抽取所述第二数据组中的数据至第二缓存队列的速度。


4.根据权利要求3所述的方法，其特征在于，所述第一预设反压条件包括以下至少之一：
所述任一缓存队列中数据条数不小于第一预设值；
所述任一缓存队列中数据字节数不小于第二预设值。


5.根据权利要求3所述的方法，其特征在于，所述第二预设反压条件包括以下至少之一：
系统内存的占用量不小于第一预设阈值；
系统内存的剩余量不大于第二预设阈值；
系统内存的占用...

【专利技术属性】
技术研发人员：江峰，郑高，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：浙江;33