一种数据同步速度自动调节方法及装置制造方法及图纸

本发明专利技术提供一种数据同步速度自动调节方法及装置，通过一数据同步速度自动控制算子来判定数据同步任务对于该源数据库的系统资源的占用率是否已经影响到其正常运行，如果是，则准备对数据同步任务进行阻塞，其次，还通过数据同步速度自动控制算子结合系统资源的占用率来计算一个占用分数来对休眠时间进一步进行控制，实现了针对性的控制数据同步任务的阻塞与重启，既避免了因数据同步服务会与上游业务系统进行资源争抢，导致上游服务响应缓慢、超时甚至服务中断，还有可能造成源数据库崩溃问题，又避免了等待其他任务执行完成后再启动数据同步任务的长时间等待，提高了数据同步任务的效率，实现了数据同步速度自适应调节的自动匹配。

【技术实现步骤摘要】

本专利技术涉及数据智能算法，特别是涉及一种数据同步速度自动调节方法及装置领域。

技术介绍

1、数据同步是指在源数据存储和目标数据存储之间建立一致性的过程，并随着时间的推移不断协调数据。

2、现有的数据同步技术常采用flink系统作为大数据处理引擎，flink具有高吞吐、高性能、低时延、高拓展性的特点。基于其开发的插件flink cdc利用了flink的优势，实时监听源数据库的数据变化，将数据同步到目标端存储平台。但在缺少数据同步速度控制的情况下，过快的数据同步速度会占用过多源数据库的资源如：cpu、io、网络带宽等，其中cpu为中央处理器，是计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元；io为系统的输入输出，为计算机的cpu控制内存与其他设备之间的数据转移过程，即为io；网络带宽是指在单位时间(一般指的是1秒钟)内能传输的数据量。在源数据库中，其cpu的计算能力，io能力，网络带宽都是固定的，当数据同步占用过多资源，会使得其他业务所占的比例被压缩，容易影响源数据库的稳定性。

3、在具体的商用场景中，数据同步过程在上本文档来自技高网...

【技术保护点】

1.一种数据同步速度自动调节方法，使用于一源数据库和目标数据库，其特征在于，包括：

2.根据权利要求1所述的一种数据同步速度自动调节方法，其特征在于，所述占用分数的计算公式具体为：

3.根据权利要求2所述的一种数据同步速度自动调节方法，其特征在于，所述休眠时间的计算公式为：

4.根据权利要求1所述的一种数据同步速度自动调节方法，其特征在于，在计算占用分数前，还包括：

5.一种数据同步速度自动调节装置，其特征在于，包括：

6.根据权利要求5所述的一种数据同步速度自动调节装置，其特征在于：

7.一种电子设备，其特征在于，...

【技术特征摘要】

1.一种数据同步速度自动调节方法，使用于一源数据库和目标数据库，其特征在于，包括：

2.根据权利要求1所述的一种数据同步速度自动调节方法，其特征在于，所述占用分数的计算公式具体为：

3.根据权利要求2所述的一种数据同步速度自动调节方法，其特征在于，所述休眠时间的计算公式为：

4.根据权利要求1所述的一种数据同步速度自动调节方法，其特征在于，在计算占用分数前，...

【专利技术属性】
技术研发人员：盘先豪，黄微，
申请(专利权)人：广州市玄武无线科技股份有限公司，
类型：发明
国别省市：