数据同步处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例提供了一种数据同步处理方法、装置、计算机设备及存储介质，涉及数据处理技术领域，用于解决多源服务器向单个目标服务器进行数据备份时所面临的带宽竞争问题。方法主要包括：接收进程RP

【技术实现步骤摘要】
数据同步处理方法、装置、计算机设备及存储介质
本申请实施例涉及数据处理
，尤其涉及一种数据同步处理方法、装置、计算机设备及存储介质。
技术介绍
GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate能够实现大量交易数据的实时捕捉、变换和投递，实现源服务器与目标服务器的数据同步，保持亚秒级的数据延迟。目前，GoldenGate软件具有多源服务器向单个目标服务器备份的能力，但是这种备份能力仅涉及目标服务器对应的单个时间区间内源服务器数量通信量较小的情况下。而在源服务器的数量远超于对应的目标服务器时，例如在电网系统需要几百或几千个源服务器向目标服务器备份，此时依旧使用GoldenGate软件自有的备份功能，势必面临源服务器之间的带宽竞争问题。尤其在局部带宽紧张的时候，如何达到及时进行数据备份成了目前亟需解决的问题。
技术实现思路
本申请实施例提供一种数据同步处理方法、设备、系统、计算机设备及存储介质，用于解决多源服务器向单个目标服务器进行数据备份时所面临的带宽竞争问题。本专利技术实施例提供一种数据同步处理方法，所述方法应用于目标服务器，所述目标服务器包括一个调度进程和K个接收进程，所述接收进程分别为RP1，RP2，...，RPK，所述调度进程与所述K个接收进程总线连接，所述方法包括：所述接收进程RPi通过Mi条通信链路接收M个源服务器中发送进程SPij发送的数据，每个所述源服务器对应运行一个发送进程，M个发送进程被分为K组，第i组有Mi个进程；r>所述接收进程RPi计算所述Mi条通信链路的实时剩余带宽Bi；并确定所述实时剩余带宽Bi是否小于预设阈值；若所述实时剩余带宽Bi小于所述预设阈值，则所述接收进程RPi向所述调度进程发送请求调度信息，所述调度信息用于请求所述调度进程向所述接收进程RPi调度带宽资源；若所述实时剩余带宽Bi大于等于所述预设阈值，则所述接收进程RPi自行调度所述实时剩余带宽Bi内的带宽资源。本专利技术实施例提供一种数据同步处理装置，所述装置应用于目标服务器，所述目标服务器包括一个调度进程和K个接收进程，所述接收进程分别为RP1，RP2，...，RPK，所述调度进程与所述K个接收进程总线连接，所述装置包括：接收模块，用于所述接收进程RPi通过Mi条通信链路接收M个源服务器中发送进程SPij发送的数据，每个所述源服务器对应运行一个发送进程，M个发送进程被分为K组，第i组有Mi个进程；计算模块，用于所述接收进程RPi计算所述Mi条通信链路的实时剩余带宽Bi；并确定所述实时剩余带宽Bi是否小于预设阈值；第一调度模块，用于若所述实时剩余带宽Bi小于所述预设阈值，则所述接收进程RPi向所述调度进程发送请求调度信息，所述调度信息用于请求所述调度进程向所述接收进程RPi调度带宽资源；第二调度模块，用于若所述实时剩余带宽Bi大于等于所述预设阈值，则所述接收进程RPi自行调度所述实时剩余带宽Bi内的带宽资源。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据同步处理方法。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据同步处理方法。本专利技术提供一种数据同步处理方法、装置、计算机设备及存储介质，应用于目标服务器，目标服务器包括一个调度进程和K个接收进程，所述接收进程分别为RP1，RP2，...，RPK，调度进程与K个接收进程总线连接，接收进程RPi通过Mi条通信链路接收M个源服务器中发送进程SPij发送的数据，每个源服务器对应运行一个发送进程，M个发送进程被分为K组，第i组有Mi个进程；接收进程RPi计算Mi条通信链路的实时剩余带宽Bi；并确定实时剩余带宽Bi是否小于预设阈值；若实时剩余带宽Bi小于预设阈值，则接收进程RPi向调度进程发送请求调度信息，调度信息用于请求调度进程向接收进程RPi调度带宽资源；若实时剩余带宽Bi大于等于预设阈值，则接收进程RPi自行调度实时剩余带宽Bi内的带宽资源。即本专利技术根据实时剩余带宽Bi的大小，确定相应的调度方案，具体的，实时剩余带宽Bi小于预设阈值，则接收进程RPi向调度进程发送请求调度信息；实时剩余带宽Bi大于等于预设阈值，则接收进程RPi自行调度实时剩余带宽Bi内的带宽资源，从而通过本专利技术解决了多源服务器向单个目标服务器进行数据备份时所面临的带宽竞争问题。附图说明图1为本申请一个实施例提供的数据同步处理系统框图；图2为本申请一个实施例提供的数据同步处理方法流程图；图3为本申请一个实施例提供的数据同步处理的结构框图；图4为本申请一个实施例提供的计算机设备的一示意图。具体实施方式为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请实施例的技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请实施例技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。OracleGoldenGate(OGG)可以在多样化和复杂的IT架构中实现实时事务更改数据捕获、转换和发送；其中，数据处理与交换以事务为单位，并支持异构平台，例如：DB2，MSSQL等。但是，在OGG中，多源服务器向单个目标服务器进行数据备份时所面临的带宽竞争问题。尤其在局部带宽紧张的时候，如何达到及时进行数据备份。为了解决上述问题，本专利技术提供了一种数据同步处理方法、装置、计算机设备及存储介质，本专利技术根据实时剩余带宽Bi的大小，确定相应的调度方案，具体的，若实时剩余带宽Bi小于预设阈值，则接收进程RPi向调度进程发送请求调度信息；若实时剩余带宽Bi大于等于预设阈值，则接收进程RPi自行调度实时剩余带宽Bi内的带宽资源，从而通过本专利技术解决了多源服务器向单个目标服务器进行数据备份时所面临的带宽竞争问题。以下各实施例均可应用在图1所示的数据同步处理系统当中，图1示出的系统包括目标服务器10、与目标服务器10物理连接的至少一个源服务器20。其中，目标服务器10包括一个调度进程和K个OGG接收进程，所述OGG接收进程分别为RP1，RP2，...，RPK，所述调度进程与所述K个OGG接收进程总线连接；每个源端服务器20均运行有一个OGG发送进程，一共有M个OGG发送进程。M个OGG发送进程被分为K组，第i组有Mi个进程；显然，第i组发送进程与接收进程RPi通信连接，用于向接收进程RPi发送数据。具体的，任一发送进程SPij，获取GoldenGate的队列文件(trail)，并将队列文件中的数据通过TCP/I本文档来自技高网...

【技术保护点】
1.一种数据同步处理方法，所述方法应用于目标服务器，其特征在于，所述目标服务器包括一个调度进程和K个接收进程，所述接收进程分别为RP

【技术特征摘要】
1.一种数据同步处理方法，所述方法应用于目标服务器，其特征在于，所述目标服务器包括一个调度进程和K个接收进程，所述接收进程分别为RP1，RP2，...，RPK，所述调度进程与所述K个接收进程总线连接，所述方法包括：
所述接收进程RPi通过Mi条通信链路接收M个源服务器中发送进程SPij发送的数据，每个所述源服务器对应运行一个发送进程，M个发送进程被分为K组，第i组有Mi个进程；
所述接收进程RPi计算所述Mi条通信链路的实时剩余带宽Bi；并确定所述实时剩余带宽Bi是否小于预设阈值；
若所述实时剩余带宽Bi小于所述预设阈值，则所述接收进程RPi向所述调度进程发送请求调度信息，所述调度信息用于请求所述调度进程向所述接收进程RPi调度带宽资源；
若所述实时剩余带宽Bi大于等于所述预设阈值，则所述接收进程RPi自行调度所述实时剩余带宽Bi内的带宽资源。


2.根据权利要求1所述的数据同步处理方法，其特征在于，所述接收进程RPi计算所述Mi条通信链路的实时剩余带宽Bi，包括：
所述实时剩余带宽所述Bij为所述接收进程RPi和所述发送进程SPij之间的通信链路的实时剩余带宽。


3.根据权利要求2所述的数据同步处理方法，其特征在于，所述Bij＝RBij-Dij/Tij，或
所述DeltaB为最小带宽调度单元；
其中，RBij为RPi和SPij的通信链路的额定带宽，Dij为SPij获取的队列文件中经压缩的数据量大小，Tij为SPij的预设最大备份时间。


4.根据权利要求2所述的数据同步处理方法，其特征在于，所述预设阈值为0，若所述实时剩余带宽Bi大于等于所述预设阈值，则所述接收进程RPi自行调度所述实时剩余带宽Bi内的带宽资源，包括：
当所述接收进程RPi接收到的每个所述Bij均大于0时，不需要进行处理；
当所述接收进程RPi接收到第j个Bij小于0时，根据各所述Bij的大小为小于0的Bij调度带宽资源。


5.根据权利要求4所述的数据同步处理方法，其特征在于，所述根据各所述Bij的大小为小于0的Bij调度带宽资源，包括：
对Bi1，Bi2，...Bij-1，Bij+1，...BiMi进行降序排序，排序后为A1>＝A2>＝...>＝AM...

【专利技术属性】
技术研发人员：严莉，刘荫，韩圣亚，徐浩，张悦，殷齐林，黄振，刘子雁，张凯，朱韶松，倪金超，汤琳琳，刘学，马领，李琪，杨冠群，崔博，
申请(专利权)人：国家电网有限公司，国网山东省电力公司信息通信公司，
类型：发明
国别省市：北京;11