同步数据的方法、装置、设备和计算机可读介质制造方法及图纸

本发明专利技术公开了同步数据的方法、装置、设备和计算机可读介质，涉及计算机技术领域。该方法的一具体实施方式包括：探查数据库源服务器与数据库目标服务器之间的网络剩余带宽；基于线性回归模型结合所述网络剩余带宽，设置数据传输通道的初始数量，所述线性回归模型是采用历史网络剩余带宽和数据传输通道的历史数量训练得到的；按照所述初始数量，定位所述数据传输通道的数量区间，并将所述数量区间的最大值作为所述数据传输通道的同步数量；采用所述同步数量的数据传输通道，启动所述数据库源服务器的数据同步至所述数据库目标服务器的任务，基于所述网络剩余带宽以同步数据。该实施方式能够加快数据同步的速度。方式能够加快数据同步的速度。方式能够加快数据同步的速度。

【技术实现步骤摘要】
同步数据的方法、装置、设备和计算机可读介质


[0001]本专利技术涉及计算机
，尤其涉及一种同步数据的方法、装置、设备和计算机可读介质。

技术介绍

[0002]大数据平台经常需要通过离线管道，在多个数据源之间接入和推送数据。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：由于一些数据表中的数据量大，抽取速度慢，即使分片也需要反复人工调整参数进行尝试。因此，存在数据同步速度慢的技术问题。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种同步数据的方法、装置、设备和计算机可读介质，能够加快数据同步的速度。
[0005]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种同步数据的方法，包括：
[0006]探查数据库源服务器与数据库目标服务器之间的网络剩余带宽；
[0007]基于线性回归模型结合所述网络剩余带宽，设置数据传输通道的初始数量，所述线性回归模型是采用历史网络剩余带宽和数据传输通道的历史数量训练得到的；
[0008]按照所述初始数量，定位所述数据传输通道的数量区间，并将所述数量区间的最大值作为所述数据传输通道的同步数量；
[0009]采用所述同步数量的数据传输通道，启动所述数据库源服务器的数据同步至所述数据库目标服务器的任务，基于所述网络剩余带宽以同步数据。
[0010]所述探查数据库源服务器与数据库目标服务器之间的网络剩余带宽，包括：
[0011]采用数据统计工具，探查数据库源服务器与数据库目标服务器之间的网络剩余带宽。
[0012]所述方法还包括：
[0013]在采集库中建立采集表，所述采集表包括每个进程中网络剩余带宽和每个进程中数据传输通道的数量；
[0014]将所述每个进程中的网络剩余带宽作为历史网络剩余带宽，以及将所述每个进程中数据传输通道的数量作为历史数量，并以所述历史网络剩余带宽和数据传输通道的历史数量训练得到所述线性回归模型；
[0015]发布所述线性回归模型。
[0016]所述采集表还包括历史写入速度；
[0017]所述以所述历史网络剩余带宽和数据传输通道的历史数量训练得到所述线性回归模型，包括：
[0018]以所述历史网络剩余带宽、数据传输通道的历史数量和所述历史写入速度，训练
得到所述线性回归模型；
[0019]所述基于线性回归模型结合所述网络剩余带宽，设置数据传输通道的初始数量，包括：
[0020]基于线性回归模型结合所述网络剩余带宽和当前写入速度，设置数据传输通道的初始数量。
[0021]所述历史网络剩余带宽和数据传输通道的历史数量训练得到所述线性回归模型，包括：
[0022]采用机器学习框架，以所述历史网络剩余带宽和数据传输通道的历史数量训练得到所述线性回归模型。
[0023]所述按照所述初始数量，定位所述数据传输通道的数量区间，并将所述数量区间的最大值作为所述数据传输通道的同步数量，包括：
[0024]按照所述初始数量，通过比较多个数量区间的极值，定位所述数据传输通道的数量区间；
[0025]将所述数量区间的最大值作为所述数据传输通道的同步数量，并将所述最大值作为重启任务的数据传输通道的同步数量。
[0026]所述将所述数量区间的最大值作为所述数据传输通道的同步数量，包括：
[0027]所述数量区间的最大值与所述初始数量的数量差大于预设数量差阈值，则将所述数量区间相邻的低数量区间的最大值，作为所述数据传输通道的同步数量。
[0028]根据本专利技术实施例的第二方面，提供了一种同步数据的装置，包括：
[0029]探查模块，用于探查数据库源服务器与数据库目标服务器之间的网络剩余带宽；
[0030]设置模块，用于基于线性回归模型结合所述网络剩余带宽，设置数据传输通道的初始数量，所述线性回归模型是采用历史网络剩余带宽和数据传输通道的历史数量训练得到的；
[0031]数量模块，用于按照所述初始数量，定位所述数据传输通道的数量区间，并将所述数量区间的最大值作为所述数据传输通道的同步数量；
[0032]同步模块，用于采用所述同步数量的数据传输通道，启动所述数据库源服务器的数据同步至所述数据库目标服务器的任务，基于所述网络剩余带宽以同步数据。
[0033]根据本专利技术实施例的第三方面，提供了一种同步数据的电子设备，包括：
[0034]一个或多个处理器；
[0035]存储装置，用于存储一个或多个程序，
[0036]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的方法。
[0037]根据本专利技术实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述的方法。
[0038]上述专利技术中的一个实施例具有如下优点或有益效果：探查数据库源服务器与数据库目标服务器之间的网络剩余带宽；基于线性回归模型结合所述网络带宽，设置数据传输通道的初始数量，所述线性回归模型是采用历史网络带宽和数据传输通道的历史数量训练得到的；按照所述初始数量，定位所述数据传输通道的数量区间，并将所述数量区间的最大值作为所述数据传输通道的同步数量；采用所述同步数量的数据传输通道，启动所述数据
库源服务器的数据同步至所述数据库目标服务器的任务，以同步数据。由于同步数量是网络带宽确定的，与网络带宽相匹配，充分利用网络带宽以同步数量的数据传输通道同步数据，能够加快数据同步的速度。
[0039]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
[0040]附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：
[0041]图1是根据本专利技术实施例的同步数据的方法的主要流程示意图；
[0042]图2是根据本专利技术实施例的同步数据的示意图；
[0043]图3是根据本专利技术实施例的训练得到线性回归模型的流程示意图；
[0044]图4是根据本专利技术实施例的确定数据传输通道的同步数量的流程示意图；
[0045]图5是根据本专利技术实施例的同步数据的执行示意图；
[0046]图6是根据本专利技术实施例的同步数据的装置的主要结构示意图；
[0047]图7是本专利技术实施例可以应用于其中的示例性系统架构图；
[0048]图8是适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
[0049]以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0050]当前，启动管道任务进行数据抽取，由于有时候对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种同步数据的方法，其特征在于，包括：探查数据库源服务器与数据库目标服务器之间的网络剩余带宽；基于线性回归模型结合所述网络剩余带宽，设置数据传输通道的初始数量，所述线性回归模型是采用历史网络剩余带宽和数据传输通道的历史数量训练得到的；按照所述初始数量，定位所述数据传输通道的数量区间，并将所述数量区间的最大值作为所述数据传输通道的同步数量；采用所述同步数量的数据传输通道，启动所述数据库源服务器的数据同步至所述数据库目标服务器的任务，基于所述网络剩余带宽以同步数据。2.根据权利要求1所述同步数据的方法，其特征在于，所述探查数据库源服务器与数据库目标服务器之间的网络剩余带宽，包括：采用数据统计工具，探查数据库源服务器与数据库目标服务器之间的网络剩余带宽。3.根据权利要求1所述同步数据的方法，其特征在于，所述方法还包括：在采集库中建立采集表，所述采集表包括每个进程中网络剩余带宽和每个进程中数据传输通道的数量；将所述每个进程中的网络剩余带宽作为历史网络剩余带宽，以及将所述每个进程中数据传输通道的数量作为历史数量，并以所述历史网络剩余带宽和数据传输通道的历史数量训练得到所述线性回归模型；发布所述线性回归模型。4.根据权利要求3所述同步数据的方法，其特征在于，所述采集表还包括历史写入速度；所述以所述历史网络剩余带宽和数据传输通道的历史数量训练得到所述线性回归模型，包括：以所述历史网络剩余带宽、数据传输通道的历史数量和所述历史写入速度，训练得到所述线性回归模型；所述基于线性回归模型结合所述网络剩余带宽，设置数据传输通道的初始数量，包括：基于线性回归模型结合所述网络剩余带宽和当前写入速度，设置数据传输通道的初始数量。5.根据权利要求3所述同步数据的方法，其特征在于，所述历史网络剩余带宽和数据传输通道的历史数量训练得到所述线性回归模型，包括：采用机器学习框架，以所述历史网络剩余带...

【专利技术属性】
技术研发人员：朱峰，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：