数据同步的方法、装置、计算机设备及计算机存储介质制造方法及图纸

本申请公开了一种数据同步的方法、装置、计算机设备及计算机存储介质，涉及云存储技术领域，可以合理安排数据同步调度任务的时间片，提高数据同步效率。所述方法包括：获取业务方配置的待同步数据的初始调度参数；根据所述待同步数据的初始调度参数将所述待同步数据分配到各个同步节点上进行数据同步；在根据所述初始调度参数进行数据同步的过程中，监控所述各个同步节点上待同步数据对应的同步状态参数；根据所述各个同步节点上待同步数据对应的同步状态参数，实时调整所述待同步数据的初始调度参数，并根据调整后的调度参数进行数据同步。

Method, Device, Computer Equipment and Computer Storage Media for Data Synchronization

【技术实现步骤摘要】
数据同步的方法、装置、计算机设备及计算机存储介质
本专利技术涉及云存储
，尤其是涉及数据同步的方法、装置、计算机设备及计算机存储介质。
技术介绍
计算机网络的飞速发展和信息化的推进使得数据成为很多企业的宝贵资源，使得数据采集、存储和处理任务与日俱增，基于网络的数据共享已经成为人们获取数据资源不可或缺的方式。为了更好地实现数据共享需要对共享数据进行同步，数据同步对企业来说至关重要，比如企业的服务器端用于管理分属于企业不同部门的业务端，并且在服务器端存储有管理数据，那么为了方便服务器端对各个业务端进行管理，同时提高业务端的数据处理效率，需要保证服务器端与各个业务端之间的数据同步。在数据同步过程中，为了解决业务场景维度、机器性能等限制维度的问题，往往需要用业务人员筛选出需要同步的数据表，并人为设置需要同步的数据表的数据同步任务，进而根据数据同步任务完成业务数据的同步。然而，人为设置数据同步任务的方式主观差异性较高，容易在数据同步的过程中出现调度时间片的不平衡，任务调度的并发多线程没有合理利用，导致数据同步的效率低下。
技术实现思路
有鉴于此，本专利技术提供了一种数据同步的方法、装置、计算机设备及计算机存储介质，主要目的在于解决目前相关技术中由于数据同步任务调度的时间片不平衡导致的数据同步效率低下的问题。依据本专利技术一个方面，提供了一种数据同步的方法，该方法包括：获取业务方配置的待同步数据的初始调度参数；根据所述待同步数据的初始调度参数将所述待同步数据分配到各个同步节点上进行数据同步；在根据所述初始调度参数进行数据同步的过程中，监控所述各个同步节点上待同步数据对应的同步状态参数；根据所述各个同步节点上待同步数据对应的同步状态参数，实时调整所述待同步数据的初始调度参数，并根据调整后的调度参数进行数据同步。进一步地，在所述获取业务方配置的待同步数据的初始调度参数之前，所述方法还包括：根据待同步数据中数据量大小预先对待同步数据中每个数据表进行数据量级别分类，确定所述待同步数据中每个数据表对应的数据量级别；所述获取业务方配置的待同步数据的初始调度参数包括：根据所述待同步数据中每个数据表对应的数据量级别，获取业务方配置的待同步数据的初始调度参数。进一步地，所述初始调度参数包括同步时间参数、同步调度时间级别参数以及同步节点权重参数，所述根据所述待同步数据中每个数据表对应的数据量级别，获取业务方配置的待同步数据的初始调度参数包括：根据所述待同步数据中每个数据表对应的数据量级别预估待同步数据完成同步任务所需要的时间，获取业务方配置的待同步数据的同步时间参数；根据所述待同步数据中每个数据表对应的数据量级别预估待同步数据在同步任务中调度的单位时间，获取业务方配置的待同步数据的同步调度时间级别参数；根据所述待同步数据中每个数据表对应的数据量级别预估待同步数据在同步任务中需要开启同步节点数量，获取业务方配置的待同步数据的同步节点权重参数。进一步地，所述根据所述各个同步节点上待同步数据对应的同步状态参数，实时调整所述待同步数据的初始调度参数，并根据调整后的调度参数进行数据同步包括：将所述各个节点上待同步数据在同步任务中调度的单位时间内完成同步任务的百分比与第一预设限值进行比对，得到第一比对结果；根据所述第一比对结果，调整所述待同步数据的同步调度时间级别参数。进一步地，所述第一预设限值包括第一预设上限值以及第一预设下限值，所述根据所述第一比对结果，调整所述待同步数据的同步调度时间级别参数包括：如果所述各个节点上待同步数据在同步任务中调度的单位时间内完成同步任务的百分比小于第一预设下限值，则调高所述待同步数据的同步调度时间级别参数；如果所述各个节点上待同步数据在同步任务中调度的单位时间内完成同步任务的百分比大于第一预设上限值，则调低所述待同步数据的同步调度时间级别参数。进一步地，所述根据所述各个同步节点上待同步数据对应的同步状态参数，实时调整所述待同步数据的初始调度参数，并根据调整后的调度参数进行数据同步包括：将所述各个节点上待同步数据在同步任务中处理器使用率百分比与第二预设限值进行比对，得到第二比对结果；根据所述第二比对结果，调整所述待同步数据的同步节点权重参数。进一步地，所述第二预设限值包括第二预设上限值以及第二预设下限值，所述根据所述第二比对结果，调整所述待同步数据的同步节点权重参数包括：如果所述各个节点上待同步数据在同步任务中处理器使用率百分比小于第二预设下限值，则调低所述待同步数据的同步节点权重参数；如果所述各个节点上待同步数据在同步任务中处理器使用率百分比大于第二预设上限值，则调高所述待同步数据的同步节点权重参数。进一步地，所述根据所述待同步数据的初始调度参数将所述待同步数据分配到各个同步节点上进行数据同步包括：根据所述待同步数据的初始调度参数将同步节点划分为至少一个部署单元中，每个部署单元中包含至少一个同步节点，并且每个部署单元中的同步节点用于处理相同初始调度参数的待同步数据；将相同初始调度参数的待同步数据分配到一个部署单元中的同步节点上进行数据同步。依据本专利技术另一个方面，提供了一种数据同步的装置，所述装置包括：获取单元，用于获取业务方配置的待同步数据的初始调度参数；分配单元，用于根据所述待同步数据的初始调度参数将所述待同步数据分配到各个同步节点上进行数据同步；监控单元，用于在根据所述初始调度参数进行数据同步的过程中，监控所述各个同步节点上待同步数据对应的同步状态参数；调整单元，用于根据所述各个同步节点上待同步数据对应的同步状态参数，实时调整所述待同步数据的初始调度参数，并根据调整后的调度参数进行数据同步。进一步地，所述装置还包括：分类单元，用于在所述获取业务方配置的待同步数据的初始调度参数之前，根据待同步数据中数据量大小预先对待同步数据中每个数据表进行数据量级别分类，确定所述待同步数据中每个数据表对应的数据量级别；所述获取单元，具体用于根据所述待同步数据中每个数据表对应的数据量级别，获取业务方配置的待同步数据的初始调度参数。进一步地，所述初始调度参数包括同步时间参数、同步调度时间级别参数以及同步节点权重参数，所述获取单元包括：第一获取模块，用于根据所述待同步数据中每个数据表对应的数据量级别预估待同步数据完成同步任务所需要的时间，获取业务方配置的待同步数据的同步时间参数；第二获取模块，用于根据所述待同步数据中每个数据表对应的数据量级别预估待同步数据在同步任务中调度的单位时间，获取业务方配置的待同步数据的同步调度时间级别参数；第三获取模块，用于根据所述待同步数据中每个数据表对应的数据量级别预估待同步数据在同步任务中需要开启同步节点数量，获取业务方配置的待同步数据的同步节点权重参数。进一步地，所述调整单元包括：第一比对模块，用于将所述各个节点上待同步数据在同步任务中调度的单位时间内完成同步任务的百分比与第一预设限值进行比对，得到第一比对结果；第一调整模块，用于根据所述第一比对结果，调整所述待同步数据的同步调度时间级别参数。进一步地，所述第一预设限值包括第一预设上限值以及第一预设下限值，所述第一调整模块，具体用于如果所述各个节点上待同步数据在同步任务中调度的单位时间内完成同步任务的百分比小于第一预设下限值，则调高所述待同步数本文档来自技高网...

【技术保护点】
1.一种数据同步的方法，其特征在于，所述方法包括：获取业务方配置的待同步数据的初始调度参数；根据所述待同步数据的初始调度参数将所述待同步数据分配到各个同步节点上进行数据同步；在根据所述初始调度参数进行数据同步的过程中，监控所述各个同步节点上待同步数据对应的同步状态参数；根据所述各个同步节点上待同步数据对应的同步状态参数，实时调整所述待同步数据的初始调度参数，并根据调整后的调度参数进行数据同步。

【技术特征摘要】
1.一种数据同步的方法，其特征在于，所述方法包括：获取业务方配置的待同步数据的初始调度参数；根据所述待同步数据的初始调度参数将所述待同步数据分配到各个同步节点上进行数据同步；在根据所述初始调度参数进行数据同步的过程中，监控所述各个同步节点上待同步数据对应的同步状态参数；根据所述各个同步节点上待同步数据对应的同步状态参数，实时调整所述待同步数据的初始调度参数，并根据调整后的调度参数进行数据同步。2.根据权利要求1所述的方法，其特征在于，在所述获取业务方配置的待同步数据的初始调度参数之前，所述方法还包括：根据待同步数据中数据量大小预先对待同步数据中每个数据表进行数据量级别分类，确定所述待同步数据中每个数据表对应的数据量级别；所述获取业务方配置的待同步数据的初始调度参数包括：根据所述待同步数据中每个数据表对应的数据量级别，获取业务方配置的待同步数据的初始调度参数。3.根据权利要求2所述的方法，其特征在于，所述初始调度参数包括同步时间参数、同步调度时间级别参数以及同步节点权重参数，所述根据所述待同步数据中每个数据表对应的数据量级别，获取业务方配置的待同步数据的初始调度参数包括：根据所述待同步数据中每个数据表对应的数据量级别预估待同步数据完成同步任务所需要的时间，获取业务方配置的待同步数据的同步时间参数；根据所述待同步数据中每个数据表对应的数据量级别预估待同步数据在同步任务中调度的单位时间，获取业务方配置的待同步数据的同步调度时间级别参数；根据所述待同步数据中每个数据表对应的数据量级别预估待同步数据在同步任务中需要开启同步节点数量，获取业务方配置的待同步数据的同步节点权重参数。4.根据权利要求3所述的方法，其特征在于，所述根据所述各个同步节点上待同步数据对应的同步状态参数，实时调整所述待同步数据的初始调度参数，并根据调整后的调度参数进行数据同步包括：将所述各个节点上待同步数据在同步任务中调度的单位时间内完成同步任务的百分比与第一预设限值进行比对，得到第一比对结果；根据所述第一比对结果，调整所述待同步数据的同步调度时间级别参数。5.根据权利要求4所述的方法，其特征在于，所述第一预设限值包括第一预设上限值以及第一预...

【专利技术属性】
技术研发人员：张辉，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44