数据同步的流量调整方法、装置、设备及存储介质制造方法及图纸

本公开是关于一种数据同步的流量调整方法、装置、设备及存储介质，该方法适用于分布式数据库，所述分布式数据库包括主存储集群和备份存储集群，所述主存储集群用于从所述分布式数据库的存储日志中获取数据，并将所述数据同步给所述备份存储集群进行备份，所述方法包括：监测所述主存储集群和所述备份存储集群之间的规模比例；当所述规模比例发生变化时，基于预设的主存储集群和备份存储集群之间的规模比例与流量上限值之间的对应关系，调整所述数据从所述主存储集群同步到所述备份存储集群所用流量的上限值，以使所述上限值与变化后的规模比例相匹配。本公开提供的技术方案能够在分布式数据库中实现数据同步的流量自动调整，减少人工操作。

Flow Adjustment Method, Device, Equipment and Storage Media for Data Synchronization

【技术实现步骤摘要】
数据同步的流量调整方法、装置、设备及存储介质
本公开涉及分布式存储
，尤其涉及一种数据同步的流量调整方法、装置、设备及存储介质。
技术介绍
分布式数据库经常会有多集群同步数据的需求。通常是主集群异步的从日志中读取数据写到备集群中。但是通常主集群和备集群的规模不一致，或者服务的数据不完全一样，完全根据主集群的流量来同步到备集群可能导致备集群压力过大。目前的解决方法通常对同步做限流。但需要人为定制限流的级别，备集群的规模扩大或减小也需要人为的调整同步的限流，操作不便。
技术实现思路
本公开提供一种数据同步的流量调整方法、装置、设备及存储介质，用以在分布式数据库中实现数据同步的流量自动调整，减少人工操作。根据本公开实施例的第一方面，提供一种数据同步的流量调整方法，该方法适用于分布式数据库，所述分布式数据库包括主存储集群和备份存储集群，所述主存储集群用于从所述分布式数据库的存储日志中获取数据，并将所述数据同步给所述备份存储集群进行备份，该方法包括：监测所述主存储集群和所述备份存储集群之间的规模比例；当所述规模比例发生变化时，基于预设的主存储集群和备份存储集群之间的规模比例与流量上限值之间的对应关系，调整所述数据从所述主存储集群同步到所述备份存储集群所用流量的上限值，以使所述上限值与变化后的规模比例相匹配。可选的，所述监测所述主存储集群和所述备份存储集群之间的规模比例，包括：监测所述备份存储集群的规模是否扩大或缩小。可选的，所述监测所述主存储集群和所述备份存储集群之间的规模比例，包括：监测所述备份存储集群中剩余存储空间大于第一预设阈值的存储介质的数量。可选的，所述监测所述主存储集群和所述备份存储集群之间的规模比例，包括：监测所述备份存储集群中处理资源占用率低于第二预设阈值的存储介质的数量。根据本公开实施例的第二方面，提供一种数据同步的流量调整装置，该装置适用于分布式数据库，所述分布式数据库还包括主存储集群和备份存储集群，所述主存储集群被配置为从所述分布式数据库的存储日志中获取数据，并将所述数据同步给所述备份存储集群进行备份，该装置包括：集群规模监测模块，被配置为监测所述主存储集群和所述备份存储集群之间的规模比例。流量调整模块，被配置为当所述规模比例发生变化时，基于预设的主存储集群和备份存储集群之间的规模比例与流量上限值之间的对应关系，调整所述数据从所述主存储集群同步到所述备份存储集群所用流量的上限值，以使所述上限值与变化后的规模比例相匹配。可选的，所述集群规模监测模块，包括：第一监测子模块，被配置为监测所述备份存储集群的规模是否扩大或缩小。可选的，所述集群规模监测模块，包括：第二监测子模块，被配置为监测所述备份存储集群中剩余存储空间大于第一预设阈值的存储介质的数量。可选的，所述集群规模监测模块，包括：第三监测子模块，被配置为监测所述备份存储集群中处理资源占用率低于第二预设阈值的存储介质的数量。根据本公开实施例的第三方面，提供一种计算机设备，包括：处理器；被配置为存储处理器可执行指令的存储器；其中，所述处理器被配置为：监测所述主存储集群和所述备份存储集群之间的规模比例；当所述规模比例发生变化时，基于预设的主存储集群和备份存储集群之间的规模比例与流量上限值之间的对应关系，调整所述数据从所述主存储集群同步到所述备份存储集群所用流量的上限值，以使所述上限值与变化后的规模比例相匹配。根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如下方法：监测所述主存储集群和所述备份存储集群之间的规模比例；当所述规模比例发生变化时，基于预设的主存储集群和备份存储集群之间的规模比例与流量上限值之间的对应关系，调整所述数据从所述主存储集群同步到所述备份存储集群所用流量的上限值，以使所述上限值与变化后的规模比例相匹配。本公开的实施例提供的技术方案可以包括以下有益效果：由以上各方面可见，本公开实施例通过监测主存储集群和备份存储集群之间的规模比例，并在监测到主存储集群和备份存储集群之间的规模比例发生变化时，基于预设的主存储集群和备份存储集群之间的规模比例与流量上限值之间的对应关系，调整数据从主存储集群同步到备份存储集群所用流量的上限值，以使所述上限值与变化后的规模比例相匹配。本公开实施例能够基于主存储集群和备份存储集群之间的规模比例，自动调整数据同步的流量上限，同时，又能够避免因备份存储集群与主存储集群规模不一致而在数据同步时对备份存储集群造成过大压力。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。图1是根据一示例性实施例示出的一种分布式数据库的数据同步场景示意图；图2是根据一示例性实施例示出的一种数据同步的流量调整方法实施例一的流程图；图3是根据一示例性实施例示出的一种数据同步的流量调整方法实施例二的流程图；图4是根据一示例性实施例示出的一种数据同步的流量调整方法实施例三的流程图；图5是根据一示例性实施例示出的一种数据同步的流量调整装置实施例一的框图；图6是根据一示例性实施例示出的一种终端设备的框图。通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。图1是根据一示例性实施例示出的一种分布式数据库的数据同步场景示意图，在图1提供的分布式数据库中包括日志10、主存储集群11和备份存储集群12，其中主存储集群11中包括多个主存储介质，备份存储集群12中包括多个备份存储介质，主存储集群11中包括的主存储介质个数与备份存储集群12中包括备份存储介质的个数可以不同。主存储集群11用于从日志10中获取数据并将该数据同步到备份存储集群12。其中，在现有技术中主存储介质11与备份存储集群12之间传输的流量上限，是通过人工的方式进行配置的，但是当备份存储集群12的规模扩大或缩小时，需要人工对上述流量上限进行重新配置。人工配置的方式效率低，人工成本高。针对现有技术存在的上述问题，本公开实施例提供了一种数据同步的流量调整方案，该方案，通过对主存储集群和备份存储集群之间的规模比例进行监测，当监测到主存储集群和备份存储集群之间的规模比例发生变化时，基于预设的主存储集群和备份存储集群之间的规模比例与流量上限值之间的对应关系，调整数据从主存储集群同步到备份存储集群所用流量的上限值，以使所述上限值与变化后的规模比例相匹配。本公开实施例能够基于主存储集群和备份存储集群之间的规模比例，自动调整数据同步的流量上限，相较于现有人工的调整方式，具有调整效率高，节约人工成本的有益效果图2是根据一示例性实施例示出的一本文档来自技高网...

【技术保护点】
1.一种数据同步的流量调整方法，应用于分布式数据库，所述分布式数据库包括：主存储集群和备份存储集群，所述主存储集群用于从所述分布式数据库的存储日志中获取数据，并将所述数据同步给所述备份存储集群进行备份，其特征在于，所述方法包括：监测所述主存储集群和所述备份存储集群之间的规模比例；当所述规模比例发生变化时，基于预设的主存储集群和备份存储集群之间的规模比例与流量上限值之间的对应关系，调整所述数据从所述主存储集群同步到所述备份存储集群所用流量的上限值，以使所述上限值与变化后的规模比例相匹配。

【技术特征摘要】
1.一种数据同步的流量调整方法，应用于分布式数据库，所述分布式数据库包括：主存储集群和备份存储集群，所述主存储集群用于从所述分布式数据库的存储日志中获取数据，并将所述数据同步给所述备份存储集群进行备份，其特征在于，所述方法包括：监测所述主存储集群和所述备份存储集群之间的规模比例；当所述规模比例发生变化时，基于预设的主存储集群和备份存储集群之间的规模比例与流量上限值之间的对应关系，调整所述数据从所述主存储集群同步到所述备份存储集群所用流量的上限值，以使所述上限值与变化后的规模比例相匹配。2.根据权利要求1所述的方法，其特征在于，所述监测所述主存储集群和所述备份存储集群之间的规模比例，包括：监测所述备份存储集群的规模是否扩大或缩小。3.根据权利要求1所述的方法，其特征在于，所述监测所述主存储集群和所述备份存储集群之间的规模比例，包括：监测所述备份存储集群中剩余存储空间大于第一预设阈值的存储介质的数量。4.根据权利要求1所述的方法，其特征在于，所述监测所述主存储集群和所述备份存储集群之间的规模比例，包括：监测所述备份存储集群中处理资源占用率低于第二预设阈值的存储介质的数量。5.一种数据同步的流量调整装置，该装置适用于分布式数据库，所述分布式数据库还包括：主存储集群和备份存储集群，所述主存储集群被配置为从所述分布式数据库的存储日志中获取数据，并将所述数据同步给所述备份存储集群进行备份，其特征在于，所述装置包括：集群规模监测模块，被配置为监测所述主存储集群和所述备份存储集群之间的规模比例；流量调整模块，被配置为当所述规模比例发生变化时，基于预设的主存储...

【专利技术属性】
技术研发人员：周应超，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京,11