一种基于分布式存储的分布式调度方法及系统技术方案

本发明专利技术实施例提供的一种基于分布式存储的分布式调度方法及系统，能够接收至少一个存储任务队列，在判断获知上述至少一个任务队列是否满足分布式存储规则之后，然后启动所述任务队列进行数据存储，能够减少存储数据过程中比对的目录的数量，减少数据存储的时间，从而提高了数据存储的效率，通过分布式存储规则对单位时间内的存储数量进行限制，能够有效控制存储数量，避免存储数量超出分布式服务器的处理能力，提高了分布式存储系统运行的稳定性。提高了分布式存储系统运行的稳定性。

【技术实现步骤摘要】
一种基于分布式存储的分布式调度方法及系统


[0001]本专利技术涉及数据存储
，具体涉及一种基于分布式存储的分布式调度方法及系统。

技术介绍

[0002]分布式存储是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。
[0003]目前，分布式存储架构运行的稳定性远未能达到传统构架的水平。为了保证分布式存储系统能有条不紊的运行，在分布存储系统的应用中常采用服务降级、服务限流等工具。现有技术中，分布式存储系统的限流方式主要是基于服务器中间件连接数、并发线程控制等方法实现，这些方法功能单一且灵活性差，无法有效地完成分布式服务器的限流，尤其是在面对突增的高并发、大量存储请求时。
[0004]因此，如何提出一种基于分布式存储的分布式调度方法，能够有效控制存储请求数量，提高分布式服务器运行的稳定性成为本领域需要解决的重要课题。

技术实现思路

[0005]针对现有技术中的问题，本专利技术实施例提供一种基于分布式存储的分布式调度方法及系统。
[0006]一方面，本专利技术提出一种基于分布式存储的分布式调度方法，包括：
[0007]根据所有待存储数据建立任务队列，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录；其中，所述叶子目录为空子目录或者文件；
[0008]判断所述任务队列是否满足分布式存储规则，其中，所述分布式存储规则是预设的；
[0009]若所述任务队列满足分布式存储规则，则启动所述任务队列完成数据存储。
[0010]优选地，所述判断所述任务队列是否满足分布式存储规则包括：
[0011]从所述任务队列中提取到至少一个任务；
[0012]若判断获知所述至少一个任务满足所述分布式存储规则，则确定所述任务队列满足分布式存储规则。
[0013]优选地，所述启动所述任务队列完成数据存储包括：
[0014]为所述任务队列中的每个所述任务开启一个进程并加进程锁。
[0015]优选地，所述分布式调度方法还包括：
[0016]若判断获知所述任务的进程异常和/或所述任务的进程对应的进程锁异常，则终止所述任务。
[0017]优选地，所述根据所有待存储数据建立任务队列，包括
[0018]获取所述待存储数据从上一次存储时间到当前时间之间数据发生变化的子目录；
[0019]根据所述待存储数据的第n级数据发生变化的子目录以及第1级子目录至第n
‑
1级子目录中的叶子目录，建立所述任务队列，所述任务队列中的每个任务对应一个第n级数据发生变化的子目录或者叶子目录。
[0020]另一方面，本专利技术提供一种基于分布式存储的分布式调度系统，包括：
[0021]建立单元，根据所有待存储数据建立任务队列，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录；其中，所述叶子目录为空子目录或者文件；
[0022]判断单元，判断所述任务队列是否满足分布式存储规则，其中，所述分布式存储规则是预设的；
[0023]存储单元，若所述任务队列满足分布式存储规则，则启动所述任务队列完成数据存储。
[0024]优选地，所述判断单元包括：
[0025]提取子单元，用于从所述任务队列中提取到至少一个任务；
[0026]判断子单元，若判断获知所述至少一个任务满足所述分布式存储规则，则确定所述任务队列满足分布式存储规则。
[0027]优选地，所述建立单元包括：
[0028]获取子单元：获取所述待存储数据从上一次存储时间到当前时间之间数据发生变化的子目录；
[0029]建立子单元：根据所述待存储数据的第n级数据发生变化的子目录以及第1级子目录至第n
‑
1级子目录中的叶子目录，建立所述任务队列，所述任务队列中的每个任务对应一个第n级数据发生变化的子目录或者叶子目录。
[0030]再一方面，本专利技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述分布式调度方法的步骤。
[0031]又一方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述分布式调度方法的步骤。
[0032]本专利技术实施例提供的基于分布式存储的分布式调度方法及系统，能够接收至少一个存储任务队列，在判断获知上述至少一个任务队列是否满足分布式存储规则之后，然后启动所述任务队列进行数据存储，能够减少存储数据过程中比对的目录的数量，减少数据存储的时间，从而提高了数据存储的效率，通过分布式存储规则对单位时间内的存储数量进行限制，能够有效控制存储数量，避免存储数量超出分布式服务器的处理能力，提高了分布式存储系统运行的稳定性。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0034]图1是本专利技术一实施例提供的基于分布式存储的分布式调度方法的流程示意图。
[0035]图2是本专利技术一实施例提供的基于分布式存储的分布式调度系统的结构示意图。
[0036]图3是本专利技术一实施例提供的电子设备的实体结构示意图。
具体实施方式
[0037]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
[0038]图1是本专利技术一实施例提供的基于分布式存储的分布式调度方法的流程示意图，如图1所示，本专利技术实施例提供的基于分布式存储的分布式调度方法，包括：
[0039]S101、根据所有待存储数据建立任务队列，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录；其中，所述叶子目录为空子目录或者文件；
[0040]具体地，在数据存储任务被触发之后，服务器会根据待存储数据的所有第n级子目录以及第1级子目录至第n
‑
1级子目录中的叶子目标建立任务队列，即为所有第n级子目录中的每个第n级子目录建立一个对应的任务，为第1级子目录至第n
‑
1级子目录中的每个叶子目录建立一个对应的任务，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录，所述叶子目录为空子目录或者文件。其中，n为大于1的正整数。可理解的是，数据存储任务可以被定期的触发，也可以人为下发控制命令触发，根据实际需要进行设置，本专利技术实施例不做限定。
[0041]S102、判断所述任务队列是否满本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式存储的分布式调度方法，其特征在于，包括：根据所有待存储数据建立任务队列，所述任务队列中的每个任务对应一个第n级子目录或者叶子目录；其中，所述叶子目录为空子目录或者文件；判断所述任务队列是否满足分布式存储规则，其中，所述分布式存储规则是预设的；若所述任务队列满足分布式存储规则，则启动所述任务队列完成数据存储。2.根据权利要求1所述的分布式调度方法，其特征在于，所述判断所述任务队列是否满足分布式存储规则包括：从所述任务队列中提取到至少一个任务；若判断获知所述至少一个任务满足所述分布式存储规则，则确定所述任务队列满足分布式存储规则。3.根据权利要求1所述的分布式调度方法，其特征在于，所述启动所述任务队列完成数据存储包括：为所述任务队列中的每个所述任务开启一个进程并加进程锁。4.根据权利要求3所述的分布式调度方法，其特征在于，所述分布式调度方法还包括：若判断获知所述任务的进程异常和/或所述任务的进程对应的进程锁异常，则终止所述任务。5.根据权利要求1所述的分布式调度方法，其特征在于，所述根据所有待存储数据建立任务队列，包括：获取所述待存储数据从上一次存储时间到当前时间之间数据发生变化的子目录；根据所述待存储数据的第n级数据发生变化的子目录以及第1级子目录至第n
‑
1级子目录中的叶子目录，建立所述任务队列，所述任务队列中的每个任务对应一个第n级数据发生变化的子目录或者叶子目录。6.一种基于分布式存储的分布式调度系统，其特...

【专利技术属性】
技术研发人员：褚纯，
申请(专利权)人：南京颐勤科技有限公司，
类型：发明
国别省市：