分布式系统的目录读取方法、装置、服务器和存储介质制造方法及图纸

本发明专利技术公开了一种分布式系统的目录读取方法，应用于局部服务器，包括：接收客户端发送的目录读取请求；基于所述目录读取请求生成目录读取任务；基于预设规则将所述目录读取任务分成N个子任务；异步执行所述N个子任务，每个子任务执行后生成一组目录读取结果；基于N个子任务的执行进度，依次按结果生成的时间先后顺序将所述目录读取结果发送至客户端。本发明专利技术还提供了一种分布式系统的目录读取装置、服务器和存储介质。本发明专利技术通过将客户端的读取任务分成N个子任务异步执行，使读取时间缩短，同时根据子任务完成的时间顺序依次返回客户端，避免了部分目录读取失败即造成整体读取任务失败。

Directory reading method, device, server and storage medium of distributed system

【技术实现步骤摘要】
分布式系统的目录读取方法、装置、服务器和存储介质
本专利技术实施例涉及集群文件系统的元数据服务在处理文件接口中的超大目录的读取技术，尤其涉及一种分布式系统的目录读取方法、装置、服务器和存储介质。
技术介绍
集群文件系统按照对存储空间的访问方式，可分为共享存储型集群文件系统和分布式集群文件系统，前者是多台计算机识别到同样的存储空间，并相互协调共同管理其上的文件，又被称为共享文件系统；后者则是每台计算机各自提供自己的存储空间，并各自协调管理所有计算机节点中的文件。大规模集群文件系统无一例外都属于分布式集群文件系统。分布式集群文件系统可扩展性更强。现有技术中，超大目录执行列目录的操作时，无法有效的列出目录或列目录时间非常长的情况，容易导致超大目录加载时间超长，耗费大量时间，当超大目录加载失败时即无法读出目录，导致读取失败。本专利技术通过将客户端的读取任务分成N个子任务异步执行，使读取时间缩短，同时根据子任务完成的时间顺序依次返回客户端，避免了部分目录读取失败即造成整体读取任务失败。专利技术内容本专利技术本文档来自技高网...

【技术保护点】
1.一种分布式系统的目录读取方法，应用于局部服务器，其特征在于，包括：/n接收客户端发送的目录读取请求；/n基于所述目录读取请求生成目录读取任务；/n基于预设规则将所述目录读取任务分成N个子任务；/n异步执行所述N个子任务，每个子任务执行后生成一组目录读取结果；/n基于N个子任务的执行进度，依次按结果生成的时间先后顺序将所述目录读取结果发送至客户端。/n

【技术特征摘要】
1.一种分布式系统的目录读取方法，应用于局部服务器，其特征在于，包括：
接收客户端发送的目录读取请求；
基于所述目录读取请求生成目录读取任务；
基于预设规则将所述目录读取任务分成N个子任务；
异步执行所述N个子任务，每个子任务执行后生成一组目录读取结果；
基于N个子任务的执行进度，依次按结果生成的时间先后顺序将所述目录读取结果发送至客户端。


2.基于权利要求1所述的分布式系统的目录读取方法，其特征在于，所述基于预设规则将所述目录读取任务分成N个子任务，包括：
根据所述目录读取任务扫描待读取目录文件，获取待读取目录文件的目录文件数；
基于预设的每组文件个数，将所述目录文件分为N个分组，其中，分组数N＝目录文件数/预设的每组文件个数；
基于所述分组数N将所述目录读取任务分成N个子任务。


3.基于权利要求2所述的分布式系统的目录读取方法，其特征在于，所述目录读取请求中包括待读取目录文件数，所述预设的每组文件个数根据所述待读取目录文件数确定。


4.基于权利要求1所述的分布式系统的目录读取方法，其特征在于，在所述基于N个子任务的执行进度，依次按结果生成的时间先后顺序将所述目录读取结果发送至客户端之前，还包括：依次将生成的所述目录读取结果进行缓存。


5.基于权利要求4所述的分布式系统的目录读取方法，其特征在于，在所述接收客户端发送的目录读取请求之后，还包括：
判断是否有缓存的所述目录读取结果；
若有，则将缓存的所述目录读取结果发送至客户端；
若没有...

【专利技术属性】
技术研发人员：缪烨，刘江，
申请(专利权)人：柏科数据技术深圳股份有限公司，
类型：发明
国别省市：广东;44