并发遍历枚举方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种并发遍历枚举方法、装置、设备及存储介质，该方法包括在接收到对已枚举数据的枚举指令时，根据已枚举数据中的标记目录将已枚举数据转换为若干不同的枚举处理单元，其中，标记目录由基于未标记递归文件数目对已枚举数据中的目录进行标记所生成，未标记递归文件数目为各目录的递归子目录中尚未标记的目录所包括的文件数目；并发执行若干不同的枚举处理单元，以完成对已枚举数据的遍历枚举。本发明专利技术对已枚举数据中的目录进行标记，然后将标记获得的标记目录转换为枚举处理单元，相较于现有技术的枚举方式各目录均转换为并发处理单元，本发明专利技术上述方法大幅度减少了并发处理单元，降低了并发执行带来的额外计算机能力消耗。机能力消耗。机能力消耗。

【技术实现步骤摘要】
并发遍历枚举方法、装置、设备及存储介质


[0001]本专利技术涉及计算机系统
，尤其涉及一种并发遍历枚举方法、装置、设备及存储介质。

技术介绍

[0002]随着信息化信息的大量普及，在计算机系统中存储的数据，容量越来越大。其中，有很大部分的非结构化数据以文件的形式存储在文件系统中，文件系统为了管理这些文件，会将这些文件放在各种目录结构中，当处理这些数据（文件）时，例如，需要对所有数据进行备份，或对所有数据进行特征分析等，需要进行遍历枚举，才能获取到所有的数据（文件）。
[0003]目前，进行遍历枚举的常规方式是基于待处理目录队列的并发遍历枚举，在遍历枚举的过程中，所有目录都会进入待处理目录队列，然后并发处理。但是，由于并发处理时，最小单元为一个目录，各目录均转换为并发处理单元，那么线程（进程）进行数据同步与执行空间切换的消耗与目录数量呈线性关系，需要消耗大量的计算机计算能力。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种并发遍历枚举方法，其特征在于，所述并发遍历枚举方法包括：在接收到对已枚举数据的枚举指令时，根据所述已枚举数据中的标记目录将所述已枚举数据转换为若干不同的枚举处理单元，其中，所述标记目录由基于未标记递归文件数目对所述已枚举数据中的目录进行标记所生成，所述未标记递归文件数目为各目录的递归子目录中尚未标记的目录所包括的文件数目；并发执行所述若干不同的枚举处理单元，以完成对所述已枚举数据的遍历枚举。2.如权利要求1所述的并发遍历枚举方法，其特征在于，所述标记目录包括第一标记目录和第二标记目录，所述在接收到对已枚举数据的枚举指令时，根据所述已枚举数据中的标记目录将所述已枚举数据转换为若干不同的枚举处理单元的步骤，包括：在接收到对已枚举数据的枚举指令时，根据所述第一标记目录生成第一枚举处理单元；对所述第二标记目录的各子目录进行分组，以使分组获得的若干子目录中各分组的未标记递归文件数目处于预设处理范围；根据所述若干子目录分组生成若干第二枚举处理单元，其中，各第二枚举处理单元与各子目录分组分别对应；相应地，所述并发执行所述若干不同的枚举处理单元，以完成对所述已枚举数据的遍历枚举的步骤，包括：并发执行所述第一枚举处理单元以及所述若干第二枚举处理单元，以完成对所述已枚举数据的遍历枚举。3.如权利要求2所述的并发遍历枚举方法，其特征在于，所述根据所述若干子目录分组生成若干第二枚举处理单元的步骤之后，还包括：判断所述已枚举数据的根目录是否已被标记；若所述根目录未被标记，则根据所述根目录生成第三枚举处理单元；相应地，所述并发执行所述第一枚举处理单元以及所述若干第二枚举处理单元，以完成对所述已枚举数据的并发遍历枚举的步骤，包括：并发执行所述第一枚举处理单元、所述若干第二枚举处理单元以及所述第三枚举处理单元，以完成对所述已枚举数据的并发遍历枚举。4.如权利要求3所述的并发遍历枚举方法，其特征在于，所述并发执行所述第一枚举处理单元、所述若干第二枚举处理单元以及所述第三枚举处理单元的步骤之前，还包括：在所述第一标记目录中存在已标记的第一递归子目录时，将所述第一递归子目录添加到枚举忽略列表中，以使所述第一枚举处理单元被执行时不对所述第一递归子目录进行处理，所述枚举忽略列表为跳过枚举处理的列表；在所述各子目录分组中存在已标记的第二递归子目录时，将所述第二递归子目录添加到枚举忽略列表中，以使所述第二枚举处理单元被执行时不对所述第二递归子目录进行处理；在所述根目录中存在已标记的第三递归...

【专利技术属性】
技术研发人员：叶宇强，
申请(专利权)人：深圳市科力锐科技有限公司，
类型：发明
国别省市：