目录分布方法技术

本申请为数据存储领域，公开了一种目录分布方法

【技术实现步骤摘要】
目录分布方法、电子设备及计算机可读存储介质


[0001]本申请属于数据存储
，涉及一种目录分布方法
、
电子设备及计算机可读存储介质
。

技术介绍

[0002]目前，随着移动互联网应用和科学计算应用的高速发展，数据爆炸式增长，日益增长的数据量要求底层的分布式文件系统能够支撑大规模的文件数量和包含海量文件的大目录，因此，如何实现多元数据节点间高效的目录分布，是目前分布式文件系统设计亟需解决的问题
。
当前在单目录划分模式下，通过
GIGA+(Generalized Infinitesimal Gradient Ascent
，梯度上升算法
)
将目录划分为固定大小的目录分块，将各目录分块扩展到多元数据节点上，并通过跨节点位图存储各元数据节点中的目录块，从而实现在多元数据节点存储目录，且通过跨节点位图实现对目录块的查找，但由于是对固定大小的目录分块进行存储，进而难以权衡目录块的大小，若划分的目录块过小，当目录不断增大时目录块的数量会不断增多导致跨节点位图过大从而影响目录块的查询效率，若划分的目录块过大，则在目录块内查询数据时效率低下，且在目录块分块存储时由于目录块过大需迁移存储的数据也会增多也会影响目录的分裂存储效率
。
所以，在存储海量数据时，由于在分布式文件系统的各元数据节点上创建目录时，难以权衡存储的目录块大小导致的分布式文件系统中目录的创建不够高效的技术问题
。
[0003]上述内容仅用于辅助理解本申请技术方案，并不代表承认上述内容为现有技术
。

技术实现思路

[0004]本申请的主要目的在于提供一种目录分布方法
、
电子设备及计算机可读存储介质，旨在解决分布式文件系统中目录创建不够高效的技术问题
。
[0005]为实现上述目的，本申请提供一种目录分布方法，应用于分布式文件系统，所述目录分布方法包括：
[0006]响应于目录项创建指令，在所述分布式文件系统中启动目录创建流程；
[0007]其中，所述目录创建流程为：基于跳跃一致性哈希算法在所述分布式文件系统的虚拟集合的虚拟目录中插入待创建目录项，若所述虚拟目录的存储量大于预设存储阈值，则判断所述分布式文件系统中所述虚拟集合的集合数量是否小于预设集合阈值；
[0008]若是，则从所述虚拟集合中分裂出新目录集合，并为所述新目录集合分配元数据节点以在所述新目录集合中进行目录存储；
[0009]若否，则判断所述虚拟目录的目录数量是否小于预设目录阈值；
[0010]若所述目录数量小于所述预设目录阈值，则基于所述虚拟目录所在的所述虚拟集合的全局位图进行目录分裂，其中，所述目录分裂为对所述虚拟目录进行分裂；
[0011]若所述目录数量大于或等于所述预设目录阈值，则控制目录扩展和目录分裂交替进行，其中，所述目录扩展为扩展所述虚拟目录的存储量
。
[0012]为实现上述目的，本申请提供一种目录创建装置，所述目录创建装置包括：
[0013]响应模块，用于响应于目录项创建指令，在所述分布式文件系统中启动目录创建流程；
[0014]第一判断模块，用于其中，所述目录创建流程为：基于跳跃一致性哈希算法在所述分布式文件系统的虚拟集合的虚拟目录中插入待创建目录项，若所述虚拟目录的存储量大于预设存储阈值，则判断所述分布式文件系统中所述虚拟集合的集合数量是否小于预设集合阈值；
[0015]集合分裂模块，用于若是，则从所述虚拟集合中分裂出新目录集合，并为所述新目录集合分配元数据节点以在所述新目录集合中进行目录存储；
[0016]第二判断模块，用于若否，则判断所述虚拟目录的目录数量是否小于预设目录阈值；
[0017]目录分裂模块，用于若所述目录数量小于所述预设目录阈值，则基于所述虚拟目录所在的所述虚拟集合的全局位图进行目录分裂，其中，所述目录分裂为对所述虚拟目录进行分裂；
[0018]交替分裂模块，用于若所述目录数量大于或等于所述预设目录阈值，则控制目录扩展和目录分裂交替进行，其中，所述目录扩展为扩展所述虚拟目录的存储量
。
[0019]本申请还提供一种电子设备，所述电子设备包括：存储器
、
处理器以及存储在所述存储器上并可在所述处理器上运行的所述目录分布方法的程序，所述目录分布方法的程序被处理器执行时可实现如上述的目录分布方法的步骤
。
[0020]本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现目录分布方法的程序，所述目录分布方法的程序被处理器执行时实现如上述的目录分布方法的步骤
。
[0021]本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的目录分布方法的步骤
。
[0022]本申请提供了一种目录分布方法
、
电子设备及计算机可读存储介质，本申请通过在分布式文件系统中创建待创建目录项时，对分布式文件系统中虚拟集合的虚拟目录进行存储量大小的判断，进而虚拟目录的存储量大于预设存储阈值，且虚拟集合的集合数量小于预设集合阈值时对虚拟集合进行分裂，并在分布式文件系统中为分裂产生的新目录集合分配元数据节点，以将所述待创建目录项存储至新目录集合中，从而在当有新的目录项需要插入，虚拟目录的存储量达到预设存储阈值而分布式文件系统中的虚拟集合的数量未到达预设集合阈值时，可以分裂虚拟集合，并为分裂产生的新目录集合分配元数据节点以在新目录集合中进行目录存储，从而避免一直将待创建目录项插入到同一个虚拟集合中，实现可以在各虚拟集合中插入待创建目录项，从而实现在各元数据节点间插入待创建目录项，进而实现在各元数据节点上进行目录存储
。
[0023]进一步的，在虚拟目录的存储量达到预设存储阈值而虚拟集合数量大于或等于预设集合阈值，且虚拟目录的目录数量小于预设目录阈值时，可以基于虚拟集合的全局位图对虚拟集合中虚拟目录进行分裂，从而可以扩大虚拟集合的存储空间以存储大量的数据，进一步的，当虚拟集合中的目录数量大于或等于与预设目录阈值时，则控制目录扩展和目录分裂交替进行，实现虚拟目录的大小扩展和虚拟目录的数量增加交替进行，从而避免虚
拟集合中的虚拟目录的数量过多导致虚拟集合的全局位图过大，避免因全局位图过大导致的虚拟目录分裂效率低，进而导致目录创建效率低的问题，所以本申请通过对虚拟集合进行分裂以实现在各元数据节点存储数据，并在虚拟集合的集合数量达到预设集合阈值时对虚拟集合中的虚拟目录进行分裂进而在虚拟目录的目录数量达到预设目录阈值时控制目录扩展和目录分裂交替进行，从而实现分布式文件系统中虚拟目录数量和虚拟目录大小自适应增长，解决分布式文件系统中因难以权衡目录数量和目录大小导致的目录创建不够高效的技术问题
。
附图说明
[0024]此处的附图被并入说明书中并构成本说明书的一部分，表示出了符合本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种目录分布方法，其特征在于，应用于分布式文件系统，所述目录分布方法包括：响应于目录项创建指令，在所述分布式文件系统中启动目录创建流程；其中，所述目录创建流程为：基于跳跃一致性哈希算法在所述分布式文件系统的虚拟集合的虚拟目录中插入待创建目录项，若所述虚拟目录的存储量大于预设存储阈值，则判断所述分布式文件系统中所述虚拟集合的集合数量是否小于预设集合阈值；若是，则从所述虚拟集合中分裂出新目录集合，并为所述新目录集合分配元数据节点以在所述新目录集合中进行目录存储；若否，则判断所述虚拟目录的目录数量是否小于预设目录阈值；若所述目录数量小于所述预设目录阈值，则基于所述虚拟目录所在的所述虚拟集合的全局位图进行目录分裂，其中，所述目录分裂为对所述虚拟目录进行分裂；若所述目录数量大于或等于所述预设目录阈值，则控制目录扩展和目录分裂交替进行，其中，所述目录扩展为扩展所述虚拟目录的存储量
。2.
如权利要求1所述的目录分布方法，其特征在于，所述在所述分布式文件系统的虚拟集合的虚拟目录中创建待创建目录项的步骤包括：根据所述待创建目录项的创建名称以及所述集合数量，确定所述待创建目录项所在的虚拟目录；判断所述虚拟目录中是否存在与所述创建名称相同的子目录项；若是，则输出报错信息以提示用户所述创建名称重名；若否，则在所述待创建目录项所在的所述虚拟目录中插入所述待创建目录项
。3.
如权利要求2所述的目录分布方法，其特征在于，所述根据所述待创建目录项的创建名称以及所述集合数量，确定所述待创建目录项所在的虚拟目录的步骤包括：根据跳跃一致性哈希算法和所述集合数量，对所述创建名称进行跳跃一致性哈希处理得到待创建目录项的原哈希值，并将所述原哈希值作为所述待创建目录项的所在的虚拟集合的集合下标；根据所述集合下标
、
所述分布式文件系统中所述元数据节点的节点数量和预设循环算法，计算所述虚拟集合所在的元数据节点的节点下标；根据所述节点下标在所述元数据节点中查找与所述集合下标相匹配的所述虚拟集合，以在所述虚拟集合中基于预设梯度算法确定所述待创建目录项所在的所述虚拟目录
。4.
如权利要求1所述的目录分布方法，其特征在于，所述从所述虚拟集合中分裂出新目录集合，并为所述新目录集合分配元数据节点以在所述新目录集合中进行目录存储的步骤包括：确定所述待创建目录项所在的虚拟集合的集合下标以及所述待创建目录项所在的元数据节点所在的节点下标；根据所述集合下标
、
所述节点下标和所述分布式文件系统中所述元数据节点的节点数量，按照预设循环算法计算所述新目录集合的分裂下标以及所述新目录集合所在的新节点，其中，所述新节点为所述新目录集合所在的元数据节点；遍历所述分布式文件系统中的所有所述虚拟集合，得到所述分布式文件系统中所述虚拟集合的遍历数量以根据所述遍历数量和跳跃一致性哈希算法对所述虚拟集合中的子目录项进行哈希处理得到所述子目录项的新哈希值；
...

【专利技术属性】
技术研发人员：胡泽杰，罗嘉文，刘志勇，陈志广，卢宇彤，
申请(专利权)人：中山大学，
类型：发明
国别省市：