数据处理方法及分布式文件系统技术方案

本申请公开了一种数据处理方法及分布式文件系统，方法适用于分布式文件系统中的前端设备，包括：获取针对第一目标文件的第一操作请求，第一操作请求中包括：第一目标文件对应的路径信息；利用路径索引表，根据最长匹配原则，匹配出路径信息对应的目标目录；在路径索引表中，查询目标目录的分片状态是否为可分片，若是，则查询目标目录对应的分片类型；若分片类型为第一预设类型，则按照第一预设类型对应的第一分片算法，确定出执行第一操作请求对应的任务的第一目标元数据服务器。本申请各实施例提供的技术方案，可提高用户对目录或者文件进行访问的访问效率。

【技术实现步骤摘要】
数据处理方法及分布式文件系统
本申请属于存储
，尤其涉及一种数据处理方法及分布式文件系统。
技术介绍
现有技术中，根据存储内容的不同，通常认为文件系统中存在两种类型的数据：文件系统元数据，即包括目录/文件属性、扩展属性、权限、包括用于管理文件数据的部分；文件系统数据：即对用户真正有效的文件数据。其中，文件系统元数据通过父目录与子目录的层级关系，递归的构建出了一个文件系统目录树。传统的单机文件系统中，文件系统元数据与文件系统数据是共同持久化存放在同一个物理节点上的同一个或多个磁盘上的。而单个物理节点的存储空间通常不会太大(几十TB)。即使通过扩展接口的方式能将文件系统的元数据与文件系统数据保存到同一个物理节点上，出于对数据冗余、数据可靠性及吞吐性能等原因的考虑，都需要将元数据、数据保存到不同的物理节点上，并需要对元数据进行分片。现有技术中的目录分片方案，一般是对文件或目录的绝对路径名进行一致性哈希计算，将文件或目录散列到分布式系统中的不同的存储节点上，当用户对文件或目录进行访问时，分布式系统将根据用户的访问请求逐个访问存储节点以查找对应的目录，查找过程繁琐，用户访问文件或目录的效率较低。
技术实现思路
本申请实施例提供一种与现有技术不同的实现方案，以提高用户对元数据的访问效率。具体地，在本申请的一个实施例中，提供了一种数据处理方法，适用于分布式文件系统中的前端设备，包括：获取针对第一目标文件的第一操作请求，所述第一操作请求中包括：所述第一目标文件对应的路径信息；利用路径索引表，根据最长匹配原则，匹配出所述路径信息对应的目标目录；在所述路径索引表中，查询所述目标目录的分片状态是否为可分片，若是，则查询所述目标目录对应的分片类型；若所述分片类型为第一预设类型，则按照所述第一预设类型对应的第一分片算法，确定出执行所述第一操作请求对应的任务的第一目标元数据服务器。可选地，所述方法还包括：若所述分片类型为第二预设类型，则根据所述目标目录，与所述路径索引表确定出第二目标元数据服务器，将所述第一操作请求发送至所述第二目标元数据服务器，以使所述第二目标元数据服务器利用所述第一操作请求，确定出执行所述第一操作请求对应的任务的第三目标元数据服务器。可选地，按照所述第一预设类型对应的第一分片算法，确定执行所述第一操作请求对应的任务的第一目标元数据服务器包括：从所述路径信息中确定所述目标目录对应的下级目录；利用所述下级目录，通过所述第一分片算法计算得出第一计算结果；根据所述第一计算结果，与所述目标目录确定出所述第一目标文件对应的索引路径；从所述路径索引表中，查找所述索引路径对应的所述第一目标元数据服务器。可选地，所述路径信息中包括所述第一目标文件的文件名，当所述第一操作请求的类型为创建请求时，所述第二目标元数据服务器利用所述第一操作请求，确定出执行所述第一操作请求对应的任务的第三目标元数据服务器包括：根据所述文件名，通过所述第二预设类型对应的第二分片算法计算得出第二计算结果，根据所述第二计算结果确定所述第三目标元数据服务器。可选地，所述方法还包括：根据所述第一计算结果，对所述第一操作请求中的路径信息进行调整，得到第二操作请求；将所述第二操作请求发送至所述第一目标元数据服务器，以使所述第一目标元数据服务器基于所述第二操作请求，执行所述第一操作请求对应的任务。可选地，获取针对第一目标文件的第一操作请求之前，所述方法还包括：接收管理配置信息，所述管理配置信息中包括针对所述目标目录的所述分片类型；基于所述管理配置信息在所述路径索引表中设定所述分片类型。可选地，所述方法还包括：接收针对所述目标目录的虚拟目录设定指令；根据所述虚拟目录设定指令设定所述目标目录对应的多个虚拟目录信息；其中，所述多个虚拟目录信息中包括所述索引路径。可选地，当所述第一目标文件对应的目录为所述目标目录的最高级子目录，且所述第三目标元数据服务器已执行所述第一操作请求对应的任务后，所述方法还包括：获取配置设备发送的针对所述路径索引表的更新信息；利用所述更新信息对所述路径索引表进行更新；其中，所述更新信息由所述配置设备，根据所述第三目标元数据服务器在执行所述第一操作请求对应的任务后发送的反馈信息得到。可选地，所述第一目标元数据服务器中包括多个虚拟元数据服务器；从所述路径索引表中，查找所述索引路径对应的所述第一目标元数据服务器包括：根据所述路径索引表，与所述索引路径确定对应的目标虚拟元数据服务器；基于所述目标虚拟元数据服务器确定所述第一目标元数据服务器。可选地，所述第一预设类型包括哈希分片或按照时间信息分片；所述第二预设类型包括随机分片。可选地，所述第一操作请求的类型包括以下任一种：创建请求、删除请求、修改请求以及查询请求。在本申请的另一个实施例中，提供了一种数据处理方法，适用于分布式文件系统中的第一目标元数据服务器，包括：接收前端设备发送的第一操作请求，所述第一操作请求中包括：所述第一目标文件对应的路径信息；执行所述第一操作请求对应的任务；其中，所述第一操作请求由所述前端设备获取到所述第一操作请求后，利用路径索引表，根据最长匹配原则，匹配出所述路径信息对应的目标目录后，在路径索引表中查询到目标目录的分片状态为可分片，且查询到目标目录对应的分片类型为第一预设类型时，按照所述第一预设类型对应的第一分片算法，确定出执行所述第一操作请求对应的任务的第一目标元数据服务器后，转发至所述第一目标元数据服务器。在本申请的另一个实施例中，提供了一种数据处理装置，适用于分布式文件系统中的前端设备，包括：获取模块，用于获取针对第一目标文件的第一操作请求，所述第一操作请求中包括：所述第一目标文件对应的路径信息；匹配模块，用于利用路径索引表，根据最长匹配原则，匹配出所述路径信息对应的目标目录；查询模块，用于在所述路径索引表中，查询所述目标目录的分片状态是否为可分片，若是，则查询所述目标目录对应的分片类型；确定模块，用于若所述分片类型为第一预设类型，则按照所述第一预设类型对应的第一分片算法，确定出执行所述第一操作请求对应的任务的第一目标元数据服务器。可选地，上述确定模块还用于：若所述分片类型为第二预设类型，则根据所述目标目录，与所述路径索引表确定出第二目标元数据服务器，将所述第一操作请求发送至所述第二目标元数据服务器，以使所述第二目标元数据服务器利用所述第一操作请求，确定出执行所述第一操作请求对应的任务的第三目标元数据服务器。可选地，上述确定模块在用于按照所述第一预设类型对应的第一分片算法，确定执行所述第一操作请求对应的任务的第一目标元数据服务器时，具体用于：从所述路径信息中确定所述目标目录对应的下级目录；利用所述下级目录，通过所述第一分片算法计算得出第一计算结果；根据所述第一计算结果，与所述目标目录确定出所述第本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，适用于分布式文件系统中的前端设备，包括：/n获取针对第一目标文件的第一操作请求，所述第一操作请求中包括：所述第一目标文件对应的路径信息；/n利用路径索引表，根据最长匹配原则，匹配出所述路径信息对应的目标目录；/n在所述路径索引表中，查询所述目标目录的分片状态是否为可分片，若是，则查询所述目标目录对应的分片类型；/n若所述分片类型为第一预设类型，则按照所述第一预设类型对应的第一分片算法，确定出执行所述第一操作请求对应的任务的第一目标元数据服务器。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，适用于分布式文件系统中的前端设备，包括：
获取针对第一目标文件的第一操作请求，所述第一操作请求中包括：所述第一目标文件对应的路径信息；
利用路径索引表，根据最长匹配原则，匹配出所述路径信息对应的目标目录；
在所述路径索引表中，查询所述目标目录的分片状态是否为可分片，若是，则查询所述目标目录对应的分片类型；
若所述分片类型为第一预设类型，则按照所述第一预设类型对应的第一分片算法，确定出执行所述第一操作请求对应的任务的第一目标元数据服务器。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述分片类型为第二预设类型，则根据所述目标目录，与所述路径索引表确定出第二目标元数据服务器，将所述第一操作请求发送至所述第二目标元数据服务器，以使所述第二目标元数据服务器利用所述第一操作请求，确定出执行所述第一操作请求对应的任务的第三目标元数据服务器。


3.根据权利要求1所述的方法，其特征在于，按照所述第一预设类型对应的第一分片算法，确定执行所述第一操作请求对应的任务的第一目标元数据服务器包括：
从所述路径信息中确定所述目标目录对应的下级目录；
利用所述下级目录，通过所述第一分片算法计算得出第一计算结果；
根据所述第一计算结果，与所述目标目录确定出所述第一目标文件对应的索引路径；
从所述路径索引表中，查找所述索引路径对应的所述第一目标元数据服务器。


4.根据权利要求2所述的方法，其特征在于，所述路径信息中包括所述第一目标文件的文件名，当所述第一操作请求的类型为创建请求时，所述第二目标元数据服务器利用所述第一操作请求，确定出执行所述第一操作请求对应的任务的第三目标元数据服务器包括：
根据所述文件名，通过所述第二预设类型对应的第二分片算法计算得出第二计算结果，根据所述第二计算结果确定所述第三目标元数据服务器。


5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述第一计算结果，对所述第一操作请求中的路径信息进行调整，得到第二操作请求；
将所述第二操作请求发送至所述第一目标元数据服务器，以使所述第一目标元数据服务器基于所述第二操作请求，执行所述第一操作请求对应的任务。


6.根据权利要求1所述的方法，其特征在于，获取针对第一目标文件的第一操作请求之前，所述方法还包括：
接收管理配置信息，所述管理配置信息中包括针对所述目标目录的所述分片类型；
基于所述管理配置信息在所述路径索引表中设定所述分片类型。


7.根据权利要求3所述的方法，其特征在于，所述方法还包括：
接收针对所述目标目录的虚拟目录设定指令；
根据所述虚拟目录设定指令设定所述目标目录对应的多个虚拟目录信息；
其中，所述多个虚拟目录信息中包括所述索引路径。


8.根据权利要求2所述的方法，其特征在于，当所述第一目标文件对应的目录为所述目标目录的最高级子目录，且所述第三目标元数据服务器已执行所述第一操作请求对应的任务后，所述方法还包括：
获取配置设备发送的针对所述路径索引表的更新信息；
利用所述更新信息对所述路径索引表进行更新；
其中，所述更新信息由所述配置设备，根据所述第三目标元数据服务器在执行所述第一操作请求对应的任务后发送的反馈信息得到。


9.根据权利要求3所述的方法，其特征在于，所述第一目标元数据服务器中包括多个虚拟元数据服务器；
从所述路径索引表中，查找所...

【专利技术属性】
技术研发人员：任岚晖，
申请(专利权)人：北京星网锐捷网络技术有限公司，
类型：发明
国别省市：北京;11