NAS分布式文件系统及数据处理方法技术方案

本发明专利技术实施例提供了NAS分布式文件系统及数据处理方法，应用于数据存储技术领域，该系统包括：NAS集群、目录数据库及文件数据库，NAS集群包括多个NAS节点，目录数据库及文件数据库分布式部署在每个NAS节点上；目录数据库：用于存储目录元数据；文件数据库：用于存储文件元数据；NAS节点：用于针对目录数据库及文件数据库执行指定的数据操作。在本发明专利技术实施例的NAS分布式文件系统中，目录数据库及文件数据库分布式部署在每个NAS节点上，方便NAS节点对目录数据库及文件数据库进行数据操作，减少跨NAS节点进行数据操作的情况，增强了系统的可用性。

NAS distributed file system and data processing method

【技术实现步骤摘要】
NAS分布式文件系统及数据处理方法
本专利技术涉及数据存储
，特别是涉及NAS分布式文件系统及数据处理方法。
技术介绍
传统NAS(NetworkAttachedStorage，网络附属存储)存储都是单机非集群的，每台NAS机头及其所管理的存储设备和空间是彼此独立的，使用的文件系统为本地文件系统，在文件的命名空间上也都是彼此孤立的。所以，传统的NAS设备在存储空间和性能上扩展都受到了极大限制。随着数据时代的来临，文件数据海量存储对传统存储模式造成了冲击，大容量、高性能集群NAS成为主要研究方向。现有NAS集群如图1所示，通过在客户端与NAS设备之间增加一层管理层，利用管理层对多个独立的NAS设备进行管理维护来说实现NAS集群的效果。但是采用上述方法，利用管理层实现对多个独立的NAS设备进行管理，在数据操作的过程中，可能会存在跨NAS设备(节点)进行数据查询和目录迁移等数据操作的情况，导致数据操作效率低。
技术实现思路
本专利技术实施例的目的在于提供一种NAS分布式文件系统及数据处理方法，以实现增加数据操作效率。具体技术方案如下：第一方面，本专利技术实施例提供了一种网络附属存储NAS分布式文件系统，所述系统包括：NAS集群、目录数据库及文件数据库，所述NAS集群包括多个NAS节点，所述目录数据库及所述文件数据库分布式部署在每个所述NAS节点上；所述目录数据库：用于存储目录元数据；所述文件数据库：用于存储文件元数据，其中，所述文件元数据包括存储文件的地址信息；所述NAS节点：用于针对所述目录数据库及所述文件数据库执行指定的数据操作。可选的，所述NAS节点包括NAS文件系统模块及数据管理模块；所述NAS文件系统模块：用于将接收到的数据操作请求转化为预设类型的目标操作请求，并向所述数据管理模块发送所述目标操作请求；所述数据管理模块：用于按照所述NAS文件系统模块的目标操作请求，针对所述目录数据库及所述文件数据库执行指定的数据操作。可选的，所述目录数据库包括主目录表及子目录表，所述文件数据库包括文件表，所述主目录表中包括主目录，针对每个主目录，该主目录中包括该主目录的子目录表的标识、该主目录的文件对应的文件数据库的标识及该主目录的文件对应的文件表的标识，所述子目录表包括子目录，针对每个子目录，该子目录中包括该子目录的文件对应的文件数据库的标识及该子目录对应的文件表的标识，所述文件表中包括文件的地址信息。可选的，所述NAS节点用于：获取请求目录路径，根据所述请求目录路径查找所述主目录表，确定所述请求目录路径指向的目标主目录的文件数据库标识、文件表标识及子目录标识，按照所述目标主目录的文件数据库标识及文件表标识确定目标文件表，在所述目标文件表中读取所述目标主目录下的文件的元数据，按照所述目标主目录的子目录标识确定目标子目录，获取所述目标子目录的元数据，返回所述目标主目录下的文件的元数据及所述目标子目录的元数据。可选的，所述NAS节点用于：获取目录创建信息，根据所述目录创建信息创建待插入主目录，按照所述目录创建信息在所述目录数据库中创建新的子目录表；确定所述待插入主目录对应的文件数据库及文件表，按照对应关系，更新所述待插入主目录及所述新的子目录表；将更新后的所述待插入主目录插入到所述主目录表中。可选的，所述NAS节点用于：获取目标文件的目标地址信息，按照所述目标地址信息查询所述主目录表、所述子目录表及所述文件表，确定包含所述目标地址信息的文件表，在包含所述目标地址信息的文件表中添加所述目标文件的元数据。可选的，所述NAS节点用于：获取待查询文件的标识，按照所述待查询文件的标识查询所述目录数据库，确定所述待查询文件对应的文件表；在所述待查询文件对应的文件表中读取所述待查询文件的地址信息，按照所述待查询文件的地址信息获取所述待查询文件。第二方面，本专利技术实施例提供了一种数据处理方法，应用于网络附属存储NAS分布式文件系统，所述NAS分布式文件系统包括：NAS集群、目录数据库及文件数据库，所述NAS集群包括多个NAS节点，所述目录数据库及所述文件数据库分布式部署在每个所述NAS节点上，所述方法包括：所述NAS节点获取数据操作请求；所述NAS节点按照所述数据操作请求，针对所述目录数据库及所述文件数据库执行指定的数据操作。可选的，所述NAS节点包括NAS文件系统模块及数据管理模块，所述NAS节点按照所述数据操作请求，针对所述目录数据库及所述文件数据库执行指定的数据操作，包括：所述NAS文件系统模块将接收到的数据操作请求转化为预设类型的目标操作请求，并向所述数据管理模块发送所述目标操作请求；所述数据管理模块按照所述NAS文件系统模块的目标操作请求，针对所述目录数据库及所述文件数据库执行指定的数据操作。可选的，所述目录数据库包括主目录表及子目录表，所述文件数据库包括文件表，所述主目录表中包括主目录，针对每个主目录，该主目录中包括该主目录的子目录表的标识、该主目录的文件对应的文件数据库的标识及该主目录的文件对应的文件表的标识，所述子目录表包括子目录，针对每个子目录，该子目录中包括该子目录的文件对应的文件数据库的标识及该子目录对应的文件表的标识，所述文件表中包括文件的地址信息。可选的，所述NAS节点按照所述数据操作请求，针对所述目录数据库及所述文件数据库执行指定的数据操作，包括：所述NAS节点获取请求目录路径，根据所述请求目录路径查找所述主目录表，确定所述请求目录路径指向的目标主目录的文件数据库标识、文件表标识及子目录标识，按照所述目标主目录的文件数据库标识及文件表标识确定目标文件表，在所述目标文件表中读取所述目标主目录下的文件的元数据，按照所述目标主目录的子目录标识确定目标子目录，获取所述目标子目录的元数据，返回所述目标主目录下的文件的元数据及所述目标子目录的元数据。可选的，所述NAS节点按照所述数据操作请求，针对所述目录数据库及所述文件数据库执行指定的数据操作，包括：所述NAS节点获取目录创建信息，根据所述目录创建信息创建待插入主目录，按照所述目录创建信息在所述目录数据库中创建新的子目录表；确定所述待插入主目录对应的文件数据库及文件表，按照对应关系，更新所述待插入主目录及所述新的子目录表；将更新后的所述待插入主目录插入到所述主目录表中。可选的，所述NAS节点按照所述数据操作请求，针对所述目录数据库及所述文件数据库执行指定的数据操作，包括：所述NAS节点获取目标文件的目标地址信息，按照所述目标地址信息查询所述主目录表、所述子目录表及所述文件表，确定包含所述目标地址信息的文件表，在包含所述目标地址信息的文件表中添加所述目标文件的元数据。可选的，所述NAS节点按照所述数据操作请求，针对所述目录数据库及所述文件数据库执行指定的数据操作，包括：所述NAS节点用于：获取待查询文件的标识，按照所述待查询文件的标识查询所述目录数据库，确定所述待查本文档来自技高网...

【技术保护点】
1.一种网络附属存储NAS分布式文件系统，其特征在于，所述系统包括：/nNAS集群、目录数据库及文件数据库，所述NAS集群包括多个NAS节点，所述目录数据库及所述文件数据库分布式部署在每个所述NAS节点上；/n所述目录数据库：用于存储目录元数据；/n所述文件数据库：用于存储文件元数据；/n所述NAS节点：用于针对所述目录数据库及所述文件数据库执行指定的数据操作。/n

【技术特征摘要】
1.一种网络附属存储NAS分布式文件系统，其特征在于，所述系统包括：
NAS集群、目录数据库及文件数据库，所述NAS集群包括多个NAS节点，所述目录数据库及所述文件数据库分布式部署在每个所述NAS节点上；
所述目录数据库：用于存储目录元数据；
所述文件数据库：用于存储文件元数据；
所述NAS节点：用于针对所述目录数据库及所述文件数据库执行指定的数据操作。


2.根据权利要求1所述的系统，其特征在于，所述NAS节点包括NAS文件系统模块及数据管理模块；
所述NAS文件系统模块：用于将接收到的数据操作请求转化为预设类型的目标操作请求，并向所述数据管理模块发送所述目标操作请求；
所述数据管理模块：用于按照所述NAS文件系统模块的目标操作请求，针对所述目录数据库及所述文件数据库执行指定的数据操作。


3.根据权利要求1所述的系统，其特征在于，所述目录数据库包括主目录表及子目录表，所述文件数据库包括文件表，所述主目录表中包括主目录，针对每个主目录，该主目录中包括该主目录的子目录表的标识、该主目录的文件对应的文件数据库的标识及该主目录的文件对应的文件表的标识，所述子目录表包括子目录，针对每个子目录，该子目录中包括该子目录的文件对应的文件数据库的标识及该子目录对应的文件表的标识，所述文件表中包括文件的地址信息。


4.根据权利要求3所述的系统，其特征在于，所述NAS节点用于：获取请求目录路径，根据所述请求目录路径查找所述主目录表，确定所述请求目录路径指向的目标主目录的文件数据库标识、文件表标识及子目录标识，按照所述目标主目录的文件数据库标识及文件表标识确定目标文件表，在所述目标文件表中读取所述目标主目录下的文件的元数据，按照所述目标主目录的子目录标识确定目标子目录，获取所述目标子目录的元数据，返回所述目标主目录下的文件的元数据及所述目标子目录的元数据。


5.根据权利要求3所述的系统，其特征在于，所述NAS节点用于：获取目录创建信息，根据所述目录创建信息创建待插入主目录，按照所述目录创建信息在所述目录数据库中创建新的子目录表；确定所述待插入主目录对应的文件数据库及文件表，按照对应关系，更新所述待插入主目录及所述新的子目录表；将更新后的所述待插入主目录插入到所述主目录表中。


6.根据权利要求3所述的系统，其特征在于，所述NAS节点用于：获取目标文件的目标地址信息，按照所述目标地址信息查询所述主目录表、所述子目录表及所述文件表，确定包含所述目标地址信息的文件表，在包含所述目标地址信息的文件表中添加所述目标文件的元数据。


7.根据权利要求3所述的系统，其特征在于，所述NAS节点用于：获取待查询文件的标识，按照所述待查询文件的标识查询所述目录数据库，确定所述待查询文件对应的文件表；在所述待查询文件对应的文件表中读取所述待查询文件的地址信息，按照所述待查询文件的地址信息获取所述待查询文件。


8.一种数据处理方法，其特征在于，应用于网络附属存储NAS分布式文件系统，所述NAS分布式文件系统包括：NAS集群、目录数据库及文件数据库，所述NAS集群包括多个NAS节点，所述目录数据库及所述文件数据库分布式部署在每个所述NAS节点上，所述...

【专利技术属性】
技术研发人员：黄健，刘志军，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33