数据访问方法、数据存储方法、装置和文件存储系统制造方法及图纸

本发明专利技术提供了一种数据访问方法、数据存储方法、装置和文件存储系统；其中，该数据访问方法包括：基于文件存储系统中，文件目录管理分片与数据卷的对应关系，确定待访问文件所属的第一目标数据卷所属的文件目录管理分片；文件存储系统设置有多个文件目录管理分片；每个文件目录管理分片管理指定数据卷中文件的元数据；基于从第一目标数据卷所属的文件目录管理分片中获取的待访问文件的元数据，访问待访问文件。该方式中，文件存储系统中设置有多个文件目录管理分片，当文件量较大时，文件目标管理分片可以水平扩容，避免了单个文件目录管理节点中存储文件的元数据的数量有限的问题，提高了系统存储文件的数量和总数据量。

【技术实现步骤摘要】
数据访问方法、数据存储方法、装置和文件存储系统
本专利技术涉及文件存储
，尤其是涉及一种数据访问方法、数据存储方法、装置和文件存储系统。
技术介绍
HDFS(HadoopDistributedFileSystem，Hadoop分布式文件系统)是目前比较典型的、使用比较广泛的开源分布式文件存储系统。在HDFS系统中，所有文件的元数据存储在NameNode节点，该NameNode节点的内存空间有限，因而该NameNode节点中可以存储的文件的元数据的数量有限，限制了系统整体可以存储的文件的总数量和总数据量。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种数据访问方法、数据存储方法、装置和文件存储系统，以提高系统存储文件的数量和总数据量。第一方面，本专利技术实施例提供了一种数据访问方法，方法包括：基于数据访问请求，确定待访问文件所属的第一目标数据卷；基于文件存储系统中，文件目录管理分片与数据卷的对应关系，确定第一目标数据卷所属的文件目录管理分片；其中，文件存储系统中设置有多个文件目录管理分片；每个文件目录管理分片用于管理指定数据卷中文件的元数据；从第一目标数据卷所属的文件目录管理分片中，获取待访问文件的元数据；基于待访问文件的元数据，访问待访问文件。进一步的，每个文件目录管理分片包括多个文件目录管理节点；多个文件目录管理节点包括一个主用文件目录管理节点和至少一个备用文件目录管理节点；其中，主用文件目录管理节点用于提供待访问文件的元数据；备用文件目录管理节点与主用文件目录管理节点的数据同步。进一步的，多个文件目录管理节点中的主用文件目录管理节点，基于预设的raft协议确定；备用文件目录管理节点的数据，通过预设的raft协议与主用文件目录管理节点的数据同步。进一步的，文件存储系统中设置有多个文件存储集群；待访问文件的元数据包括待访问文件的文件数据所在的文件存储集群；基于待访问文件的元数据，访问待访问文件的步骤，包括：从待访问文件所属的文件存储集群中，获取待访问文件。进一步的，文件存储集群包括集群管理节点和数据存储节点；集群管理节点中存储有文件存储集群中保存的各个文件的文件数据与数据存储节点的对应关系；从待访问文件所属的文件存储集群中，获取待访问文件的步骤，包括：通过待访问文件所属的文件存储集群的集群管理节点，确定待访问文件的文件数据所在的目标数据存储节点；从目标数据存储节点中获取待访问文件的文件数据。进一步的，每个文件存储集群包括多个集群管理节点；多个集群管理节点包括一个主用集群管理节点和至少一个备用集群管理节点；其中，主用集群管理节点用于提供待访问文件的文件数据所在的目标数据存储节点；备用集群管理节点与主用集群管理节点的数据同步。进一步的，文件存储系统中设置有数据持久化服务；数据持久化服务用于提供文件目录管理分片与数据卷的对应关系；基于数据访问请求，确定待访问文件所属的第一目标数据卷的步骤之前，方法还包括：通过数据持久化服务，获取文件目录管理分片与数据卷的对应关系。第二方面，本专利技术实施例提供了一种数据存储方法，方法包括：基于数据存储请求，确定待存储文件所属的第二目标数据卷；基于文件存储系统中，文件目录管理分片与数据卷的对应关系，确定第二目标数据卷所属的文件目录管理分片；其中，文件存储系统中设置有多个文件目录管理分片；每个文件目录管理分片用于管理指定数据卷中文件的元数据；确定待存储文件的目标存储位置；基于目标存储位置，在第二目标数据卷所属的文件目录管理分片中，生成待存储文件的元数据；将待存储文件存储至目标存储位置。进一步的，文件存储系统中设置有多个文件存储集群；目标存储位置包括：存储待存储文件的文件数据的目标文件存储集群；将待存储文件存储至目标存储位置的步骤，包括：将待存储文件存储至目标文件存储集群。进一步的，文件存储集群包括集群管理节点和数据存储节点；集群管理节点中存储有文件存储集群中保存的各个文件的文件数据与数据存储节点的对应关系；将待存储文件存储至目标文件存储集群的步骤，包括：从目标文件存储集群中确定存储待存储文件的目标数据存储节点；基于目标数据存储节点，在目标文件存储集群的集群管理节点中，生成待存储文件的文件数据与目标数据存储节点的对应关系；将待存储文件的文件数据保存至目标数据存储节点。第三方面，本专利技术实施例提供了一种文件存储系统，系统包括数据请求服务端、多个文件目录管理分片和多个文件存储集群；其中，每个文件存储集群用于存储指定数据卷中的文件；每个文件目录管理分片用于管理指定数据卷中文件的元数据；元数据用于指示指定数据卷中文件所在的文件存储集群；数据请求服务端用于基于文件目录管理分片与数据卷的对应关系，处理接收到的数据请求。进一步的，文件存储系统中设置有数据持久化服务；数据持久化服务用于向数据请求服务端提供文件目录管理分片与数据卷的对应关系。进一步的，每个文件目录管理分片包括多个文件目录管理节点；多个文件目录管理节点包括一个主用文件目录管理节点和至少一个备用文件目录管理节点；其中，主用文件目录管理节点用于提供指定数据卷中文件的元数据；备用文件目录管理节点与主用文件目录管理节点的数据同步。进一步的，文件存储集群包括集群管理节点和数据存储节点；数据存储节点用于保存文件存储集群中的各个文件的文件数据；集群管理节点中存储有文件存储集群中保存的各个文件的文件数据与数据存储节点的对应关系。进一步的，文件存储集群包括多个集群管理节点；多个集群管理节点包括一个主用集群管理节点和至少一个备用集群管理节点；其中，主用集群管理节点用于提供文件存储集群中各个文件的文件数据所在的数据存储节点；备用集群管理节点与主用集群管理节点的数据同步。第四方面，本专利技术实施例提供了一种数据访问装置，装置包括：第一数据卷确定模块，用于基于数据访问请求，确定待访问文件所属的第一目标数据卷；第一管理分片确定模块，用于基于文件存储系统中，文件目录管理分片与数据卷的对应关系，确定第一目标数据卷所属的文件目录管理分片；其中，文件存储系统中设置有多个文件目录管理分片；每个文件目录管理分片用于管理指定数据卷中文件的元数据；文件访问模块，用于从第一目标数据卷所属的文件目录管理分片中，获取待访问文件的元数据；基于待访问文件的元数据，访问待访问文件。第五方面，本专利技术实施例提供了一种数据存储装置，装置包括：第二数据卷确定模块，用于基于数据存储请求，确定待存储文件所属的第二目标数据卷；第二管理分片确定模块，用于基于文件存储系统中，文件目录管理分片与数据卷的对应关系，确定第二目标数据卷所属的文件目录管理分片；其中，文件存储系统中设置有多个文件目录管理分片；每个文件目录管理分片用于管理指定数据卷中文件的元数据；文件存储模块，用于确定待存储文件的目标存储位置；基于目标存储位置，在第二目标数据卷所属的文件目录管理分片中，生成待存储文件的元数据；将待存储文件存储至目标存储位置。第六方面，本专利技术实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行本文档来自技高网...

【技术保护点】
1.一种数据访问方法，其特征在于，所述方法包括：/n基于数据访问请求，确定待访问文件所属的第一目标数据卷；/n基于文件存储系统中，文件目录管理分片与数据卷的对应关系，确定所述第一目标数据卷所属的文件目录管理分片；其中，所述文件存储系统中设置有多个文件目录管理分片；每个所述文件目录管理分片用于管理指定数据卷中文件的元数据；/n从所述第一目标数据卷所属的文件目录管理分片中，获取所述待访问文件的元数据；基于所述待访问文件的元数据，访问所述待访问文件。/n

【技术特征摘要】
1.一种数据访问方法，其特征在于，所述方法包括：
基于数据访问请求，确定待访问文件所属的第一目标数据卷；
基于文件存储系统中，文件目录管理分片与数据卷的对应关系，确定所述第一目标数据卷所属的文件目录管理分片；其中，所述文件存储系统中设置有多个文件目录管理分片；每个所述文件目录管理分片用于管理指定数据卷中文件的元数据；
从所述第一目标数据卷所属的文件目录管理分片中，获取所述待访问文件的元数据；基于所述待访问文件的元数据，访问所述待访问文件。


2.根据权利要求1所述的方法，其特征在于，每个所述文件目录管理分片包括多个文件目录管理节点；所述多个文件目录管理节点包括一个主用文件目录管理节点和至少一个备用文件目录管理节点；
其中，所述主用文件目录管理节点用于提供所述待访问文件的元数据；所述备用文件目录管理节点与所述主用文件目录管理节点的数据同步。


3.根据权利要求2所述的方法，其特征在于，所述多个文件目录管理节点中的主用文件目录管理节点，基于预设的raft协议确定；
所述备用文件目录管理节点的数据，通过预设的raft协议与所述主用文件目录管理节点的数据同步。


4.根据权利要求1所述的方法，其特征在于，所述文件存储系统中设置有多个文件存储集群；所述待访问文件的元数据包括所述待访问文件的文件数据所在的文件存储集群；
所述基于所述待访问文件的元数据，访问所述待访问文件的步骤，包括：从所述待访问文件所属的文件存储集群中，获取所述待访问文件。


5.根据权利要求4所述的方法，其特征在于，所述文件存储集群包括集群管理节点和数据存储节点；所述集群管理节点中存储有所述文件存储集群中保存的各个文件的文件数据与数据存储节点的对应关系；
所述从所述待访问文件所属的文件存储集群中，获取所述待访问文件的步骤，包括：
通过所述待访问文件所属的文件存储集群的集群管理节点，确定所述待访问文件的文件数据所在的目标数据存储节点；
从所述目标数据存储节点中获取所述待访问文件的文件数据。


6.根据权利要求5所述的方法，其特征在于，每个所述文件存储集群包括多个集群管理节点；多个所述集群管理节点包括一个主用集群管理节点和至少一个备用集群管理节点；
其中，所述主用集群管理节点用于提供所述待访问文件的文件数据所在的目标数据存储节点；所述备用集群管理节点与所述主用集群管理节点的数据同步。


7.根据权利要求1所述的方法，其特征在于，所述文件存储系统中设置有数据持久化服务；所述数据持久化服务用于提供所述文件目录管理分片与数据卷的对应关系；
所述基于数据访问请求，确定待访问文件所属的第一目标数据卷的步骤之前，所述方法还包括：通过所述数据持久化服务，获取所述文件目录管理分片与数据卷的对应关系。


8.一种数据存储方法，其特征在于，所述方法包括：
基于数据存储请求，确定待存储文件所属的第二目标数据卷；
基于文件存储系统中，文件目录管理分片与数据卷的对应关系，确定所述第二目标数据卷所属的文件目录管理分片；其中，所述文件存储系统中设置有多个文件目录管理分片；每个所述文件目录管理分片用于管理指定数据卷中文件的元数据；
确定所述待存储文件的目标存储位置；基于所述目标存储位置，在所述第二目标数据卷所属的文件目录管理分片中，生成所述待存储文件的元数据；将所述待存储文件存储至所述目标存储位置。


9.根据权利要求8所述的方法，其特征在于，所述文件存储系统中设置有多个文件存储集群；所述目标存储位置包括：存储所述待存储文件的文件数据的目标文件存储集群；
所述将所述待存储文件存储至所述目标存储位置的步骤，包括：将所述待存储文件存储至所述目标文件存储集群。


10.根据权利要求9所述的方法，其特征在于，所述文件存储集群包括集群管理节点和数据存储节点；所述集群管理节点中存储有所述文件存储集群中保存的各个文件的文件数据与数据存储节点的对应关系；
所述将所述待存储文件存储至所述目标文件存储集群的步骤，包括：
从所述...

【专利技术属性】
技术研发人员：黎海兵，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11