一种分布式文件系统管理方法及装置制造方法及图纸

本发明专利技术公开了一种分布式文件系统管理方法及装置，该方法包括元数据管理器接收FTP服务器发送的文件存储指令，然后校验目录路径信息是否已存储，若未存储，则将待存储的文件发送至FastDFS中进行持久化存储，接收FastDFS发送的文件存储信息，建立文件存储信息与目录路径信息的对应关系，生成待存储的文件的元数据，并将待存储的文件的元数据进行缓存。FTP服务器通过与元数据管理器的交互，将文件存储在FastDFS中，并通过文件的元数据查找到文件存储在FastDFS中的存储信息，以使FTP服务器根据该存储信息从FastDFS中访问已经存储的文件，提高FTP服务器的存储稳定性和降低FTP服务器维护的成本。

【技术实现步骤摘要】

本专利技术涉及分布式文件系统领域，尤其涉及一种分布式文件系统管理方法及装置。
技术介绍
FTP(File Transfer Protocol、文件传输协议)用于因特网上的控制文件的双向传输。FTP服务作为文件传输服务在各行各业有着广泛的应用。随着近年来信息技术的发展，各行各业都先后跨入一个新的时代一一大数据时代。传统FTP文件传输服务的应用方式在大数据时代遇到了很多问题，例如:智能交通应用中，过车图片与违法图片需要通过FTP进行存取。随着城市级过车图片数据的爆炸式增长，最近两年中等城市过车图片与违法图片的存储规模已从总量的百TB级跃升至每三个月PB级，每年存储文件数量超过百亿级别。一般的解决方案是将存储图片的设备分区，每个区部署一套或多套FTP服务，并挂载基于SAN存储服务。此方案一方面对于存储单元划分超过16TB时，会存在不稳定问题，对业务应用造成很大的隐患。另一方面，在每个区部署一套或多套FTP服务实施维护的成本也在不断变高。
技术实现思路
本专利技术实施例提供一种分布式文件系统管理方法及装置，用以提高FTP服务的存储稳定性和降低FTP服务维护的成本。本专利技术实施例提供的一种分布式文件系统管理方法，包括:元数据管理器接收FTP服务器发送的文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息；所述元数据管理器校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储；若未存储，则所述元数据管理器将所述待存储的文件发送至FastDFS(FastDistributed File System，快速分布式文件系统)中进行持久化存储；所述元数据管理器接收所述FastDFS发送的文件存储信息，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的；所述元数据管理器建立所述文件存储信息与所述待存储的文件在所述FTP服务器中的目录路径信息的对应关系，生成所述待存储的文件的元数据，并将所述待存储的文件的元数据进行缓存。较佳地，所述元数据管理器校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储，包括:所述元数据管理器包括热数据缓存器和数据库；所述元数据管理器从所述热数据缓存器中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则所述元数据管理器校验所述待存储的文件已存储；若未查找到，则所述元数据管理器从所述数据库中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则所述元数据管理器校验所述待存储的文件已存储，若未查找到，则所述元数据管理器校验所述待存储的文件未存储。较佳地，在将所述待存储的文件的元数据进行缓存之后，还包括:在第一设定时间段之后，所述元数据管理器将所述待存储的文件的元数据进行持久化存储;和/或所述元数据管理器在缓存的元数据超过设定数量后，将所述待存储的文件的元数据进行持久化存储。较佳地，还包括:所述元数据管理器接收所述FTP服务器发送的文件访问指令，所述文件访问指令中包括所述待访问的文件在所述FTP服务器中的目录路径信息；所述元数据管理器查找所述待访问的文件在所述FTP服务器中的目录路径信息所对应的所述待访问的文件的文件存储信息；所述元数据管理器将所述待访问的文件的文件存储信息发送至所述FTP服务器，以使所述FTP服务器根据所述待访问的文件的文件存储信息从所述FastDFS中访问所述待访问的文件。较佳地，所述元数据管理器将所述待存储的文件发送至快速分布式文件系统FastDFS中进行持久化存储，包括:所述FastDFS根据所述待存储的文件的存储需要的存储空间，将所述待存储的文件划分为N份，并分别存储在所述FastDFS的N个服务节点上，所述N个服务节点组成一组虚拟存储节点;所述待存储的文件的元数据为针对一组虚拟存储节点的元数据。较佳地，在将所述待存储的文件的元数据进行缓存之后，还包括:在第二设定时间段之后，所述元数据管理器将所述待存储的文件的元数据标记为待删除的元数据；所述元数据管理器向所述FastDFS发送文件删除请求，所述文件删除请求用于指示所述FastDFS删除所述待删除的元数据对应的文件；所述元数据管理器在接收到所述FastDFS删除完成通知之后，将所述待删除的元数据删除。相应地，本专利技术实施例还提供了一种分布式文件系统管理方法，包括:FTP服务器向元数据管理器发送文件访问指令，所述文件访问指令中包括待访问的文件在所述FTP服务器中的目录路径信息；所述FTP服务器接收所述元数据管理器发送的所述待访问的文件的文件存储信息，所述待访问的文件的文件存储信息是所述元数据管理器根据所述待访问的文件在所述FTP服务器中的目录路径信息查找到的；所述FTP服务器根据所述待访问的文件的文件存储信息，访问FastDFS中存储的所述待访问的文件。较佳地，还包括:所述FTP服务器向所述元数据管理器发送文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息。相应地，本专利技术实施例了一种分布式文件系统管理方法，包括:FastDFS接收元数据管理器发送的待存储的文件，所述待存储的文件是文件传输协议FTP服务器向元数据管理器发送的文件存储指令中包含的；所述FastDFS根据所述待存储的文件的存储需要的存储空间，将所述待存储的文件划分为N份，并分别存储在所述FastDFS的N个服务节点上，所述N个服务节点组成一组虚拟存储节点；所述FastDFS向所述元数据管理器发送文件存储信息，以使所述元数据管理器生成所述待存储的文件的元数据，其中，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的，所述待存储的文件的元数据为针对一组虚拟存储节点的元数据。较佳地，还包括:所述FastDFS接收所述元数据管理器发送文件删除请求，所述文件删除请求用于指示所述Fas tDFS删除待删除的元数据对应的文件；所述FastDFS删除所述待删除的元数据对应的文件后，向所述元数据管理器发送删除完成通知，以使所述元数据管理器删除所述待删除的元数据。相应地，本专利技术实施例提供了一种分布式文件系统管理装置，包括:第一接收单元，用于接收FTP服务器发送的文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息；校验单元，用于校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储；发送单元，用于若所述待存储的文件在所述FTP服务器中的目录路径信息未存储，则将所述待存储的文件发送至FastDFS中进行持久化存储；第二接收单元，用于接收所述FastDFS发送的文件存储信息，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的；存储单元，用于建立所述文件存储信息与所述待存储的文件在所述FTP服务器中的目录路径信息的对应关系，生成所述待存储的文件的元数据，并将所述待存储的文件的元数据进行缓存。较佳地，所述校验单元具体用于:元数据管理器包括热数据缓存器和数据库；从所述热数据缓存器中查找所述待存储的文件在所述FTP服务器中的目录路径信息，若查找到，则校验所述待存储的文件已存储；若未查找到，则从所述数据库中查找所述待存储的文件在本文档来自技高网...

【技术保护点】
一种分布式文件系统管理方法，其特征在于，包括：元数据管理器接收文件传输协议FTP服务器发送的文件存储指令，所述文件存储指令包括待存储的文件和所述待存储的文件在所述FTP服务器中的目录路径信息；所述元数据管理器校验所述待存储的文件在所述FTP服务器中的目录路径信息是否已存储；若未存储，则所述元数据管理器将所述待存储的文件发送至快速分布式文件系统FastDFS中进行持久化存储；所述元数据管理器接收所述FastDFS发送的文件存储信息，所述文件存储信息是所述FastDFS将所述待存储的文件进行存储之后生成的；所述元数据管理器建立所述文件存储信息与所述待存储的文件在所述FTP服务器中的目录路径信息的对应关系，生成所述待存储的文件的元数据，并将所述待存储的文件的元数据进行缓存。

【技术特征摘要】

【专利技术属性】
技术研发人员：王鑫义，刘璟涛，
申请(专利权)人：青岛海信网络科技股份有限公司，
类型：发明
国别省市：山东;37