一种分布式文件系统及其文件处理方法技术方案

本发明专利技术公开了一种分布式文件系统及其文件处理方法，该分布式文件系统包括至少两个文件节点，每个节点均包括元数据服务器、文件访问客户端、文件访问服务器以及存储媒介，且每个节点之间可互相访问；相应的文件处理方法为：将不同文件分散存储于各个文件节点；对于每个节点，本节点用户通过本节点的文件访问客户端先在本节点内访问所需文件的元数据／有效数据，若未在本节点内访问到，再通过文件访问客户端到其他节点上访问。本发明专利技术有效地解决了在大量用户并发访问热点数据时元数据服务器容易成为性能瓶颈的问题；并且通过数据块调度、数据块老化等文件处理方法，可以最大限度地释放了某些文件节点的存储空间，使得其利用率大大提高。

【技术实现步骤摘要】

本专利技术涉及数据存储
，尤其涉及一种分布式文件系统及其 文件处理方法。
技术介绍
随着互联网及多媒体产业的迅猛发展，各种存储技术及存储系统也 得到了飞速发展。这些存储系统为海量的互联网信息及多媒体数据信息 提供方便、快速、高效的存储及访问服务。目前的存储系统主要分为两种， 一种是商用；兹阵，如SAN( Storage Area Network,存卡岩区域网络)，NAS (Network Attached Storage,网纟各 附加存储)等；另一种是4吏用普通或商用^t盘，通过分布式文件系统对 这些磁盘进行管理。商用磁阵的稳定性、可靠性、访问速度等都能得到 保障，但存在成本高、可定制性差等缺点；而分布式文件系统由于大多 是由厂商自主研发，且多采用普通硬盘作为存储媒介，所以在成本、可 定制性、易维护性等方面都能得到保障，目前有不少厂商都采用这种方 式来构建自己的存储系统。分布式文件系统中一般只有一个元数据服务器，负责管理整个系统 中的目录/文件名以及文件数据块(根据具体实现可能不同)等元数据。 客户端对文件系统的访问都涉及到对元数据的操作，即客户端与元数据 服务器之间为多对一的关系，因此，元数据服务器很容易成为整个系统 的性能瓶颈；在IPTV (交互式网络电视)等容易形成热点的应用场景 中，大量用户同时并发访问某些内容时，此问题尤为明显。
技术实现思路
本专利技术所要解决的技术问题是提供一种分布式文件系统，以及该分 布式文件系统的文件处理方法，使得大量用户能够顺畅得同时并发地访问存储于系统中的文件，提高整个系统的性能。为解决上述技术问题，本专利技术采用以下解决方案一种分布式文件系统，包括至少两个文件节点，每个文件节点均包括元数据服务器、文件访问客户端、文件访问服务器以及存储々某介；所述元数据服务器，用于管理本节点所存储文件的元数据；所述文件访问客户端，用于为本节点用户提供调用接口，向本节点 或者其他节点的元数据服务器中的元数据进行读写操作，以及根据元数 据向本节点或者其他节点的文件访问服务器发送读写相应有效数据的请求；所述文件访问服务器，用于响应本节点或者其他节点的文件访问客 户端的读写有效数据的请求，根据元数据服务器中的元数据从本节点的存储i某介中读取相应的有效数据并返回给文件访问客户端； 所述存储媒介，用于存储本节点内所存储文件的有效数据。上述分布式文件系统还包括配置单元，用以配置本分布式文件系统 中各个文件节点之间的依赖关系表并将其下发给各个文件节点，供文件 访问客户端在本节点内未访问到所需文件的元数据/有效数据时查看，以 确定所需文件所在的文件节点。上述分布式文件系统中，所述每个节点还包括广播单元，用于在本 节点的文件访问客户端在本节点内未访问到所需文件的元数据/有效数 据时，向其他节点的文件访问客户端发送广播消息，以询问对方是否存 储有本节点用户所需文件，才艮据对方的回复确定本节点用户所需文件所 在的文件节点并通知本节点的文件访问客户端。上述分布式文件系统中，所述元数据服务器，还用于预先设置访问 热点值；并对本节点用户对未存储于本节点的文件的有效数据的访问次 数进行计数，通过本节点的文件访问客户端将其中被访问次数超过所述 访问热点值的有效数据从其他节点拷贝到本地再通过本节点的文件访 问服务器将其写入本节点的存储媒介中，同时在本元数据服务器中创建该有效^:据相应的元数据。上述分布式文件系统中，所述元数据服务器，还用于预先设置访问最低值及空间利用率阈值；并对本节点用户针对存储于本节点的文件的 有效数据的访问次数进行计数，在本节点的存储媒介的空间利用率超过 所述空间利用率阀值时，通知本节点的存储媒介删除其中存储的被访问 次数低于所述访问最低值的有效彩:据，同时删除本元数据il良务器中被访 问次数低于所述访问最低值的有效数据对应的元数据。一种分布式文件系统的文件处理方法，所述分布式文件系统包括至 少两个文件节点，每个文件节点均包括元数据服务器、文件访问客户端、 文件访问服务器、存储媒介；所述文件处理方法包括(1) 将不同文件*存储于各个文件节点；(2) 对于每个节点，本节点用户通过本节点的文件访问客户端先 在本节点内访问所需文件的元数据/有效数据，若未在本节点内访问到所 需文件的元数据/有效数据，再通过文件访问客户端到其他节点上访问。上述文件处理方法中，所述步骤(2)之前还包括配置本分布式 文件系统中各个节点之间的依赖关系表，并将该依赖关系表下发给各个 节点；所述步骤(2)中，对于每个节点，若本节点用户未在本节点内访 问到所需文件的元数据/有效数据，则通过文件访问客户端查看所述依赖 关系表以确定存储所需文件的文件节点，之后通过文件访问客户端直接 到该节点上访问所需文件的元数据/有效数据。上述文件处理方法中，所述步骤(2)中，对于每个节点，若本节 点用户未在本节点内访问到所需文件的元数据/有效数据，则向其他所有 节点发送广播消息以询问对方是否存储有所需文件，并根据对方的回复 确定本节点用户所需文件所在的文件节点，然后通过文件访问客户端直 接到该节点上访问所需文件的元数据/有效数据。上述方法还包括 预先设置访问热点值；点的文件的有效数据的访问次数进行计数，通过本节点的文件访问客户 端将其中被访问次数超过所述访问热点值的有效数据从其他节点拷贝 到本地再将其写入本节点的存储媒介中，同时在本节点的元数据服务器 中创建该有效数据相应的元数据。上述方法还包括预先设置访问最低值及空间利用率阈值；对于每个节点，对本节点用户针对存储于本节点的文件的有效数据 的访问次数进行计数，在本节点的存储J某介的空间利用率超过所述空间 利用率阀值时，删除本节点的存储媒介中存储的被访问次数低于所述访 问最低值的有效数据，同时删除本节点的元数据服务器中被访问次数低 于所述访问最低值的有效数据对应的元数据。本专利技术具有以下有益效果与现有的具有单一元数据服务器的分布式文件系统相比，本专利技术所 提出的具有多元数据服务器的分布式文件系统，有效地解决了在大量用 户并发访问热点数据时元数据服务器容易成为性能瓶颈的问题；并且通 过数据块调度、数据块老化等文件处理方法，可以最大限度地释放了某 些文件节点的存储空间，使得其利用率大大提高。附图说明图l是本专利技术的分布式文件系统架构图； 图2是本专利技术的分布式文件系统的元数据的访问方法流程图； 图3是本专利技术的分布式文件系统的有效数据的访问方法流程图； 图4是本专利技术实施例中的分布式文件系统架构图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明如图1所示，本专利技术所提出的分布式文件系统包括多个文件节点〔根 据实际情况和需要可以将文件节点分为不同层次)，每个文件节点为其所面向的用户提供整个分布式文件系统内所有文件的访问操作；进一步地，每个文件节点的内部结构都一致，主要包括如下几部分元数据服务器负责管理本文件节点内所存储文件的文件名、数据 块存储位置等元数据；并向本节点或者其他节点的文件访问客户端提供 元数据写入和查询等操作；还用于实现数据块远程调度和老化数据块处 理功能；文件访问客户端用于为本节点用户提供调用接口，向本节点或者 其他节点的元数据服务器中的元数据进行读写操作，以及根据元数据向 本节点或者其他本文档来自技高网...

【技术保护点】
一种分布式文件系统，包括至少两个文件节点，每个文件节点均包括元数据服务器、文件访问客户端、文件访问服务器以及存储媒介；　所述元数据服务器，用于管理本节点所存储文件的元数据；　所述文件访问客户端，用于为本节点用户提供调用接口，向本 节点或者其他节点的元数据服务器中的元数据进行读写操作，以及根据元数据向本节点或者其他节点的文件访问服务器发送读写相应有效数据的请求；　所述文件访问服务器，用于响应本节点或者其他节点的文件访问客户端的读写有效数据的请求，根据元数据服务器 中的元数据从本节点的存储媒介中读取相应的有效数据并返回给文件访问客户端；　所述存储媒介，用于存储本节点内所存储文件的有效数据。

【技术特征摘要】

【专利技术属性】
技术研发人员：彭杰，张波，夏舰波，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：94[中国|深圳]