对等网络的文件访问方法、管理方法及分布式文件系统技术方案

本发明专利技术公开了一种文件访问方法、管理方法及分布式文件系统，应用于基于分布式哈希表（DHT）的分布式文件系统，目录节点存储用于定位文件管理节点的信息；文件访问节点根据待访问节点的上级目录节点存储的用于定位文件管理节点的信息，定位文件管理节点，并从文件管理节点获取文件管理信息，文件管理信息至少包括文件数据块的存储位置信息；文件访问节点根据文件数据块的存储位置信息，从存储文件数据块的文件数据节点请求读取文件数据。采用本发明专利技术，能够快速定位到存储有所需数据的文件数据节点，此外，还能够根据访问频率控制文件系统中数据的存储份数，避免访问热点带来的问题。

【技术实现步骤摘要】
对等网络的文件访问方法、管理方法及分布式文件系统
本专利技术涉及P2P（PeertoPeer，对等网络）
，尤其涉及一种对等网络的文件访问方法、管理方法及分布式文件系统。
技术介绍
DHT（DistributedHashTable，分布式哈希表）是一种能提供高效的分布式数据存储的P2P技术，具有扩展性好、数据搜索速度快的特点。采用DHT技术构建的P2P网络被称为DHT网络，DHT网络主要提供数据存储的功能。DHT网络由多个节点组成，这些节点被称为DHT节点。每个DHT节点负责存储一部分数据。给定一个数据的标识，由DHT算法即可以确定负责存储该数据的DHT节点。而根据数据的标识，DHT网络可将对数据进行增删查改等操作请求路由到负责存储该数据的节点（简称数据负责节点），其中，数据操作的请求可以发向任一DHT节点，最终都会被DHT网络路由到相应的数据负责节点进行处理。由于DHT的优良特性，DHT被提出用于实现分布式文件系统。基于DHT的分布式文件系统具有可靠性高扩展性强的特点。现有基于DHT的文件系统架构如图1所示，该系统由多个DHT节点组成，包括：根目录节点、目录节点、文件管理节点和文件数据节点。通过这些DHT节点存储文件系统的所有目录的数据、所有文件的管理数据、所有文件的数据块。其中，一个文件以零个、一个或多个数据块的方式存储。存储了目录数据、某文件的管理数据、某文件数据块的DHT节点分别被称为该目录的目录节点、该文件的文件管理节点、该文件的文件数据节点。目录节点是由目录数据标识根据DHT算法决定的。类似地，文件管理节点、文件数据节点分别是由文件标识、文件数据块标识决定的。一个DHT节点可同时存储多种数据，还可能同时存储多个目录、多个文件的数据。现有基于DHT的分布式文件系统中访问文件的方法如图2所示。根据/dir1/file1这一包含文件路径的文件名，需读取文件的节点首先从根目录开始依次读取各级目录数据，直到该文件的上级目录，由文件上级目录数据获得该文件标识，根据文件标识可以从文件管理节点获得文件管理数据，由文件管理数据可得到文件数据块标识（ID），由文件数据块标识可从DHT网络中获得文件数据块。但这种根据文件数据块ID获得文件数据块的方式，具有以下缺点：通过文件数据块标识查找存储文件数据块的节点需一定时间，且文件数据块存储份数固定。通常情况下，在文件系统中，不同文件甚至同一个文件的不同文件数据块被访问的热度（频率）是不同的。热门的文件/文件数据块会被非常频繁的访问，这种情况被称为热点。热点会使得系统中的文件访问集中于存储热门文件的节点，使其负载远大于存储其他文件的节点，造成性能下降，系统不稳定。针对热点问题的解决方案是通过将热门的文件存储多份，使得文件访问分散到多个节点。但是，现有基于DHT的分布式文件系统无法根据热点控制文件的具体存储份数，因而难以从根本上避免热点带来的负载不均衡、性能下降等一系列问题。
技术实现思路
本专利技术解决的一个技术问题是提供一种对等网络的文件访问方法及分布式文件系统，能够快速定位到存储有所需数据的文件数据节点。为解决上述技术问题，本专利技术提供了一种对等网络的文件访问方法，应用于基于分布式哈希表（DHT）的分布式文件系统，所述方法包括：目录节点存储用于定位文件管理节点的信息；文件访问节点根据待访问节点的上级目录节点存储的用于定位文件管理节点的信息，定位文件管理节点，并从所述文件管理节点获取文件管理信息，所述文件管理信息至少包括文件数据块的存储位置信息；所述文件访问节点根据所述文件数据块的存储位置信息，从存储所述文件数据块的文件数据节点请求读取文件数据。进一步地，所述用于定位文件管理节点的信息，包括：文件标识。进一步地，所述文件数据块的存储位置信息，包括：所述文件数据块的位置列表；其中，所述位置列表中包含存储所述文件数据块的各文件数据节点的IP地址。进一步地，所述文件访问节点根据所述文件数据块的存储位置信息，从文件数据节点请求读取文件数据，具体包括：所述文件访问节点选择所述位置列表中的其中一个IP地址，向所述IP地址对应的文件数据节点发送文件数据块请求，请求读取文件数据；所述文件数据节点根据接收到的所述文件数据块请求，向所述文件访问节点返回相应的文件数据块。本专利技术还提供了一种对等网络的分布式文件系统，包括根目录节点、目录节点、文件管理节点和文件数据节点，其中：所述目录节点用于，存储用于定位文件管理节点的信息；以及，接收到的文件访问节点的访问请求时，返回用于定位文件管理节点的信息；所述文件管理节点用于，存储文件管理信息，所述文件管理信息至少包括文件、和/或文件数据块的存储位置信息；以及，接收到文件访问节点的访问请求时，返回文件管理信息，以使得文件访问节点根据所述文件、和/或文件数据块的存储位置信息，从存储所述文件数据块的文件数据节点请求读取文件数据。进一步地，所述文件管理节点存储的所述文件、和/或文件数据块的存储位置信息，包括：所述文件、和/或文件数据块的位置列表；其中，所述位置列表中包含存储所述文件、和/或文件数据块的各文件数据节点的IP地址。进一步地，所述文件管理节点存储的所述文件管理信息，还包括文件、和/或文件数据块的访问热度；所述文件管理节点还用于，根据所述文件、和/或文件数据块的访问热度，控制所述文件、和/或文件数据块的存储份数。进一步地，所述文件管理节点用于，根据文件管理信息被访问频率得到所述文件的访问热度；根据文件数据节点汇报的文件数据块被访问频率得到所述文件数据块的访问热度。进一步地，所述文件管理节点用于，当所述文件、和/或文件数据块的访问热度高于预定的第一阈值时，根据所述位置列表，将所述文件、和/或文件数据块从存储了所述文件、和/或文件数据块的文件数据节点复制到其他未存储所述文件、和/或文件数据块的一个或多个文件数据节点；当所述文件、和/或文件数据块的访问热度低于预定的第二阈值时，根据所述位置列表，将所述文件、和/或文件数据块从存储了所述文件、和/或文件数据块的一个或多个文件数据节点中删除。进一步地，所述文件管理节点还用于，复制所述文件、和/或文件数据块完成后，将相应文件数据节点的IP地址添加到所述文件、和/或文件数据块的位置列表中；删除所述文件、和/或文件数据块完成后，将所述文件、和/或文件数据块的位置列表中的相应文件数据节点的IP地址删除。本专利技术解决的另一个技术问题是提供一种对等网络的文件管理方法，能够根据访问频率控制文件系统中数据的存储份数，避免访问热点带来的问题。为解决上述技术问题，本专利技术提供了一种对等网络的文件管理方法，应用于基于DHT的分布式文件系统，所述方法包括：文件管理节点存储文件管理信息，所述文件管理信息包括文件、和/或文件数据块的存储位置信息，还包括文件、和/或文件数据块的访问热度；所述文件管理节点根据所述文件、和/或文件数据块的访问热度，控制所述文件、和/或文件数据块的存储份数。进一步地，所述文件管理节点根据文件管理信息被访问频率得到所述文件的访问热度；所述管理节点根据文件数据节点汇报的文件数据块被访问频率得到所述文件数据块的访问热度。进一步地，所述文件、和/或文件数据块的存储位置信息，包括：所述文件、和/或文件数据块的位置列表；本文档来自技高网...

【技术保护点】
一种对等网络的文件访问方法，其特征在于，应用于基于分布式哈希表（DHT）的分布式文件系统，所述方法包括：目录节点存储用于定位文件管理节点的信息；文件访问节点根据待访问节点的上级目录节点存储的用于定位文件管理节点的信息，定位文件管理节点，并从所述文件管理节点获取文件管理信息，所述文件管理信息至少包括文件数据块的存储位置信息；所述文件访问节点根据所述文件数据块的存储位置信息，从存储所述文件数据块的文件数据节点请求读取文件数据。

【技术特征摘要】
1.一种对等网络的文件访问方法，其特征在于，应用于基于分布式哈希表DHT的分布式文件系统，所述方法包括：目录节点存储用于定位文件管理节点的信息；文件访问节点根据待访问节点的上级目录节点存储的用于定位文件管理节点的信息，定位文件管理节点，并从所述文件管理节点获取文件管理信息，所述文件管理信息至少包括文件数据块的存储位置信息；所述文件访问节点根据所述文件数据块的存储位置信息，从存储所述文件数据块的文件数据节点请求读取文件数据。2.如权利要求1所述的方法，其特征在于，所述用于定位文件管理节点的信息，包括：文件标识。3.如权利要求1或2所述的方法，其特征在于，所述文件数据块的存储位置信息，包括：所述文件数据块的位置列表；其中，所述位置列表中包含存储所述文件数据块的各文件数据节点的IP地址。4.如权利要求3所述的方法，其特征在于，所述文件访问节点根据所述文件数据块的存储位置信息，从文件数据节点请求读取文件数据，具体包括：所述文件访问节点选择所述位置列表中的其中一个IP地址，向所述IP地址对应的文件数据节点发送文件数据块请求，请求读取文件数据；所述文件数据节点根据接收到的所述文件数据块请求，向所述文件访问节点返回相应的文件数据块。5.一种对等网络的文件管理方法，其特征在于，应用于基于DHT的分布式文件系统，所述方法包括：文件管理节点存储文件管理信息，所述文件管理信息包括文件、和/或文件数据块的存储位置信息，还包括文件、和/或文件数据块的访问热度；所述文件管理节点根据所述文件、和/或文件数据块的访问热度，控制所述文件、和/或文件数据块的存储份数。6.如权利要求5所述的方法，其特征在于，所述文件管理节点根据文件管理信息被访问频率得到所述文件的访问热度；所述管理节点根据文件数据节点汇报的文件数据块被访问频率得到所述文件数据块的访问热度。7.如权利要求5或6所述的方法，其特征在于，所述文件、和/或文件数据块的存储位置信息，包括：所述文件、和/或文件数据块的位置列表；其中，所述位置列表中包含存储文件、和/或文件数据块的各文件数据节点的IP地址。8.如权利要求7所述的方法，其特征在于，所述文件管理节点根据所述文件、和/或文件数据块的访问热度，控制所述文件、和/或文件数据块的存储份数，具体包括：当所述文件、和/或文件数据块的访问热度高于预定的第一阈值时，所述文件管理节点根据所述位置列表，将所述文件、和/或文件数据块从存储了所述文件、和/或文件数据块的文件数据节点复制到其他未存储所述文件、和/或文件数据块的一个或多个文件数据节点；当所述文件、和/或文件数据块的访问热度低于预定的第二阈值时，所述文件管理节点根据所述位置列表，将所述文件、和/或文件数据块从存储了所述文件...

【专利技术属性】
技术研发人员：皮人杰，李漓春，许可，童俊杰，乐冠，朱斌杰，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：