分布式文件系统的存储方法及装置制造方法及图纸

本发明专利技术公开了一种分布式文件系统的存储方法及装置，该方法包括：确定预设时间内对同一文件的访问次数；根据访问次数将文件迁移到比当前存储设备性能高的存储设备中。通过本发明专利技术，对分布式文件系统中的文件按文件访问热度进行分级存储，即，将预定时间内访问频次较高的文件迁移到性能高的存储设备中，通过差异化存储做到文件分片存储位置与文件分片访问热度的关联，从而使存储设备间的IOPS压力达到均衡并实现整体性能的提升。

【技术实现步骤摘要】

本专利技术涉及通信领域,具体而言,涉及ー种分布式文件系统(Distributed FileSystem，简称为DFS)的存储方法及装置。
技术介绍
分布式存储通过将数据分布保存在多个服务器的多个磁盘上来实现数据的海量存储和快速部署。随着存储设备的类型更新，新的存储设备会不断地加入到磁盘集群中，分布式存储必须支持对这些存储设备的即插即用。不同的存储设备的容量和性能各不相同，如何让它们的空间和性能得到最大程度的利用是需要着重关注的问题。原有的磁盘读写策略主要关注磁盘与文件访问服务器之间 的空间均衡，或采用随机轮选策略。现有的其他负载均衡技术主要关注文件写入时根据文件访问服务器的负荷信息决定写文件时文件访问服务器的选取。但是，现有的负载均衡策略并没有解决文件读出时热点文件的高频次访问带来的磁盘负载的问题，系统存在以下不足不同的存储设备能够承受的每秒进行读写操作的次数(Input/Output Operation Per Second,简称为IOPS)不同。最初，存储文件分片是根据磁盘空间均衡策略或随机策略选取的，同样的负荷在高性能存储设备上能稳定运行，在低性能存储设备上却可能导致读延迟现象。在高低性能存储设备共存的条件下，低性能的存储设备将成为分布式存储设备的短板，在进行文件读取操作时表现尤为明显。正是由于低性能存储设备的短板效应，不同存储设备间的性能差异将使磁盘集群的整体性能降低，导致高性能存储设备的性能不能得到最大化的利用。
技术实现思路
本专利技术提供了ー种分布式文件系统的存储方法及装置，以至少解决相关技术中，文件读出时热点文件的高频次访问带来的磁盘负载的问题。根据本专利技术的ー个方面，提供了ー种分布式文件系统的存储方法，包括确定预设时间内对同一文件的访问次数；根据访问次数将文件迁移到比当前存储设备性能高的存储设备中。优选地，根据访问次数将文件迁移到比当前存储设备性能高的存储设备中包括确定访问次数超过预设阈值；在所有存储设备中确定比当前存储设备性能高的存储设备，并且存储设备存在空闲块；将文件迁移到存储设备中。优选地，在确定访问次数超过预设阈值之后，上述方法还包括将文件的访问热度属性设置为热门。优选地，在确定预设时间内对同一文件的访问次数之前，上述方法还包括分别确定分布式文件系统内的各个存储设备的IOPS极限值与当前IOPS值；分别计算各个存储设备的当前IOPS值与IOPS极限值的比值；分别比较比值与预先设定的临界值；如果比值大于临界值，确定需要对当前存储设备中的访问次数高于预设阈值的文件进行迁移。优选地，在确定需要对当前存储设备中的访问次数高于预设阈值的文件进行迁移之后，上述方法还包括接收到对文件的读请求，将文件的访问次数加I。优选地，在确定预设时间内对同一文件的访问次数之前，上述方法还包括文件访问服务器计算其对应的存储设备的IOPS值；文件访问服务器按照预定周期向元数据服务器上报IOPS值。优选地，在根据访问次数将文件迁移到比当前存储设备性能高的存储设备中之后，上述方法还包括按照预定周期检查各个存储设备的当前IOPS值与IOPS极限值的比值是否不大于临界值；如果不大于临界值，停止对当前存储设备中的文件进行迁移；如果大于临界值，继续对当前存储设备中的访问次数高于预设阈值的文件进行迁移。 根据本专利技术的另ー个方面，提供了ー种分布式文件系统的存储装置，应用于元数据服务器，包括第一确定模块，用于确定预设时间内对同一文件的访问次数；迁移模块，用于根据访问次数将文件迁移到比当前存储设备性能高的存储设备中。优选地，迁移模块包括第一确定单元，用于确定访问次数超过预设阈值；第ニ确定单元，用于在所有存储设备中确定比当前存储设备性能高的存储设备，并且存储设备存在空闲块；迁移单元，用于将文件迁移到存储设备中。优选地，上述装置还包括第二确定模块，用于分别确定各个存储设备的IOPS极限值与当前IOPS值；计算模块，用于分别计算各个存储设备的当前IOPS值与IOPS极限值的比值；比较模块，用于分别比较比值与预先设定的临界值；第三确定模块，用于在比值大于临界值的情况下，确定需要对当前存储设备中的访问次数高于预设阈值的文件进行迁移。通过本专利技术，对分布式文件系统中的文件按文件访问热度进行分级存储，S卩，将预定时间内访问频次较高的文件迁移到性能高的存储设备中，通过差异化存储做到文件分片存储位置与文件分片访问热度的关联，从而使存储设备间的IOPS压カ达到均衡并实现整体性能的提升。附图说明此处所说明的附图用来提供对本专利技术的进ー步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中图I是根据本专利技术实施例的分布式文件系统的存储方法的流程图；图2是根据本专利技术实施例的分布式文件系统的存储方法的系统架构图；图3是根据本专利技术优选实施例的分布式文件系统的存储方法的流程图；图4是根据本专利技术实施例的分布式文件系统的存储装置的结构框图；图5是根据本专利技术优选实施例的分布式文件系统的存储装置的结构框图ー；图6是根据本专利技术优选实施例的分布式文件系统的存储装置的结构框图ニ。具体实施例方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将參考附图并结合实施例来详细说明本专利技术。本专利技术实施例提供了ー种分布式文件系统的存储方法，图I是根据本专利技术实施例的分布式文件系统的存储方法的流程图，如图I所示，包括如下的步骤S102至步骤S104。步骤S102，确定预设时间内对同一文件的访问次数。步骤S104，根据访问次数将文件迁移到比当前存储设备性能高的存储设备中。相关技术中，没有解决文件读出时热点文件的高频次访问带来的磁盘负载的问题。本专利技术实施例中，对分布式文件系统中的文件按文件访问热度进行分级存储，即，将预定时间内访问频次较高的文件迁移到性能高的存储设备中，通过差异化存储做到文件分片存储位置与文件分片访问热度的关联，从而使存储设备间的IOPS压カ达到均衡并实现整体性能的提升。需要说明的是，也可以将预定时间内访问频次较低的文件迁移到性能低的存储设备中，以避免占用高性能的存储设备太多存储空间。 步骤S104包括确定访问次数超过预设阈值；在所有存储设备中确定比当前存储设备性能高的存储设备，并且该性能高的存储设备中存在空闲块；将文件迁移到该性能高的存储设备中。本优选实施例中，在访问次数超过预设阈值的情况下，确定可以存储该文件的存储设备，并且在确定的存储设备存在空闲块时，进行迁移，可以保证文件迁移的准确性，而不会出现存储设备没有空闲块，却将文件迁移至该存储设备的情况，可能会导致文件丢失。在ー个优选实施方式中，在确定访问次数超过预设阈值之后，还可以将文件的访问热度属性设置为热门。以属性的方式显示文件的访问热度，方便用户查看。在另ー个优选实施方式中，在确定预设时间内对同一文件的访问次数之前，对当前存储设备是否需要进行文件迁移进行确认，即确定当前存储设备的负载是否已超过临界值(或者成为告警值)，可以通过以下操作实现分别确定分布式文件系统内的各个存储设备的IOPS极限值与当前IOPS值；分别计算各个存储设备的当前IOPS值与IOPS极限值的比值；分别比较比值与预先设定的临界值；如果比值大于临界值，确定需要对当前存储设本文档来自技高网...

【技术保护点】
一种分布式文件系统的存储方法，其特征在于包括：确定预设时间内对同一文件的访问次数；根据所述访问次数将所述文件迁移到比当前存储设备性能高的存储设备中。

【技术特征摘要】
1.ー种分布式文件系统的存储方法，其特征在于包括 确定预设时间内对同一文件的访问次数； 根据所述访问次数将所述文件迁移到比当前存储设备性能高的存储设备中。2.根据权利要求I所述的方法，其特征在于，根据所述访问次数将所述文件迁移到比当前存储设备性能高的存储设备中包括 确定所述访问次数超过预设阈值； 在所有存储设备中确定所述比当前存储设备性能高的存储设备，并且所述存储设备存在空闲块； 将所述文件迁移到所述存储设备中。3.根据权利要求2所述的方法，其特征在于，在确定所述访问次数超过预设阈值之后，所述方法还包括 将所述文件的访问热度属性设置为热门。4.根据权利要求I所述的方法，其特征在于，在确定预设时间内对同一文件的访问次数之前，所述方法还包括 分别确定分布式文件系统内的各个存储设备的毎秒进行读写操作的次数IOPS极限值与当前IOPS值； 分别计算所述各个存储设备的所述当前IOPS值与所述IOPS极限值的比值； 分别比较所述比值与预先设定的临界值； 如果所述比值大于所述临界值，确定需要对当前存储设备中的访问次数高于预设阈值的文件进行迁移。5.根据权利要求4所述的方法，其特征在于，在确定需要对当前存储设备中的访问次数高于预设阈值的文件进行迁移之后，所述方法还包括 接收到对文件的读请求，将所述文件的访问次数加I。6.根据权利要求I所述的方法，其特征在于，在确定预设时间内对同一文件的访问次数之前，所述方法还包括 文件访问服务器计算其对应的存储设备的IOPS值； 所述文件访问服务器按...

【专利技术属性】
技术研发人员：欧阳伟，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：