应用于分布式文件系统的存盘方法、装置及分布式文件系统制造方法及图纸

本发明专利技术公开了一种应用于分布式文件系统的存盘方法、存盘装置及其系统。本发明专利技术通过预设存盘快照周期，当前位图和快照位图，然后实时接收元数据的更改记录，并根据该更改记录来实时更新对应的当前位图；且判断出存盘快照周期达到时，将快照位图与更新后的当前位图进行置换，得到新的当前位图和新的快照位图，并根据新的快照位图进行存盘，同时，利用新的当前位图重新开始记录元数据新的更改记录。即是说，本发明专利技术通过定时存盘来延长存盘周期，使得一个周期内对同一条记录或文件块，只需要做一次存盘，且存盘时以批量方式按照优先级从高到低的顺序写盘，从而增大文件的聚合度来减少存盘IO数据量，保证了数据的完整性，和可访问性。

Storage method, device and distributed file system applied to distributed file system

The invention discloses a storage method applied to a distributed file system, a storage device and a system thereof. The present invention uses a preset memory snapshot period, a current bitmap and a snapshot bitmap, and then receives the change records of the metadata in real time, and updates the corresponding current bitmap in real time according to the change record; and when judging the disk snapshot period is reached, the snapshot bitmap and the updated front bitmap are replaced to get a new current. The bitmap and the new snapshot bitmap are stored on the new snapshot bitmap, while the new current bitmap is restarted to record the new change records of the metadata. That is to say, the invention extends the storage cycle through the timing deposit, so that the same record or the file block in one cycle is only needed to be saved, and the disk is written in a batch way in order of priority from high to low, thus increasing the degree of aggregation of the file to reduce the amount of IO data and ensure the integrity of the data. Sex, and accessibility.

【技术实现步骤摘要】
应用于分布式文件系统的存盘方法、装置及分布式文件系统
本专利技术涉及计算机存储技术，尤其涉及一种应用于分布式文件系统的存盘方法、存储装置及具有该存盘装置的分布式文件系统。
技术介绍
在数字化信息时代，大数据(bigdata)一词越来越多的被人们提及，它用来描述和定义信息爆炸时代所产生海量数据的名词。据互联网数据中心(IntemetDataCenter，IDC)的调研结果显示，2011年全球产生的数据量为1.8ZB(1ZB＝1024EB，1EB＝1024PB，1PB＝1024TB，1TB＝1024GB)，与2010年同期相比，又增长了超过1ZB的数据量。而到了2020年，全世界所产生的数据规模将达到今天的44倍。其增长速度相当于全球每人每年产生200GB以上的数据。在这种数据快速增长的情况下，海量数据存储技术成为了支撑数据高速增长的技术基础。一方面对信息数据的存储、计算、提取提出了严峻的考验，另一方面对信息数据的容灾系统、备份、归档提出了更严格的要求。进而分布式存储技术也应运而生。现有分布式文件系统的研究主要分为元数据与实际数据存储分开管理，文件系统中元数据请求占据所有请求的50％以上本文档来自技高网...

【技术保护点】
一种应用于分布式文件系统的存盘方法，其特征在于，预设存盘快照周期，并针对文件系统表预先创建分别用于表示当前存盘快照周期内元数据的更改记录的当前位图，以及用于表示上一个存盘快照周期内元数据的更改记录的快照位图，则所述存盘方法包括步骤：实时接收元数据的更改记录，并根据所述更改记录实时更新对应的当前位图；判断当前是否达到存盘快照周期，若是，则将所述快照位图与更新后的所述当前位图进行置换，得到新的当前位图和新的快照位图，并根据新的快照位图进行存盘，同时，利用所述新的当前位图重新开始记录元数据新的更改记录。

【技术特征摘要】
1.一种应用于分布式文件系统的存盘方法，其特征在于，预设存盘快照周期，并针对文件系统表预先创建分别用于表示当前存盘快照周期内元数据的更改记录的当前位图，以及用于表示上一个存盘快照周期内元数据的更改记录的快照位图，则所述存盘方法包括步骤：实时接收元数据的更改记录，并根据所述更改记录实时更新对应的当前位图；判断当前是否达到存盘快照周期，若是，则将所述快照位图与更新后的所述当前位图进行置换，得到新的当前位图和新的快照位图，并根据新的快照位图进行存盘，同时，利用所述新的当前位图重新开始记录元数据新的更改记录。2.如权利要求2所说的存盘方法，其特征在于，进行存盘时，是根据所述新的快照位图所对应的各个数据段的存盘优先级序列进行存盘的。3.如权利要求2所说的存盘方法，其特征在于，其中，各个数据段的存盘优先级序列的计算步骤，包括步骤：根据置换后得到的新的快照位图，计算每个数据段的数据聚合度；将各个数据段的数据聚合度逐一与预设的数据聚合度阈值进行比较，分别得到数据聚合度大于或等于预设数据聚合度阈值的多个第一数据段，以及数据聚合度小于预设数据聚合度阈值的多个第二数据段；将各个所述第一数据段按照预设规则进行排列，从而得到相应的存盘优先级序列。4.如权利要求3所述的存盘方法，其特征在于，所述各个数据段的存盘优先级序列的计算步骤，还包括步骤：提取各个所述第二数据段对应记录写到日志文件中；且根据预设的检查周期定时对所述第二数据段进行检查，直至所述第二数据段的数据聚合度等于或大于预设的数据聚合度阈值时，按照预设规则将所述第二数据段保存到对应的存盘优先级序列中。5.如权利要求3或4所述的存盘方法，其特征在于，所述预设规则是指将各个数据段按照聚合度从大到小的顺序进行排列；和/或，两个存盘快照周期为一个检查周期。6.一种应用于分布式文件系统的存盘装置，其特征在于，包括：处理模块，用于预设存盘快照周期，并针对文件系统表预先创建分别用于表示当前存盘快照周期内元数据的更改记录的当前位图，以及用于表示上一个存盘快照周期内元数据的更改记录...

【专利技术属性】
技术研发人员：柴军红，尹丹，汪雷，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44