一种分布式存储的预读写方法及装置制造方法及图纸

本发明专利技术公开了一种分布式存储的预读写方法及装置，预读写方法步骤包括：存储客户端连续进行数据块读取；统计预测模块对单个数据块进行统计，统计其后所需要读取的数据块，计算这些数据块读取的次数，并进行排序；重复计算数据块，对所需要读取的数据块统计完成，形成统计结果；在下一次存储客户端需要读取数据块时，对每一块被存储客户端读取的数据块，在其后要读取的数据块均经过统计预测模块进行预测；根据统计结果，将每一块数据块后的被读取次数最多的数据块，预测其为下一块需要读取的数据块。本发明专利技术通过对读取下一块的数据块进行有效预测，提高了分散数据的预读取效率，减少了数据块的频繁读取频率。

【技术实现步骤摘要】
一种分布式存储的预读写方法及装置
本专利技术涉及分布式存储
，特别涉及一种分布式存储的预读写方法及装置。
技术介绍
分布式存储是一种常见的存储方法，通常把一块数据内容分成不同的小块保存到多台存储设备上，跟集中保存方式的明显区别就是分布式，数据是分散地存储在不同的存储设备上。目前分布式存储都是把一块数据按照固定的大小分成若干份，然后把这些小数据块分散地保存到整个集群设备之上。通常为了降低设备故障所带来的影响，这些小数据块都采取了尽量分散分布的原则。但是这种分散的数据保存方式有个缺点，就是无法很好地实现预读写功能。当前，数据在进行读取时，一般都需要提前预读写数据，其中，预读写功能就是预测接下来将要读写的磁盘数据，提前进行加载。而在非分布式存储的传统保存数据是连续的，数据一块挨着一块存储，进行预读写一般都是预测临近的下一块数据进行预读写。然而，在数据使用了分布式存储之后，连续的数据都被拆分成不同的小数据块，且散落在不同的设备上，系统往往无法预测有可能接下来要读写的数据放在哪里。因此，分布式存储在数据预读写时，会不断访问不同的小数本文档来自技高网...

【技术保护点】
1.一种分布式存储的预读写方法，其特征在于，包括以下步骤：/nS1、存储客户端连续对分布式存储系统进行数据块读取；/nS2、统计预测模块对单个数据块进行统计，统计其后所需要读取的数据块，并计算这些数据块中的每一块数据块被读取的次数，按次数从大到小对这些数据块进行排序；/nS3、重复步骤S2，直至对存储客户端所需要读取的数据块统计完成，并形成统计结果后，存储于统计预测模块中；/nS4、在下一次存储客户端需要读取数据块时，从存储客户端读取的第一块数据块开始，对每一块被存储客户端读取的数据块，在其后要读取的数据块均经过统计预测模块进行预测；统计预测模块根据步骤S3中的统计结果，将每一块数据块后的被读...

【技术特征摘要】
1.一种分布式存储的预读写方法，其特征在于，包括以下步骤：
S1、存储客户端连续对分布式存储系统进行数据块读取；
S2、统计预测模块对单个数据块进行统计，统计其后所需要读取的数据块，并计算这些数据块中的每一块数据块被读取的次数，按次数从大到小对这些数据块进行排序；
S3、重复步骤S2，直至对存储客户端所需要读取的数据块统计完成，并形成统计结果后，存储于统计预测模块中；
S4、在下一次存储客户端需要读取数据块时，从存储客户端读取的第一块数据块开始，对每一块被存储客户端读取的数据块，在其后要读取的数据块均经过统计预测模块进行预测；统计预测模块根据步骤S3中的统计结果，将每一块数据块后的被读取次数最多的数据块，预测其为下一块需要读取的数据块，并让存储客户端进行读取。


2.根据权利要求1所述的一种分布式存储的预读写方法，其特征在于，还包括步骤S0、存储客户端写入数据至分布式存储系统中，分布式存储系统将数据均分成若干数据块，然后将数据块分散存储于不同的存储设备中。


3.根据权利要求2所述的一种分布式存储的预读写方法，其特征在于，还包括步骤S5、分布式存储系统将存储客户端所需要读取的数据块进行合并形成完整数据后，发送...

【专利技术属性】
技术研发人员：麦剑，史伟，闵宇，
申请(专利权)人：广东睿江云计算股份有限公司，
类型：发明
国别省市：广东;44