针对小文件的二级缓存预取的云存储框架及构建方法技术

公开了针对小文件的二级缓存预取的云存储框架及构建方法，其中云存储框架包括：对象存储器、关联性计算模块、数据合并模块、存储节点缓存模块和代理节点缓存模块。本发明专利技术首先计算不同对象之间的关联性，并将关联度高的对象合并为一个数据集合，通过对这些数据集合进行缓存来达到数据预取的目的。一方面可以将随机磁盘访问转变为连续磁盘访问，提高存储系统的效率；另一方面通过一次性将对象集合转入代理节点缓存模块进行预读，能够节省网络开销；另外将关联度高的小文件合并也减少了元数据的数量，减少对象访问时元数据的操作时间。

【技术实现步骤摘要】

本专利技术涉及云计算
，特别涉及针对小文件的二级缓存预取的云存储框架及构建方法。
技术介绍
以下对本专利技术的相关技术背景进行说明，但这些说明并不一定构成本专利技术的现有技术。Swift(OpenstackObjectStorage)是由全球第二大数据中心的Rackspace开发，构架中主要由代理服务(代理服务器)、账户服务(AccountServer)、容器服务(ContainerServer)、对象服务(对象存储器)四大部分组成。Swift搭建在比较便宜的标准硬件设备上，出于成本的考虑并没有使用RAID(磁盘冗余阵列)，通过软件层面引入一致性哈希和数据容灾技术。Swift支持多租户模式、容器和对象的读写操作。为了得到更高的可用性和扩展性，其牺牲一定的数据一致性，适合解决互联网的应用场景下非结构化数据存储问题。其具有稳定、扩展性强、成本低等特点，受到越来越多的人重视。但是Swift在存储节点中通过操作系统的VFS层调用本地文件系统对文件进行磁盘读写操作。对于本地文件系统，无论是读操作还是写操作都要经过文件的元数据处理，随着存储小文件数量的增加，读取一次小文件是元数据处理所占本文档来自技高网...

【技术保护点】
针对小文件的二级缓存预取的云存储框架构建方法，其特征在于包括如下步骤：S1、遍历对象存储器中的所有对象以及每个对象的访问记录，以未合并进入数据块的任意一个对象为核心对象；将与所述核心对象的欧氏距离小于距离半径阈值的所有对象合并为一个数据块；S2、针对所有数据块中的每个对象，若所述对象的被访问次数不小于第一次数阈值，将所述对象所在的数据块转入存储节点缓存模块；S3、针对存储节点缓存模块中的每个对象，若所述对象的被访问次数不小于第二次数阈值、和/或所述对象所在数据块中所有对象的欧氏距离总和小于距离总和阈值，将所述对象所在数据块转入代理节点缓存模块；其中，存储节点缓存模块设置在存储节点服务器与代理服...

【技术特征摘要】
1.针对小文件的二级缓存预取的云存储框架构建方法，其特征在于包括如下步骤：S1、遍历对象存储器中的所有对象以及每个对象的访问记录，以未合并进入数据块的任意一个对象为核心对象；将与所述核心对象的欧氏距离小于距离半径阈值的所有对象合并为一个数据块；S2、针对所有数据块中的每个对象，若所述对象的被访问次数不小于第一次数阈值，将所述对象所在的数据块转入存储节点缓存模块；S3、针对存储节点缓存模块中的每个对象，若所述对象的被访问次数不小于第二次数阈值、和/或所述对象所在数据块中所有对象的欧氏距离总和小于距离总和阈值，将所述对象所在数据块转入代理节点缓存模块；其中，存储节点缓存模块设置在存储节点服务器与代理服务器之间，代理节点缓存模块设置在代理服务器与客户端之间；对象存储器、存储节点缓存模块和存储节点服务器设置在存储层，代理服务器和代理节点缓存模块设置在代理层，客户端设置在客户层；所述欧氏距离总和是指：数据块中核心对象与数据块中其他对象之间的欧氏距离的总和。2.如权利要求1所述的云存储框架构建方法，其中，第一次数阈值为1，和/或第二次数阈值为2。3.如权利要求1或2所述的云存储框架构建方法，其中，按照如下步骤确定任意两个对象之间的欧式距离：设两个对象的访问时间分别为A＝(A1,A2,...,Am)和B＝(B1,B2,...,Bn)，tth为访问时间距离的阈值，当两个对象的访问时间小于tth时认为该两个对象的访问时间相近；依次将|Ai-Bj|＜tth的访问记录选出，形成两组访问时间相近的时间序列a＝(a1,a2,...,ak)和b＝(b1,b2,...,bk)；A和B中被选出的访问记录之间的欧式距离D1如公式1所示：A和B中没被选出的访问记录之间的欧式距离D2如公式2所示：D2＝M×(m+n-2k)公式2两个对象的欧氏距离D如公式3所示：式中，m和n分别为两个对象的访问次数；k为被选出的访问记录的个数；i为时间序列a中访问记录的序号；j为时间序列b中访问记录的序号。4.如权利要求1或2所述的云存储框架构建方法，其中，存储节点缓存模块包括FIFO队列和LRU队列；步骤S2包括：S21、针对所有数据块中的每个对象，若所述对象的被访问次数不小于第一次数阈值，将所述对象所在的数据块转入存储节点缓存模块的FIFO队列中；S21、若所述对象的被访问次数不小于第二次数阈值，将所述对象所在的数据块从FIFO队列转入LRU队列。5.如权利要求1或2所述的云存储框架构建方法，步骤S3中将所述对象所在数据块转入代理节点缓存模块之前进一步包括：S30、确定所述对象的代理缓存价值。6.如权利要求5所述的云存储框架构建方法，步骤...

【专利技术属性】
技术研发人员：朱东杰，张凯，王琦，李从生，陈金昌，杜海文，赵奇隆，王子健，董爽爽，王希光，
申请(专利权)人：哈尔滨工业大学威海，威海翰宝网络科技有限公司，
类型：发明
国别省市：山东;37