一种云存储系统中基于组合预测的动态文件放置方法技术方案

本发明专利技术请求保护一种云存储系统中基于组合预测的动态文件放置方法，包括下列主要步骤：S1，依据文件的历史访问量，获取文件访问量的时序序列；S2，根据文件访问的访问量的时序序列和设置的一个文件响应时间阈值计算文件的副本数目；S3，利用IOWA算子组合预测方法对文件的下周期访问经行预测，根据预测结果计算下周期文件副本的数目；S4，以降低云副系统平均访问延迟，提高系统可靠性和均衡系统负载构建云存储系统目标优化函数；S5，根据文件副本变化数目和存储系目标优化函数，通过布谷鸟对存储系统的文件副本进行增加和删减。本发明专利技术提高了文件访问量的预测精确度；降低了文件的平均访问延迟。

A dynamic file placement method based on combination prediction in cloud storage system

【技术实现步骤摘要】
一种云存储系统中基于组合预测的动态文件放置方法
本专利技术属于大数据存储系统领域，具体是一种云存储系统中动态副本管理方法。
技术介绍
随着互联网和移动互联网设备的飞速发展，全球数据产业规模快速增长，数据规模不断扩增，互联网的数据规模已经达到了PB级。据统计，到2020年后，全球每年产生的数据总量将达到44ZB。显然传统的计算机系统无法满足用户对大规模的数据储存和处理的需求。为了解决这些问题，专家学者们提出了云存储模式。云计算采用按用户的需求量提供服务的模式，具有按需服务、宽带网络接入、资源池化、快速弹性和可度量的服务的特征。而云存储是云计算服务的组成的一部分，其目的在于为授权用户提供高性能的大规模数据存储服务。云存储是指以集群、网络化、虚拟化、分布式操作系统、分布式文件系统等方式，将网络中大量的异构存储设备进行资源整合，并协同的为用户提供了统一的存储系统。随着大规模互联网服务的广泛采用和不断增加的交换数据，云存储已经成为满足日益增长的存储需求的终极手段，提供了看似无限的容量、高可用性和更快的访问时间。云存储系统采用数据冗余的方式保证存储本文档来自技高网...

【技术保护点】
1.一种云存储系统中基于组合预测的动态文件放置方法，其特征在于，包括以下步骤：/nS1，依据云存储系统中文件的历史访问量，获取文件访问量的时序序列；/nS2，根据文件访问的访问量的时序序列和设置的一个文件响应时间阈值计算文件的副本数目；/nS3，利用IOWA算子组合预测方法对文件的下周期访问经行预测，根据预测结果计算下周期文件副本的数目；IOWA算子组合预测方法先分别用自回归滑动平均模型和三次指数平滑模型预测下周期访问量，在根据两种预测模型的精确度计算两种预测模型的权值，根据权值和分别预测得到的数据得到下周期预测访问量；/nS4，构建云存储系统目标优化函数；/nS5，根据文件副本变化数目和云存...

【技术特征摘要】
1.一种云存储系统中基于组合预测的动态文件放置方法，其特征在于，包括以下步骤：
S1，依据云存储系统中文件的历史访问量，获取文件访问量的时序序列；
S2，根据文件访问的访问量的时序序列和设置的一个文件响应时间阈值计算文件的副本数目；
S3，利用IOWA算子组合预测方法对文件的下周期访问经行预测，根据预测结果计算下周期文件副本的数目；IOWA算子组合预测方法先分别用自回归滑动平均模型和三次指数平滑模型预测下周期访问量，在根据两种预测模型的精确度计算两种预测模型的权值，根据权值和分别预测得到的数据得到下周期预测访问量；
S4，构建云存储系统目标优化函数；
S5，根据文件副本变化数目和云存储系统目标优化函数，通过布谷鸟算法对存储系统的文件副本进行增加和删减。


2.根据权利要求1所述的一种云存储系统中基于组合预测的动态文件放置方法，其特征在于，所述步骤S1依据云存储系统中文件的历史访问量，获取文件访问量的时序序列{xit,i＝1,2,…n}，其中xit为文件i在t周期的访问量，t为周期数；所述xit为正整数，n表示文件的数量，且i、t均为不大于n的正整数。


3.根据权利要求1所述的一种云存储系统中基于组合预测的动态文件放置方法，其特征在于，所述步骤S2中要求被访问的文件副本的响应时间超过设定的阈值t阈值，单个节点上处理的文件访问量不得超过：



其中ttran表示访问文件的响应时间；t阈值为由管理员设定的文件fi最大响应时间，v(dj)为节点dj的数据发送速率，s(fi)表示文件的大小；kfi表示单个节点上文件fi的最大访问数量；
计算文件fi的副本数目numfi:



其中，afi表示文件fi的访问量；
如果numfi>3，将文件划副本数目设置为numfi；如果numfi<3，将文件副本数目设为3。


4.根据权利要求3所述的一种云存储系统中基于组合预测的动态文件放置方法，其特征在于，所述步骤S3中利用IOWA算子组合预测方法对热点文件的下周期访问经行预测，组合预测模型的预测值：



组合预测模型的单个预测模型权重计算方法：









其中，xt表示t时间段文件的访问量，ait是t时间段单个预测模型i预测值，vit是ait的诱导值，m表示预测模型的数量，即单个预测模型i在t时间段的精确度，v-index(it)是v1t,v2t,…vmt中从小到大的顺序排列的第i个大的下标，fwt表示t时间段组合预测的值，wi与a1t,a2t,...amt的大小和位置无关，只与其诱导值大小排...

【专利技术属性】
技术研发人员：何利，吴伟，刘文瑛，袁征，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50