一种云存储系统中基于组合预测的动态文件放置方法技术方案

本发明专利技术请求保护一种云存储系统中基于组合预测的动态文件放置方法，包括下列主要步骤：S1，依据文件的历史访问量，获取文件访问量的时序序列；S2，根据文件访问的访问量的时序序列和设置的一个文件响应时间阈值计算文件的副本数目；S3，利用IOWA算子组合预测方法对文件的下周期访问经行预测，根据预测结果计算下周期文件副本的数目；S4，以降低云副系统平均访问延迟，提高系统可靠性和均衡系统负载构建云存储系统目标优化函数；S5，根据文件副本变化数目和存储系目标优化函数，通过布谷鸟对存储系统的文件副本进行增加和删减。本发明专利技术提高了文件访问量的预测精确度；降低了文件的平均访问延迟。

A dynamic file placement method based on combination prediction in cloud storage system

【技术实现步骤摘要】
一种云存储系统中基于组合预测的动态文件放置方法
本专利技术属于大数据存储系统领域，具体是一种云存储系统中动态副本管理方法。
技术介绍
随着互联网和移动互联网设备的飞速发展，全球数据产业规模快速增长，数据规模不断扩增，互联网的数据规模已经达到了PB级。据统计，到2020年后，全球每年产生的数据总量将达到44ZB。显然传统的计算机系统无法满足用户对大规模的数据储存和处理的需求。为了解决这些问题，专家学者们提出了云存储模式。云计算采用按用户的需求量提供服务的模式，具有按需服务、宽带网络接入、资源池化、快速弹性和可度量的服务的特征。而云存储是云计算服务的组成的一部分，其目的在于为授权用户提供高性能的大规模数据存储服务。云存储是指以集群、网络化、虚拟化、分布式操作系统、分布式文件系统等方式，将网络中大量的异构存储设备进行资源整合，并协同的为用户提供了统一的存储系统。随着大规模互联网服务的广泛采用和不断增加的交换数据，云存储已经成为满足日益增长的存储需求的终极手段，提供了看似无限的容量、高可用性和更快的访问时间。云存储系统采用数据冗余的方式保证存储在云数据中心的数据的完整性和可靠性，数据冗余一般采用多副本和编码冗余技术，多副本技术是当前云存储系统最常用的数据冗余技术。多副本技术是将一个数据项复制多份并分别存放在云存储系统的多个节点上，用以提高系统的可靠性、负载均衡以及访问速率。动态副本技术根据用户访问量、带宽等变化动态调整文件的副本数目和副本位置。尽管很多科研人员对现有的动态副本技术，大都是在当前周期检测文件的实际访问量，并得出文件所需的副本数，或者用单一的预测算法预测文件副本下一周期的访问量，但是单一的预测算法无法应对用户访问变化的复杂性，预测的精确度不高。很多研究者在研究文件副本放置时，仅仅考虑了固定数目的副本放置情况，而没有考虑到文件副本数目的动态变化，无法满足变化副本数目动态变化的放置需求。或者放置算法容易陷入局部最优，未能充分满足负载均衡、降低访问延迟、提高系统可靠性、降低能耗等多目标个优化的需求。针对以上情况，本文将提出一种基于IOWA算子组合预测模型的文件访问量预测算法；之后对需要进行增加或者删除文件，设计并提出一种基于布谷鸟搜索算法的文件副本放置策略，实现多目标的优化。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种提高云文件访问量预测精确度、同时降低文件的访问延迟的云存储系统中基于组合预测的动态文件放置方法。本专利技术的技术方案如下：一种云存储系统中基于组合预测的动态文件放置方法，其包括以下步骤：S1，依据云存储系统中文件的历史访问量，获取文件访问量的时序序列；S2，根据文件访问的访问量的时序序列和设置的一个文件响应时间阈值计算文件的副本数目；S3，利用IOWA算子组合预测方法对文件的下周期访问经行预测，根据预测结果计算下周期文件副本的数目；IOWA算子组合预测方法；S4，以降低云副系统平均访问延迟，提高系统可靠性和均衡系统负载构建云存储系统目标优化函数；S5，根据文件副本变化数目和云存储系统目标优化函数，通过布谷鸟算法对存储系统的文件副本进行增加和删减。进一步的，所述步骤S1依据云存储系统中文件的历史访问量，获取文件访问量的时序序列{xit,i＝1,2,…n}，其中xit为文件i在t周期的访问量，t为周期数；所述xit为正整数，n表示文件的数目，且i、t均为不大于n的正整数。进一步的，所述步骤S2中要求被访问的文件副本的响应时间超过设定的阈值t阈值，单个节点上处理的文件访问量不得超过：其中ttran表示访问文件的响应时间；t阈值为由管理员设定的文件fi最大响应时间，v(dj)为节点dj的数据发送速率，s(fi)表示文件的大小；；kfi表示单个节点上文件fi的最大访问数量。计算文件fi的副本数目numfi:其中，afi表示文件fi的访问量；如果numfi>3，将文件划副本数目设置为numfi；如果numfi<3，将文件副本数目设为3。进一步的，所述步骤S3中利用IOWA算子组合预测方法对热点文件的下周期访问经行预测，组合预测模型的预测值：组合预测模型的单个预测模型权重计算方法：其中，xt表示t时间段文件的访问量，ait是t时间段单个预测模型i预测值，m表示预测模型的数量，fwt表示t时间段组合预测的值，vit是ait的诱导值，即单个预测模型i在t时间段的精确度，v-index(it)是v1t,v2t,…vmt中从小到大的顺序排列的第i个大的下标，wi与a1t,a2t,...amt的大小和位置无关，只与其诱导值大小排序的位置有关，et是组合预测模型t时刻的组合预测模型误差，minS(W)最小化N个周期组合预测模型的误差。根据当前副本数目和预测得到的下一副本数目，计算得到需要增加和减少的副本集合{numiop,i＝1,2,…n}，numiop大于0表示需要增加文件fi的副本，numiop小于0表示需要减少文件fi的副本，numiop等于0表示文件fi的副本不需要增加或者减少，所述numiop为整数，i为正整数。进一步的，所述步骤S4中，构建云存储系统目标优化函数具体包括：云存储系统可靠性可定义为：其中i为文件fi，n为文件的个数，与上面步骤S1的n指的是同一个含义，j为节点dj，m为节点的个数与上面步骤S1的m指的是同一个含义，m(i,j)若为1，则表示文件i在节点j上，pj表示节点dj的故障概率；系统的发送时延可以定义为所有文件的平均发送时延：a(i,j)表示文件fi在节点j上的访问量；s(i)表示文件fi的大小，v(j)表示节点dj的发送速率，k表示文件访问队列中序号。节点j上的负载定义为访问速率与服务时间的乘积：系统的平均负载可以表示如下：负载变化目标函数LV：所述优化函数如下所示：α+β+γ＝1α，β，γ为系统常量。进一步的，所述步骤S5中基于布谷鸟算法，对新增文件副本和需要删除的文件副本进行管理，具体包括：初始化鸟巢个数Q、适应度函数fitness，设置迭代次数it，鸟巢中的一个鸟蛋代表一种副本的一个布局方案，迭代方案如下：第一步，根据现有的文件副本布局和需要增删的文件副本个数，随机生成Q个布局；第二步，通过预测的下周期文件访问量分别对Q个布局进行计算适应度，找到适应度最高的布局方案，并标记为当前最优布局Qmax；第三步，随机从不是最优布局Qmax的其他个布局Q-1种选择一个布局A，进行随机行走，得到新的布局A＇，并计算其适应度；第四步，随机从不是最优布局Qmax的其他个布局Q-1种选择一个布局B，比较A＇的适应度和B的适应度，如果A＇的适应度大于B的适应度，则抛弃布局B，将A＇放入布局集合中；第五步，抛弃Q个布局方本文档来自技高网...

【技术保护点】
1.一种云存储系统中基于组合预测的动态文件放置方法，其特征在于，包括以下步骤：/nS1，依据云存储系统中文件的历史访问量，获取文件访问量的时序序列；/nS2，根据文件访问的访问量的时序序列和设置的一个文件响应时间阈值计算文件的副本数目；/nS3，利用IOWA算子组合预测方法对文件的下周期访问经行预测，根据预测结果计算下周期文件副本的数目；IOWA算子组合预测方法先分别用自回归滑动平均模型和三次指数平滑模型预测下周期访问量，在根据两种预测模型的精确度计算两种预测模型的权值，根据权值和分别预测得到的数据得到下周期预测访问量；/nS4，构建云存储系统目标优化函数；/nS5，根据文件副本变化数目和云存储系统目标优化函数，通过布谷鸟算法对存储系统的文件副本进行增加和删减。/n

【技术特征摘要】
1.一种云存储系统中基于组合预测的动态文件放置方法，其特征在于，包括以下步骤：
S1，依据云存储系统中文件的历史访问量，获取文件访问量的时序序列；
S2，根据文件访问的访问量的时序序列和设置的一个文件响应时间阈值计算文件的副本数目；
S3，利用IOWA算子组合预测方法对文件的下周期访问经行预测，根据预测结果计算下周期文件副本的数目；IOWA算子组合预测方法先分别用自回归滑动平均模型和三次指数平滑模型预测下周期访问量，在根据两种预测模型的精确度计算两种预测模型的权值，根据权值和分别预测得到的数据得到下周期预测访问量；
S4，构建云存储系统目标优化函数；
S5，根据文件副本变化数目和云存储系统目标优化函数，通过布谷鸟算法对存储系统的文件副本进行增加和删减。


2.根据权利要求1所述的一种云存储系统中基于组合预测的动态文件放置方法，其特征在于，所述步骤S1依据云存储系统中文件的历史访问量，获取文件访问量的时序序列{xit,i＝1,2,…n}，其中xit为文件i在t周期的访问量，t为周期数；所述xit为正整数，n表示文件的数量，且i、t均为不大于n的正整数。


3.根据权利要求1所述的一种云存储系统中基于组合预测的动态文件放置方法，其特征在于，所述步骤S2中要求被访问的文件副本的响应时间超过设定的阈值t阈值，单个节点上处理的文件访问量不得超过：



其中ttran表示访问文件的响应时间；t阈值为由管理员设定的文件fi最大响应时间，v(dj)为节点dj的数据发送速率，s(fi)表示文件的大小；kfi表示单个节点上文件fi的最大访问数量；
计算文件fi的副本数目numfi:



其中，afi表示文件fi的访问量；
如果numfi>3，将文件划副本数目设置为numfi；如果numfi<3，将文件副本数目设为3。


4.根据权利要求3所述的一种云存储系统中基于组合预测的动态文件放置方法，其特征在于，所述步骤S3中利用IOWA算子组合预测方法对热点文件的下周期访问经行预测，组合预测模型的预测值：



组合预测模型的单个预测模型权重计算方法：









其中，xt表示t时间段文件的访问量，ait是t时间段单个预测模型i预测值，vit是ait的诱导值，m表示预测模型的数量，即单个预测模型i在t时间段的精确度，v-index(it)是v1t,v2t,…vmt中从小到大的顺序排列的第i个大的下标，fwt表示t时间段组合预测的值，wi与a1t,a2t,...amt的大小和位置无关，只与其诱导值大小排...

【专利技术属性】
技术研发人员：何利，吴伟，刘文瑛，袁征，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50