一种多云环境下低成本高可用性的数据优化存储方法技术

本发明专利技术提供的一种多云环境下低成本高可用性的数据优化存储方法，如图1所示，包括以下步骤：背景问题定义；云服务商信息收集；初始Pareto非劣解集生成；最优方案确定。本发明专利技术采用了Pareto最优解集的思想求解最小化成本同时最大化可用性的多目标优化模型，得到的结果比智能优化算法更完整，并且不会有多余的劣质解出现在最后的集合中。

A low cost and high availability data optimized storage method in multi cloud environment

【技术实现步骤摘要】
一种多云环境下低成本高可用性的数据优化存储方法
本专利技术涉及数据存储优化方案选择和多目标求解领域，特别是涉及一种多云环境下低成本高可用性的数据优化存储方法。
技术介绍
随着互联网、物联网、社交网络等相关技术的快速发展，“大数据”时代已经到来。数据量的爆炸性增长和用户对数据安全要求的不断提高让如何建立安全、高可用性的数据存储成为业界亟需解决的问题。相比于传统的数据存储模式，云存储减少了用户的硬件维护成本和人力投入，而且云存储具有易扩容、易管理、价格低等优点，随着云计算的蓬勃发展，许多云服务商纷纷推出了自己的云存储服务，比如AmazonS3、MicrosoftAzureStorage、GoogleCloudStorage以及AliyunOSS等。然而不同地区的同一个云服务商提供的同一功能云存储服务的价格存在异质性，提供相同功能的云存储服务在不同服务商之间也是不同的。例如，MicrosoftAzureCloudStorage在澳大利亚东部地区的存储价格比USA东部地区和欧洲北部的低，但是澳大利亚东部地区的带宽价格比其它两个地区都要高；AmazonS3在USAOregon的相比于USA东部的CenturyLinkCloud有较低的存储成本，但是Get操作成本较高。针对多云环境下的数据优化存储问题，用户最为关心的两个指标是成本和可用性，然而成本和可用性之间存在相互制约，用户想要从庞杂的云市场中选择满足自己需求的云存储服务面临着严峻的挑战。
技术实现思路
本专利技术的目的是：帮助用户从云市场中选择满足自己需求的云存储服务。为了达到上述目的，本专利技术的技术方案是提供了一种多云环境下低成本高可用性的数据优化存储方法，其特征在于，包括以下步骤：步骤1、定义用户在数据文件的存储过程所要支付的总成本，具体包括存储成本Pstor、Get操作成本Pop以及带宽成本Pnet；步骤2、多云环境下数据存储方案选择问题是一个较为典型的多目标优化问题，其优化目标是在满足用户最低可用性约束的前提下最大化所选方案的数据可用性，同时最小化总成本，最终得到由一系列Pareto等级为1的个体组成的Pareto非劣解集P，再利用熵权法确定成本和可用性权重计算Pareto非劣解集P中各个解决方案的QoS，进而向用户推荐最优解决方案。其中，Pareto非劣解集P的求解过程包括以下步骤：步骤201、从CloudHarmony上收集各云服务商所提供的数据存储服务的相关信息，并对收集到的信息进行初步的预处理和筛选；步骤202、考虑到数据分存的erasurecoding参数，分别使用控制染色体数量遍历各个erasurecoding参数取值的方法以及通过分治法多次运行NDP算法，每次选取不同的erasurecoding参数的方法初始化种群，并基于NSGA-II算法执行选择、交叉、变异、非支配排序，得到一系列Pareto等级为1的个体组成的Pareto非劣解集P。基于步骤2的优选结果，利用熵权法确定成本和可用性权重计算Pareto非劣解集P中各个解决方案的QoS，进而向用户推荐最优解决方案，具体包括以下步骤：对得到Pareto非劣解集P进行归一化处理，将所有非支配解归一化后的成本和可用性转化为一个大小为M×2的矩阵A，并计算各个目标所占的比重，并转换为各指标的信息熵权值，更进一步根据各项指标的权重计算每个非支配解对应的数据存储方案的QoS值，从中选出具有最大QoS值的数据存储方案作为向用户推荐的最优解决方案。由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术采用了Pareto最优解集的思想求解最小化成本同时最大化可用性的多目标优化模型，得到的结果比智能优化算法更完整，并且不会有多余的劣质解出现在最后的集合中。更进一步，通过信息熵的方法为用户推荐一个最优的数据存储方案，以帮助用户做出更加合理准确的决策。本专利技术具有快速高效，并且从成本、可用性等目标出发紧贴用户需求，对于在多云环境下确定适合的数据存储方案以及解决类似的多目标优化问题具有普遍适用性。可在企业中进行推广和应用，具有较强的社会及商业价值。附图说明图1是本专利技术的整体流程图；图2是本专利技术中初始Pareto非劣集合生成算法流程图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术的实施方式涉及一种多云环境下低成本高可用性的数据优化存储方法，如图1所示，包括以下步骤：A.背景问题定义；B.云服务商信息收集；C.初始Pareto非劣解集生成；D.最优方案确定。其中，步骤A具体包括：A1.定义用户在数据文件的存储过程所要支付的总成本，具体包括存储成本Pstor、Get操作成本Pop以及带宽成本Pnet；A2.定义数据存储方案选择的多目标优化问题，多云环境下的数据存储方案选择问题是一个较为典型的多目标优化问题，用户所关心的数据可用性和总成本是一对相互制约的因素。因此对于该问题，目标是最大化所选方案的数据可用性，同时在满足用户最低可用性约束的前提下最小化总成本，最终得到由一系列Pareto等级为1的个体组成的Pareto非劣解集P。再利用熵权法确定成本和可用性权重计算各个解决方案的QoS，进而向用户推荐最优解决方案。步骤B具体包括：从CloudHarmony上收集各云服务商所提供的数据存储服务的相关信息，包括存储、带宽以及各种操作的价格等内容，并对收集到的原始数据进行初步的预处理和筛选，以方便后续操作。本专利技术使用的部分云服务商所提供的数据存储服务的信息如下表所示：步骤C具体包括：考虑到数据分存的erasurecoding参数，分别使用控制染色体数量遍历各个erasurecoding参数取值的方法以及通过分治法多次运行NDP算法，每次选取不同的erasurecoding参数的方法初始化种群，并基于NSGA-II算法执行选择、交叉、变异、非支配排序等操作，得到一系列Pareto等级为1的个体组成的Pareto非劣解集P。步骤D具体包括：对步骤C中得到Pareto解集进行归一化处理，将所有非支配解归一化后的成本和可用性转化为一个大小为M×2的矩阵A，并计算各个目标所占的比重，并转换为各指标的信息熵权值，更进一步即可根据各项指标的权重计算每个非支配解对应的数据存储方案的QoS值，从中选出具有最大QoS值的数据存储方案。不难发现，本专利技术采用了Pareto最优解集的思想求解最小化成本同时最大化可用性的多目标优化模型，得到的结果比智能优化算法更完整，并且不会有多余的劣质解出现在最后的集合中。更进一步，通过信息熵的方法为用户推荐一个最优的数据存储方案，以帮助用户做出更加合理准确的决策。本专利技术具有快速高效，并且从成本、可用性等目标出发紧贴用户需求，对于在多云环境下确定适合的数据存储方案以及解决类似的多目标优化问题具有普遍适用性。可在企业中进行推广和应用，具有较强的社会及商业价值。本文档来自技高网...

【技术保护点】
1.一种多云环境下低成本高可用性的数据优化存储方法，其特征在于，包括以下步骤：步骤1、定义用户在数据文件的存储过程所要支付的总成本，具体包括存储成本Pstor、Get操作成本Pop以及带宽成本Pnet；步骤2、多云环境下数据存储方案选择问题是一个较为典型的多目标优化问题，其优化目标是在满足用户最低可用性约束的前提下最大化所选方案的数据可用性，同时最小化总成本，最终得到由一系列Pareto等级为1的个体组成的Pareto非劣解集P，再利用熵权法确定成本和可用性权重计算Pareto非劣解集P中各个解决方案的QoS，进而向用户推荐最优解决方案，其中，Pareto非劣解集P的求解过程包括以下步骤：步骤201、从CloudHarmony上收集各云服务商所提供的数据存储服务的相关信息，并对收集到的信息进行初步的预处理和筛选；步骤202、考虑到数据分存的erasure coding参数，分别使用控制染色体数量遍历各个erasure coding参数取值的方法以及通过分治法多次运行NDP算法，每次选取不同的erasure coding参数的方法初始化种群，并基于NSGA‑II算法执行选择、交叉、变异、非支配排序，得到一系列Pareto等级为1的个体组成的Pareto非劣解集P。...

【技术特征摘要】
1.一种多云环境下低成本高可用性的数据优化存储方法，其特征在于，包括以下步骤：步骤1、定义用户在数据文件的存储过程所要支付的总成本，具体包括存储成本Pstor、Get操作成本Pop以及带宽成本Pnet；步骤2、多云环境下数据存储方案选择问题是一个较为典型的多目标优化问题，其优化目标是在满足用户最低可用性约束的前提下最大化所选方案的数据可用性，同时最小化总成本，最终得到由一系列Pareto等级为1的个体组成的Pareto非劣解集P，再利用熵权法确定成本和可用性权重计算Pareto非劣解集P中各个解决方案的QoS，进而向用户推荐最优解决方案，其中，Pareto非劣解集P的求解过程包括以下步骤：步骤201、从CloudHarmony上收集各云服务商所提供的数据存储服务的相关信息，并对收集到的信息进行初步的预处理和筛选；步骤202、考虑到数据分存的erasurecoding参数，分别使用控制...

【专利技术属性】
技术研发人员：王鹏伟，章昭辉，赵才辉，陈真，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海,31