混合云中基于NGSA多目标的副本放置方法技术

本发明专利技术公开了一种混合云中基于NGSA多目标的副本放置方法，是结合副本放置算法和混合云资源放置规则提出来的基于NGSA多目标的任务调度方法，本调度方法适用于混合云环境下大数据副本放置，它综合考虑了副本放置规则和混合云环境的特点以及系统性能的相关影响因素，提出基于多个子目标函数。传统的副本放置算法鲜有考虑文件可用率和数据的可靠性的，并且多目标优化算法需要大量的训练作业集。本发明专利技术方法无需大量的数据集训练，能够快速的选择最优解，满足多个子目标要求，使得混合云整体利用率提高；优化副本放置减少了负载均衡的过程，保证了数据可靠性的同时提高了混合云存储的利用率，提高了QoS满意率，达到了合理放置数据块副本目的。

Replica Placement Method Based on NGSA Multiobjective in Mixed Cloud

The invention discloses a multi-objective replica placement method based on NGSA in hybrid cloud, which is a multi-objective task scheduling method based on NGSA combined with replica placement algorithm and hybrid cloud resource placement rule. The scheduling method is suitable for large data replica placement in hybrid cloud environment. It takes into account the characteristics of replica placement rule and hybrid cloud environment and the correlation of system performance. Influencing factors are put forward based on multiple sub-objective functions. Traditional replica placement algorithms rarely consider file availability and data reliability, and multi-objective optimization algorithms require a large number of training sets. The method of the invention does not need a large amount of data set training, can quickly select the optimal solution, meet the requirements of multiple sub-goals, and improve the overall utilization rate of the hybrid cloud; the optimized replica placement reduces the process of load balancing, ensures the reliability of the data, improves the utilization rate of the hybrid cloud storage, improves the satisfaction rate of the quality of service, and achieves the purpose of placing a reasonable replica of the data block.

【技术实现步骤摘要】
混合云中基于NGSA多目标的副本放置方法
本专利技术涉及计算机云存储
，特别涉及一种混合云中基于NGSA多目标的副本放置方法。
技术介绍
云存储有以下几个特点：成本低、易于管理、高可用性、高扩展、数据容灾能力强、降低中断升级的影响。如何优化现有的云使用策略(节约云使用成本)、用云计算缓解工作负载、扩展公有云是云存储研究的关键点。目前云计算模式主要有三类:私有云、公有云和混合云。私有云是针对持定的组织或企业内部提供云计算服务的一种云计算模式，能够根据资源节点数量、性能等不同的建设需求而定制，具有数据安全性好、服务质量高、单次计算成本较低的特点；公有云是在公共网络环境(Internet)上，以第三方服务供应商的方式，为用户提供可租用服务及基础设施，具有节点数量大、可用资源多、按计算使用情况计费、对通信质量较为敏感等持点；混合云融合了公有云和私有云，是近年来云计算的主要模式和发展方向。混云环境下的多副本管理技术主要是依托于现在新型的云存储技术，要在混合云环境下如何优化多副本管理技术就要综合云平台特性及客户需求，有不同的策略，在这种复杂情况下的数据副本管理不仅要依赖于传统多副本管理方法，还要针对混合云环境下不同应用优化服务策略，因为优秀的副本管理策略直接影响用户体验，必须考虑以下情形：运行系统负载、存储终端效率、网络状况、数据副本个数、放置位置、创建最佳时机、创建副本数量等。虽然混合云环境下副本的引入很好地解决了公有云对用户的响应时间问题，但在混合云中，网络的延迟可能导致从副本接收到的更新消息顺序与主副本发送的顺序不同，网络的拥塞或断开可能会使主副本发送的更新消息丢失，这都会导致从副本与主副本的不一致。保证混合云运行环境负载均衡，合理放置副本数目才能够保证资源部署成本，降低用户使用成本，提高系统性能，避免系统负载不均衡。迄今为止，学者们提出了很多有关副本放置的算法。但是这些算法并能不较好地适用于混合云环境下大数据的副本放置。
技术实现思路
本专利技术的目的是针对现有技术的不足，提出一种混合云中基于NGSA多目标的副本放置方法，通过充分利用系统资源，能提高任务执行效率的同时减少任务执行能耗。为实现上述目的，本专利技术所设计的混合云中基于NGSA多目标的副本放置方法，其特殊之处在于，包括如下步骤：1)初始化集群节点信息；2)获得创建副本数k，建立数据块NGSA-II副本放置优化模型，设定子目标优化函数个数，确定变量定义域范围，配置交叉算子、变异算子、选择算子、子目标优化函数，设置群体大小M，终止条件T，所述子目标优化函数包括文件可用率函数、节点性能函数、节点相对负载函数、网络距离函数和集群负载函数；3)求解数据块NGSA-II副本放置优化模型，在终止条件T内，种群内的每个个体按照设定概率进行选择、杂交、变异生成子代个体，将子代和父代合并生成新的种群Pt；4)对种群Pt进行快速非支配排序及拥挤度计算；5)引入NGSA精英保留策略，筛选保留满足拥挤度要求的个体放入种群Pt。6)通过快速非支配排序，获得第一、第二级非支配解集构成最佳解集Z；7)计算最佳解集Z中每个个体的拥挤度，并选择最小值，即为子目标优化函数的最优解；8)根据子目标优化函数最优解，放置数据块副本到子目标优化函数最优解对应的个体编码位的指定节点，并记录放置信息。优选地，所述步骤2)中数据块NGSA-II副本放置优化模型为其中，表示新增数据块中，数据块i的第ki个副本放置在节点j上；表示新增数据块中，数据块i的第ki个副本不放置在节点j上，表示第i个数据块新增副本的个数；Nnode表示DataNode节点的个数。优选地，所述步骤4)和步骤7)中拥挤度的计算公式为其中，为多目标函数中第m个指标按照快速非支配排序后个体i的目标值，1≤m≤5，和表示多目标函数中第m个指标的最大值和最小值，对下次迭代的种群，按照拥挤度距离dis(i)进行排序，选择最小的dis(i)，即为最贴近目标值的解。优选地，所述步骤8)中放置数据块副本时，满足如下规则：不同数据块的副本放置于同一个DataNode节点上时，令Nblock表示数据块的个数，则使得其中，Fj表示在新增数据块副本放置过程中节点Nj拥有的新增的数据块个数，表示第i个数据块需要添加的副本数。优选地，所述步骤8)中放置数据块副本时，满足如下规则：同一个数据块的不同副本放置在不同的DataNode节点上时，有DESTi＝{Ni1,Ni2,…,Nir}其中，Nir表示数据块bi第个副本，Nblock表示数据块的个数，DESTi表示当前数据块bi已经放置的副本所在节点的集合|DESTi|＝Rexit，即Rexit表示数据块当前存在的副本个数。优选地，所述步骤2)中文件可用率函数为：其中，Nnode表示DataNode节点的个数，f1是多目标函数的第一个目标函数。优选地，所述步骤2)中节点性能子目标优化函数为：其中，Nnode表示DataNode节点的个数，f2是多目标函数的第二个目标函数，D(Nj)表示数据节点磁盘性能的量化值，D(Nj)＝(Size×R×Cache×Vdata)/T′，Size表示磁盘容量，R表示磁盘转速，Cache表示缓存大小，Vdata表示磁盘传输速率，T′表示平均寻道时间；C(Nj)表示节点CPU的量化值，C(Nj)＝f×Cache×Num×Vbus，f表示CPU的主频，Cache表示缓存大小，Num表示CPU的核心数量，Vbus表示CPU的总线数度；M(Nj)表示节点内存的量化，M(Nj)＝(V×Size×Bandwidth)/CAS，V表示网络传输速度，Size表示内存的大小，Bandwidth表示内存的带宽，CAS表示响应时间，整体性能越高越好。优选地，所述步骤2)中节点相对负载子目标优化函数为：其中，Nnode表示DataNode节点的个数，f3是多目标函数的第三个目标函数，节点j上已经放置的数据块个数为每个节点的性能为Pj，P为集群所有节点的性能和。优选地，所述步骤2)中网络距离子目标优化函数为：其中，f4是多目标函数的第四个目标函数，S0表示数据块大小；Ctr表示单位时间内每比特数据的传输成本；Rk表示数据块在稳定网络环境中的下载时间；表示在系统网络拓扑结构G中，用户到副本的期望最近距离，用户到副本的期望最近距离hij表示数据块i和节点j之间的最短网络距离。优选地，所述步骤2)中集群负载子目标优化函数为：其中，f5是多目标函数的第五个目标函数，Bsize表示文件分片大小，Fj表示在新增数据块副本放置过程中节点Nj拥有的新增的数据块个数，Cj表示节点j上总存储空间，表示节点j已经使用的存储空间，定义节点j存储空间使用率为βj，集群平均存储使用率每个数据块大小相等。传统的副本放置算法鲜有考虑文件可用率和数据的可靠性的，并且多目标优化算法需要大量的训练作业集。本专利技术提出基于NGSA多目标的副本放置算法，该方法无需大量的数据集训练，能够快速的选择最优解，满足多个子目标要求，使得混合云整体利用率提高。本专利技术结合副本放置算法和混合云资源放置规则提出来基于NGSA多目标的任务调度方法。本调度方法适用于混合云环境下大数据副本放置，它综合考虑了副本放置规则和混合云环境的特点以及系统性能的相关影响因素，提出本文档来自技高网...

【技术保护点】
1.一种混合云中基于NGSA多目标的副本放置方法，其特征在于：包括如下步骤：1)初始化集群节点信息；2)获得创建副本数k，建立数据块NGSA‑II副本放置优化模型，设定子目标优化函数个数，确定变量定义域范围，配置交叉算子、变异算子、选择算子、子目标优化函数，设置群体大小M，终止条件T，所述子目标优化函数包括文件可用率函数、节点性能函数、节点相对负载函数、网络距离函数和集群负载函数；3)求解数据块NGSA‑II副本放置优化模型，在终止条件T内，种群内的每个个体按照设定概率进行选择、杂交、变异生成子代个体，将子代和父代合并生成新的种群Pt；4)对种群Pt进行快速非支配排序及拥挤度计算；5)引入NGSA精英保留策略，筛选保留满足拥挤度要求的个体放入种群Pt；6)通过快速非支配排序，获得第一、第二级非支配解集构成最佳解集Z；7)计算最佳解集Z中每个个体的拥挤度，并选择最小值，即为子目标优化函数的最优解；8)根据子目标优化函数最优解，放置数据块副本到子目标优化函数最优解对应的个体编码位的指定节点，并记录放置信息。

【技术特征摘要】
1.一种混合云中基于NGSA多目标的副本放置方法，其特征在于：包括如下步骤：1)初始化集群节点信息；2)获得创建副本数k，建立数据块NGSA-II副本放置优化模型，设定子目标优化函数个数，确定变量定义域范围，配置交叉算子、变异算子、选择算子、子目标优化函数，设置群体大小M，终止条件T，所述子目标优化函数包括文件可用率函数、节点性能函数、节点相对负载函数、网络距离函数和集群负载函数；3)求解数据块NGSA-II副本放置优化模型，在终止条件T内，种群内的每个个体按照设定概率进行选择、杂交、变异生成子代个体，将子代和父代合并生成新的种群Pt；4)对种群Pt进行快速非支配排序及拥挤度计算；5)引入NGSA精英保留策略，筛选保留满足拥挤度要求的个体放入种群Pt；6)通过快速非支配排序，获得第一、第二级非支配解集构成最佳解集Z；7)计算最佳解集Z中每个个体的拥挤度，并选择最小值，即为子目标优化函数的最优解；8)根据子目标优化函数最优解，放置数据块副本到子目标优化函数最优解对应的个体编码位的指定节点，并记录放置信息。2.根据权利要求1所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤2)中数据块NGSA-II副本放置优化模型为其中，表示新增数据块中，数据块i的第ki个副本放置在节点j上；表示新增数据块中，数据块i的第ki个副本不放置在节点j上，表示第i个数据块新增副本的个数；Nnode表示DataNode节点的个数。3.根据权利要求1所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤4)和步骤7)中拥挤度的计算公式为其中，为多目标函数中第m个指标按照快速非支配排序后个体i的目标值，1≤m≤5，和表示多目标函数中第m个指标的最大值和最小值，对下次迭代的种群，按照拥挤度距离dis(i)进行排序，选择最小的dis(i)，即为最贴近目标值的解。4.根据权利要求1所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤8)中放置数据块副本时，满足如下规则：不同数据块的副本放置于同一个DataNode节点上时，令Nblock表示数据块的个数，则使得其中，Fj表示在新增数据块副本放置过程中节点Nj拥有的新增的数据块个数，表示第i个数据块需要添加的副本数。5.根据权利要求1所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤8)中放置数据块副本时，满足如下规则：同一个数据块的不同副本放置在不同的DataNode节点上时，有DESTi＝{Ni1,Ni2,…,Nir}其中，Nir表示数据块bi第个副本...

【专利技术属性】
技术研发人员：李春林，王亚平，白静盼，陈维宁，赵张承，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北,42