一种混合应用云服务支撑平台的自动分级存储方法技术

本发明专利技术涉及一种混合应用云服务支撑平台的自动分级存储方法，首先基于模糊软聚类算法设计一个能够对底层各类存储介质进行自动分级的管理模块，并在此基础上实现了对混合应用模式下海量数据预放置的模块和自适应迁移模块，能够实现混合应用海量数据存储系统数据分布的均衡性和自适应特性，并能为上层高性能云服务应用提供快速的数据定位服务，基于上述分级存储系统，对管理模块采用软聚类算法对底层混合的存储介质进行分级，形成一个虚拟的g级存储域，数据通过预放置模块，结合元数据服务信息和一致Hash算法被均匀地分布在g级存储区域的介质中。

【技术实现步骤摘要】
一种混合应用云服务支撑平台的自动分级存储方法
本专利技术涉及一种混合应用云服务支撑平台的自动分级存储方法。
技术介绍
随着云计算技术的不断发展，越来越多的信息服务构建于云平台之上。目前的信息服务从应用模式来看，通常可以分为两大类：①针对上层应用多样化需求面向弹性资源的需求密集型信息服务，需要系统根据业务需求的动态变化弹性提供底层资源；②面向数据分析的计算密集型信息服务，通过高度并行化的分布式计算模式来实现分析处理的高效执行。两类应用模式涵盖了大量相互独立、需求各异的实际应用，分别对底层软硬件资源、网络环境产生了多样化的需求：一方面计算密集型应用由于其计算模式相对固定，对并行度、网络延迟要求较高；另一方面需求密集型应用往往对系统平台的软硬件配置具有更加灵活的需求。实际生产环境中，两类需求往往同时存在，共同构成了对未来信息服务的混合应用需求。一方面，单一应用内部存在多种不同需求的应用模式，产生应用内的混合应用需求；另一方面，多应用并行环境中，各应用分属不同类型的应用模式，产生应用间的混合应用需求。混合应用在各个行业都广泛存在，而混合应用之间的数据勾稽关联度也多种多样，相应的数据存储要求分类复杂，需要综合性适应处理，一种单一的存储模式不能适应应用需求的发展，此类情况在税务行业尤其普遍，提出面向混合应用的云服务平台自动分级存储方法，是为了以此解决税务数据资源分配不合理、应用模式多用途调度以及越来越多的数据分析需求等诸多问题。
技术实现思路
本专利技术要解决技术问题是：克服现有技术的上述不足，提供一种混合应用云服务支撑平台的自动分级存储方法，实现依据数据的重要性、访问频率、保留时间、容量、性能指标等要素将数据分门别类的存储于不同的设备之上。为解决以上问题，并保证高性能云服务支撑平台系统运行效率是资源优化的重要前提，为此需从高性能计算以及云计算两方面入手，结合各自运行特征研究相应的资源优化策略，以提高底层资源利用率，同时保证系统执行性能。混合应用云服务支撑平台的自动分级存储系统架构如图1所示。首先基于模糊软聚类算法设计一个能够对底层各类存储介质进行自动分级的管理模块FCM，并在此基础上实现了对混合应用模式下海量数据预放置的模块IDP和自适应迁移模块ADM，能够实现混合应用海量数据存储系统数据分布的均衡性和自适应特性，并能为上层高性能云服务应用提供快速的数据定位服务。基于上述分级存储系统，对FCM模块采用软聚类算法对底层混合的存储介质进行分级，形成一个虚拟的g级存储域，数据通过预放置(InitialDataPlacement，IDP)模块，结合元数据服务(MeteDataService，MDS)信息和一致Hash算法(ConsistentHashAlgorithm，CHA)被均匀地分布这g级存储区域的介质中。附图说明图1为混合应用云服务支撑平台的自动分级存储系统架构图。具体实施方式针对高性能应用，基于历史任务排队等待时间研究历史任务等待时间在置信区间里的分布，采用变化点检测方法对时间序列中固定部分进行考量，进而实现对任务等待时间上限的有效预测。假设X是一个随机变量，Xq为q分位数，则有Xi大于Xq的概率为1？q。我们对各类相关的混合应用执行日志进行分析，将任务等待时间作为随机变量X，且任务等待时间可视为一个概率为q的独立伯努利试验的序列，即一个任务的等待时间不大于Xq的概率为q。若有n个任务到达，则至少k个任务等待时间超过Xq的概率可以表示为：根据上式求得令Pk大于指定的置信水平C的最小k值，则在n个已排序的任务等到时间数据集中，第k个数值为Xq提供了置信水平上限C，即在n个已排序的任务等到时间数据集中，第k个数值大于或等于Xq。由此，可以预测得到高性能计算任务的等待时间。基于上述任务等待时间，以满足任务QoS要求为前提，提出任务队列的动态调整策略，将预测等待时间大于给定阈值的任务移入等待时间较短的队列，从而减少任务排队等待时间，进而达到计算资源负载均衡，提升资源利用率。针对云计算应用，首先对云环境虚拟机资源进行监控采集状态数据，包括物理机的CPU，memory和storage利用率等数据。在系统中，多台虚拟机是运行在一台物理机上的，每台虚拟机占用一部分资源，则一台物理机负载情况可由下式计算得到：表示在t时刻，运行在物理机p上的虚拟机v所带来的负载，包括对CPU，memory以及storage三方面的负载。为物理机p上的负载总和。给定物理机p上CPU，memory以及storage的综合容量为Capacityp，则有：基于上述分析，我们提出以最大化物理机资源利用率为目标的非线性约束的优化模型(如下所示)，并对其进行求解得到最优物理机负载均衡方案，进而实现虚拟机的合并与迁移，最终整合闲散虚拟机，关闭空闲物理机，提高资源利用率。。本文档来自技高网...

【技术保护点】
一种混合应用云服务支撑平台的自动分级存储方法，首先基于模糊软聚类算法设计一个能够对底层各类存储介质进行自动分级的管理模块，并在此基础上实现了对混合应用模式下海量数据预放置的模块和自适应迁移模块，能够实现混合应用海量数据存储系统数据分布的均衡性和自适应特性，并能为上层高性能云服务应用提供快速的数据定位服务，基于上述分级存储系统，对管理模块采用软聚类算法对底层混合的存储介质进行分级，形成一个虚拟的g级存储域，数据通过预放置模块，结合元数据服务信息和一致Hash算法被均匀地分布在g级存储区域的介质中。

【技术特征摘要】
1.一种混合应用云服务支撑平台的自动分级存储方法，首先基于模糊软聚类算法设计一个能够对底层各类存储介质进行自动分级的管理模块，并在此基础上实现了对混合应用模式下海量数据预放置的模块和自适应迁移模块，能够实现混合应用海量数据存储系统数据分布的均衡性和自适应特性，并能为上层高性能云服务应用提供快速的数据定位服务，基于上述分级存储系统，对管理模块采用软聚类算法对底层混合的存储介质进行分级，形成一个虚拟的g级存储域，数据通过预放置模块，结合元数据服务信息和一致Hash算法被均匀地分布在g级存储区域的介质中。2.根据权利要求1所述混合应用云服务支撑平台的自动分级存储方法...

【专利技术属性】
技术研发人员：周运杭，周亚军，朱俊，张岳红，李爱兵，曹纪中，朱春，杨修花，
申请(专利权)人：江苏南开之星软件技术有限公司，
类型：发明
国别省市：江苏,32