一种跨域异构存储集群的管理调度方法及系统技术方案

技术编号:42164447 阅读:18 留言:0更新日期:2024-07-27 00:13
本发明专利技术提出了一种跨域异构存储集群的管理调度方法及系统,以总存储成本最小、总吞吐量最大以及待存储数据集与即将存储的存储系统的位置最近为优化目标,采用非支配排序的遗传算法进行约束条件求解,进行最优存储位置的选择,不仅提高了数据访问性能,减少延迟,并降低了对网络带宽和存储资源的不必要消耗。

【技术实现步骤摘要】

本专利技术属于分布式虚拟存储相关,尤其涉及一种跨域异构存储集群的管理调度方法及系统


技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息,不必然构成在先技术。

2、随着大数据、云计算、物联网技术的发展,各行各业的数据呈现爆炸式增长,挖掘和有效利用海量数据信息已成为企业发展和科技进步的战略核心,而这些海量数据往往存在于不同存储系统中,使用不同的访问协议和接口,他们无法直接互相访问,难以实现统一的管理和共享,在需要多个数据中心并发处理海量数据的时候,一般采用数据迁移或重复存储的方式,严重影响了数据处理的效率。因此,亟需将不同区域的存储系统进行无缝整合,构筑基于数据密集型应用的存储底座,实现各异构存储系统的统一管理调度。

3、在这一背景下,分布式虚拟存储系统的出现提供了解决方案。分布式虚拟存储系统通过分布式的架构,将分散在不同区域的存储系统虚拟化,构建出统一的存储池,跨越地域限制,实现数据在不同存储系统间的共享,例如:hdfs、ceph、alluxio等。alluxio是一个开源的分布式虚拟存储系统,它在异构物理存储资源本文档来自技高网...

【技术保护点】

1.一种跨域异构存储集群的管理调度方法,其特征在于,包括:

2.如权利要求1中的一种跨域异构存储集群的管理调度方法,其特征在于,所述约束条件包括:每个待存储数据集只能存储在一个存储系统上;待存储数据集的大小不大于即将存储的存储系统的剩余容量。

3.如权利要求1中的一种跨域异构存储集群的管理调度方法,其特征在于,采用非支配排序的遗传算法对所述多目标优化问题进行优化求解,具体为:

4.如权利要求3中的一种跨域异构存储集群的管理调度方法,其特征在于,利用基于参考点的小生境保存策略,自适应调整参考点使恰有N个参考点满足ρj=1,则去掉增加的ρj=0的参考点,所...

【技术特征摘要】

1.一种跨域异构存储集群的管理调度方法,其特征在于,包括:

2.如权利要求1中的一种跨域异构存储集群的管理调度方法,其特征在于,所述约束条件包括:每个待存储数据集只能存储在一个存储系统上;待存储数据集的大小不大于即将存储的存储系统的剩余容量。

3.如权利要求1中的一种跨域异构存储集群的管理调度方法,其特征在于,采用非支配排序的遗传算法对所述多目标优化问题进行优化求解,具体为:

4.如权利要求3中的一种跨域异构存储集群的管理调度方法,其特征在于,利用基于参考点的小生境保存策略,自适应调整参考点使恰有n个参考点满足ρj=1,则去掉增加的ρj=0的参考点,所去掉的参考点中不包括原参考点;其中,n为所述后代种群中个体的大小,ρj为参考点的小生境数量。

5.如权利要求3中的一种跨域异构存储集群的管理调度方法,其特征在于,采用二进制交叉算子和多项式变异对种群中个体进行交叉和变异,通过自适应调整交叉和变异率,生成后代种群,具体为:当个体与其自身最近的个体之间的距离小于个体之间的平均距离时,随迭代次数的增加,增加交叉和变异概率;当个体与其自身最近的个体之间的距离大于个体之间的平均距离时,随迭代次数的增...

【专利技术属性】
技术研发人员:王春晓刘秋月臧书昌王英龙赵志刚温华岗陈静张俭郝国鹏
申请(专利权)人:山东省计算中心国家超级计算济南中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1