数据存储控制方法及设备技术

技术编号:40738982 阅读:16 留言:0更新日期:2024-03-25 19:59
本公开提供一种数据存储控制方法及设备,涉及分布式集群技术领域。该方法包括:根据分布式存储系统中的各存储对象之间的依赖关系,构建分布式存储系统的机房分配模型,机房分配模型用于根据机房分配策略输出对应的迁移评估结果,机房分配策略用于指示为分布式存储系统中的存储对象分配的目标机房,迁移评估结果用于指示从原始机房迁移存储至目标机房的数据变迁处理所引起的开销;基于机房分配模型确定迁移评估结果最小时对应的机房分配策略作为目标机房分配策略;根据目标机房分配策略对分布式存储系统进行数据迁移。本公开可以最小化数据迁移引入的开销。

【技术实现步骤摘要】

本公开实施例涉及分布式集群,尤其涉及一种数据存储控制方法及设备


技术介绍

1、在分布式存储系统中,设置有多个存储设备,每个存储设备的存储对象可以包括数据和任务。分布式存储系统的扩容包括纵向扩容和横向扩容两种。纵向扩容是将分布式存储系统的所有存储设备中的数据整体迁移到容量充足的机房。横向扩容是基于多机房部署方案,将部分数据从原始机房迁移到新增机房中。

2、现有技术中,在上述横向扩容方案中,需要确定迁移策略,以建立存储对象和机房之间的对应关系,从而可以按照该对应关系将存储对象迁移至对应机房。该迁移策略可以通过机房容量和业务需求灵活设置。

3、然而,上述技术方案存在开销较大的问题。


技术实现思路

1、本公开实施例提供一种数据存储控制方法及设备,可以降低数据迁移引入的开销。

2、第一方面,本公开实施例提供一种数据存储控制方法,所述方法包括:

3、根据分布式存储系统中的各存储对象之间的依赖关系,构建所述分布式存储系统的机房分配模型,所述机房分配模型用于根据机房分配策略输本文档来自技高网...

【技术保护点】

1.一种数据存储控制方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述迁移评估结果包括:所述分布式存储系统对应的迁移成本、按照所述机房分配策略进行机房分配后所对应的跨机房访问量,所述迁移成本包括:将所述分布式存储系统中的所述存储对象,从所述存储对象对应的所述原始机房迁移存储到所述存储对象在所述机房分配策略中对应的目标机房,所需要的总成本。

3.根据权利要求2所述的方法,其特征在于,所述存储对象包括数据路径和计算任务,所述根据分布式存储系统中的各存储对象之间的依赖关系,构建所述分布式存储系统的机房分配模型,包括:p>

4.根据权...

【技术特征摘要】

1.一种数据存储控制方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述迁移评估结果包括:所述分布式存储系统对应的迁移成本、按照所述机房分配策略进行机房分配后所对应的跨机房访问量,所述迁移成本包括:将所述分布式存储系统中的所述存储对象,从所述存储对象对应的所述原始机房迁移存储到所述存储对象在所述机房分配策略中对应的目标机房,所需要的总成本。

3.根据权利要求2所述的方法,其特征在于,所述存储对象包括数据路径和计算任务,所述根据分布式存储系统中的各存储对象之间的依赖关系,构建所述分布式存储系统的机房分配模型,包括:

4.根据权利要求3所述的方法,其特征在于,所述迁移成本与单个存储对象的迁移成本、待迁移的存储对象数量相关,所述待迁移的存储对象数量与所述原始机房、所述机房分配策略相关;

5.根据权利要求1至4任一项所述的方法,其特征在于,所述调用所述机房分配模型,基于各机房分配策略对应的迁移评估结果,确定所述迁移评估结果最小时对应的机...

【专利技术属性】
技术研发人员:叶金韬章玮赵波陈彬彬陈祖志马凯雄田勇冯玮张康张铁赢陈建军
申请(专利权)人:北京火山引擎科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1