多机房的数据副本配置方法、装置、介质、设备及产品制造方法及图纸

本公开涉及一种多机房的数据副本配置方法、装置、介质、设备及产品，涉及计算机技术领域，该方法通过获取文件目录的元信息和历史流量信息，根据文件目录的元信息中文件目录的数据副本在多机房环境中的部署方式，生成备选的多个副本调整策略，并根据元信息和历史流量信息，预测每个副本调整策略被执行的潜在收益，根据每个副本调整策略对应的潜在收益，从多个副本调整策略中筛选得到目标副本调整策略，然后根据目标副本调整策略控制文件目录对应的数据副本在多机房环境中的部署方式，可以准确地计算出各文件目录对应的副本调整策略的潜在收益，从而根据收益选取最优的目标副本调整策略，以使数据副本的部署方式能够达到最优。

【技术实现步骤摘要】

本公开涉及计算机，具体地，涉及一种多机房的数据副本配置方法、装置、介质、设备及产品。

技术介绍

1、随着数据量的快速增长和分布式计算需求的增加，分布式文件系统（hdfs）已经成为大规模数据存储和处理的基础设施之一。分布式文件系统通过数据分片和多机房部署，具有高可用性、高容错和高性能。

2、一般来说，在多机房部署的分布式文件系统中，数据采用多数据副本的方式配置在不同的机房中，因此，在多机房的分布式文件系统下，如何在多机房中部署数据副本对成本的影响非常显著。

3、在相关技术中，一般由工作人员基于数据的访问模式和流量分析，对分布式文件系统中个别文件目录的数据副本进行手动调整，以优化分布式文件系统的性能和成本。例如，可以增加热数据的数据副本数量，减少冷数据的数据副本数量，或者可以将文件目录复制到计算任务密集访问的机房中。然而，这种手动调整数据副本的部署方式的调整效率低下，而且调整效果不佳。

技术实现思路

1、提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详本文档来自技高网...

【技术保护点】

1.一种多机房的数据副本配置方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据每个所述副本调整策略对应的潜在收益，从多个所述副本调整策略中筛选得到目标副本调整策略，包括：

3.根据权利要求2所述的方法，其特征在于，在所述副本调整策略为在所述多机房环境的至少一个目标机房增加部署所述文件目录的数据副本的情况下，所述目标函数的收益条件为所述目标副本调整策略集合包括的副本调整策略的潜在流量收益的总和，所述约束条件为所述目标副本调整策略集合包括的副本调整策略增加的存储空间的总和不超过预设存储容量；

4.根据权利要求1所述的方法，其特征在...

【技术特征摘要】

1.一种多机房的数据副本配置方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据每个所述副本调整策略对应的潜在收益，从多个所述副本调整策略中筛选得到目标副本调整策略，包括：

3.根据权利要求2所述的方法，其特征在于，在所述副本调整策略为在所述多机房环境的至少一个目标机房增加部署所述文件目录的数据副本的情况下，所述目标函数的收益条件为所述目标副本调整策略集合包括的副本调整策略的潜在流量收益的总和，所述约束条件为所述目标副本调整策略集合包括的副本调整策略增加的存储空间的总和不超过预设存储容量；

4.根据权利要求1所述的方法，其特征在于，所述根据所述元信息和所述历史流量信息，预测每个所述副本调整策略被执行的潜在收益，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述元信息包括的所述文件目录占用的存储空间，确定所述副本调整策略被执行带来的潜在存储收益，包括：

...

【专利技术属性】
技术研发人员：陈祖志，陈彬彬，张鑫春，章玮，赵波，张铁赢，李亚坤，田勇，冯玮，张康，陈建军，师锐，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：