分布式的数据存储优化方法及装置制造方法及图纸

本申请提供一种分布式的数据存储优化方法及装置

【技术实现步骤摘要】
分布式的数据存储优化方法及装置


[0001]本申请涉及数据存储
，具体涉及一种分布式的数据存储优化方法及装置
。

技术介绍

[0002]海量数据的存储是极具挑战性的任务，这些数据不仅数据量过大，且往往要求数据存储的安全性
、
可靠性得到保证
。
为了保证存储的数据不被损坏或丢失，保证数据存储的高可靠性，现有技术中，采用在云环境下进行数据的分布式存储
。
[0003]在云环境下进行数据的分布式存储，不可避免的要对数据进行多个副本存储
、
异地冗余备份等
。
而要存储数据的多个副本就需要花费更多的存储硬件资源，且在进行多副本的存储时也需要将数据传输至不同的服务器节点
。
若存储数据的副本过多或用于存储副本的服务器节点过多，会使得数据的可靠性提高，但也导致了需要耗费大量的存储成本；若存储数据的副本过少或用于存储副本的服务器节点过少，会使得存储成本降低，但也导致数据的可靠性无法保证
。
因此，如何在云环境下对数据的分布式存储进行优化，以在确保分布式的数据存储优化的可靠性的同时，降低存储成本，是目前云环境下的分布式存储急需解决的问题
。

技术实现思路

[0004]本申请实施例提供一种分布式的数据存储优化方法及装置，能够快速确定合适的数据存储策略，在确保分布式的数据存储的可靠性的同时，降低存储成本
。
[0005]第一方面，本申请实施例提供一种分布式的数据存储优化方法，包括：
[0006]对待存储数据集中的任一候选存储策略，根据所述候选存储策略对应的各存储位置进行向量转换，生成与所述候选存储策略对应的多维向量；
[0007]对各所述多维向量根据遗传算法进行初始化，获取染色体种群；
[0008]将所述染色体种群中的各染色体输入至预先构建的多目标优化模型，根据多目标优化模型中的目标函数，对所述染色体种群中的各染色体进行选择操作
、
交叉操作和变异操作，选取所述染色体种群中适应度最高的染色体对应的所述候选存储策略为存储所述待存储数据集的目标存储策略；
[0009]其中，所述目标函数包括所述候选存储策略的存储可靠性最大且存储成本最小
。
[0010]在一个实施例中，所述对待存储数据集中的任一候选存储策略，根据所述候选存储策略对应的各存储位置进行向量转换，生成与所述候选存储策略对应的多维向量，包括：
[0011]根据所述候选存储策略对应的服务器存储位置以及磁盘存储位置，对所述候选存储策略进行向量转换，生成与所述候选存储策略对应的多维向量
。
[0012]在一个实施例中，所述多目标优化模型的构建包括：
[0013]根据所述待存储数据集中各待存储数据的存储可靠性，以及存储管理的可靠性，构建存储可靠性模型；
[0014]根据待存储数据集的数据迁移成本
、
通信成本以及在预设存储时长内的存储硬件成本，构建存储成本优化模型；
[0015]根据所述存储可靠性模型以及所述存储成本优化模型，确定所述目标函数
。
[0016]在一个实施例中，所述待存储数据的存储可靠性根据所述待存储数据在任意服务器节点之间进行数据传输的可靠性
、
上传所述待存储数据的服务器节点的软件可靠性
、
存储所述待存储数据的服务器节点的软件可靠性，以及存储所述待存储数据的服务器节点中任一磁盘的可靠性确定
。
[0017]在一个实施例中，所述根据多目标优化模型中的目标函数，对所述染色体种群中的各染色体进行选择操作
、
交叉操作和变异操作，选取所述染色体种群中适应度最高的染色体对应的所述候选存储策略为存储所述待存储数据集的目标存储策略，包括：
[0018]多次根据所述目标函数，确定当前所述染色体种群中各所述染色体的适应度，直至执行次数满足预设条件时，选取当前所述染色体种群中，适应度最高的所述染色体对应的所述候选存储策略为目标存储策略；
[0019]其中，每次在确定当前所述染色体种群中各所述染色体的适应度后，均选取所述适应度大于预设阈值的各所述染色体形成新的染色体种群进行选择操作
、
交叉操作和变异操作，获取下一染色体种群，并将下一染色体种群合并至当前所述染色体种群
。
[0020]在一个实施例中，所述确定当前所述染色体种群中各所述染色体的适应度，包括：
[0021]根据所述目标函数，对当前所述染色体种群进行快速非支配排序和拥挤度计算，确定当前所述染色体种群中各所述染色体的适应度
。
[0022]在一个实施例中，所述变异操作包括根据动态概率对所述染色体执行变异算子；所述动态概率根据所述染色体的适应度确定
。
[0023]第二方面，本申请实施例提供一种分布式的数据存储优化装置，包括：
[0024]存储策略转换模块，用于对待存储数据集中的任一候选存储策略，根据所述候选存储策略对应的各存储位置进行向量转换，生成与所述候选存储策略对应的多维向量；
[0025]数据初始化模块，用于对各所述多维向量根据遗传算法进行初始化，获取染色体种群；
[0026]存储策略确定模块，用于将所述染色体种群中的各染色体输入至预先构建的多目标优化模型，根据多目标优化模型中的目标函数，对所述染色体种群中的各染色体进行选择操作
、
交叉操作和变异操作，选取所述染色体种群中适应度最高的染色体对应的所述候选存储策略为存储所述待存储数据集的目标存储策略；
[0027]其中，所述目标函数包括所述候选存储策略的存储可靠性最大且存储成本最小
。
[0028]第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的分布式的数据存储优化方法的步骤
。
[0029]第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的分布式的数据存储优化方法的步骤
。
[0030]本申请实施例提供的分布式的数据存储优化方法及装置，通过对待存储数据集中的每个候选存储策略进行向量转换形成各多维向量后，预先构建的多目标优化模型以及遗传算法，对每个多维向量进行评价操作
、
交叉操作和变异操作，以快速地从各候选存储策略
中规划出使带存储数据集的存储可靠性最大且存储成本最小的目标存储策略，从而能够快速确定合适的数据存储策略，并使待存储数据集的存储策略在合理性上更加有保障，有效地提高了云存储环境中整体资源的利用率，进而能够在确保分布式的数据存储的可靠性的同时，降低存储成本
。
附图说明
[0031]为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种分布式的数据存储优化方法，其特征在于，包括：对待存储数据集中的任一候选存储策略，根据所述候选存储策略对应的各存储位置进行向量转换，生成与所述候选存储策略对应的多维向量；对各所述多维向量根据遗传算法进行初始化，获取染色体种群；将所述染色体种群中的各染色体输入至预先构建的多目标优化模型，根据多目标优化模型中的目标函数，对所述染色体种群中的各染色体进行选择操作
、
交叉操作和变异操作，选取所述染色体种群中适应度最高的染色体对应的所述候选存储策略为存储所述待存储数据集的目标存储策略；其中，所述目标函数包括所述候选存储策略的存储可靠性最大且存储成本最小
。2.
根据权利要求1所述的分布式的数据存储优化方法，其特征在于，所述对待存储数据集中的任一候选存储策略，根据所述候选存储策略对应的各存储位置进行向量转换，生成与所述候选存储策略对应的多维向量，包括：根据所述候选存储策略对应的服务器存储位置以及磁盘存储位置，对所述候选存储策略进行向量转换，生成与所述候选存储策略对应的多维向量
。3.
根据权利要求1或2所述的分布式的数据存储优化方法，其特征在于，所述多目标优化模型的构建包括：根据所述待存储数据集中各待存储数据的存储可靠性，以及存储管理的可靠性，构建存储可靠性模型；根据待存储数据集的数据迁移成本
、
通信成本以及在预设存储时长内的存储硬件成本，构建存储成本优化模型；根据所述存储可靠性模型以及所述存储成本优化模型，确定所述目标函数
。4.
根据权利要求3所述的分布式的数据存储优化方法，其特征在于，所述待存储数据的存储可靠性根据所述待存储数据在任意服务器节点之间进行数据传输的可靠性
、
上传所述待存储数据的服务器节点的软件可靠性
、
存储所述待存储数据的服务器节点的软件可靠性，以及存储所述待存储数据的服务器节点中任一磁盘的可靠性确定
。5.
根据权利要求1所述的分布式的数据存储优化方法，其特征在于，所述根据多目标优化模型中的目标函数，对所述染色体种群中的各染色体进行选择操作
、
交叉操作和变异操作，选取所述染色体种群中适应度最高的染色体对应的所述候选存...

【专利技术属性】
技术研发人员：王美娟，王晓婧，李夏婕，
申请(专利权)人：中移雄安信息通信科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：