基于文件热度与多目标优化的容灾数据高价值快速有序恢复方法技术

本发明专利技术涉及一种基于文件热度与多目标优化的容灾数据高价值快速有序恢复方法，该方法针对电力计量数据容灾需求，通过构建容灾数据副本元数据属性组以计算文件的热度值，制定恢复优先级，并采用多目标优化方法，对负载率、业务传输时延和业务数据损耗等目标进行优化，获得最佳服务器节点，有效提升容灾数据恢复效率。与现有技术相比，本发明专利技术能够实现大量电力计量系统容灾数据的快速有序恢复，提高容灾数据恢复过程中系统的吞吐量，减少用户访问的响应时间，提高系统的数据服务能力，保证电力计量容灾数据业务价值最大化。量容灾数据业务价值最大化。

【技术实现步骤摘要】
基于文件热度与多目标优化的容灾数据高价值快速有序恢复方法


[0001]本专利技术属于电力计量数据
，具体涉及一种基于基于文件热度与多目标优化的容灾数据高价值快速有序恢复方法

技术介绍
：
[0002]在大数据背景下，随着海量新型电力设备大规模接入配电网，配电网络中的电能计量装置会产生大量的多源数据信息，各种电力计量信息错综复杂，大量有价值的数据资源无法发挥出本身的作用，使得数据的可用性大幅下降，难以为电力系统的发展提供有效支撑。
[0003]容灾技术是提高数据可用性的重要方式，通过增加相同数据的副本并且在集群节点中分散放置，可以增加同一时间服务的用户数量、并行读取增加数据访问的速度，显著提高电力计量数据的可用性。
[0004]然而，现有容灾技术在数据恢复过程中难以制定有效的策略，且由于孤立的微电网和不同的采集标准，各部门之间的容灾数据一直缺乏有效整合。因此，电力计量容灾数据如何高价值快速有序恢复是一个亟需解决的问题。
[0005]传统的数据容灾恢复方案通常采用就近原则，不对数据的优先级加以划分，此类方案在服务器负载率较低时能够完成容灾数据的及时恢复，但在高负载率的情况下，容易因关键数据得不到及时恢复导致系统产生重大损失，而采用多目标优化算法可以实现容灾数据的高价值快速有序恢复，通过优化目标的制定与求解，以达到性能的快速高效收敛，相较于传统方式对场景的适应能力更强。

技术实现思路
：
[0006]有鉴于此，本专利技术的目的在于提出一种基于文件热度与多目标优化的容灾数据高价值快速有序恢复方法，以实现电力计量容灾数据的高效恢复。
[0007]为达到上述目的,本专利技术提供如下技术方案:
[0008]一种基于文件热度与多目标优化的容灾数据高价值快速有序恢复方法，该方案针对电力计量数据容灾恢复场景，通过计算文件热度进行数据恢复优先级的制定，并采用多目标优化算法设计容灾数据恢复方案，在解决容灾数据快速恢复问题的同时考虑恢复成本，适应实际容灾系统复杂环境的业务需求。该方案具体包括以下步骤：
[0009]S1：获取电力计量数据状态信息，建立容灾数据备份元数据属性组；
[0010]S2：计算容灾数据文件热度值，设计恢复优先级排序方法；
[0011]S3：设计基于多目标优化算法的容灾数据恢复方案；
[0012]S4：简述具体方案流程；
[0013]进一步的，所述步骤S1中，通过统计容灾数据访问频率、数据副本大小、访问时间等信息，构建容灾数据文件副本的元数据属性组。
[0014]进一步的，所述步骤S2中，根据元属性组计算数据文件的热度值，基于热度值降序的方法，对容灾数据恢复的优先级进行排序。
[0015]进一步的，所述步骤S3中，设计基于多目标优化算法的容灾数据恢复方法，该方法根据服务器集群的平均负载率动态制定容灾数据恢复策略，当负载率小于预设阈值时，根据文件热度值大小依次完成数据副本的恢复任务；当负载率大于预设阈值时，以最小化负载率、业务传输时延和业务数据损耗为优化目标，制定数据恢复方案。
[0016]进一步的，所述步骤S4中，具体方案流程包括节点状态判定、数据优先级排序、容灾策略制定、数据恢复四部分。其中，在容灾策略制定过程中，采取切比雪夫权重聚合方法将多目标优化问题分解为多个标量子问题，求解过程收敛较快，计算复杂度低，能够保证容灾数据高价值快速有序恢复。
[0017]与现有技术相比，本专利技术具有以下优点:
[0018]1)本专利技术专利通过构建容灾数据文件副本的元数据属性组，对电力计量容灾数据进行分析，根据文件大小、读写率等指标对文件热度值进行计算，并根据所得结果进行容灾数据恢复优先级的制定，能够保证对电力系统具有高价值的数据优先进行恢复。进一步考虑到数据副本热度值的特征，对数据进行分级处理，有效提高容灾数据的管理效率，为容灾数据高价值快速有序恢复提供支撑。
[0019]2)本专利技术专利提出一种基于多目标优化的容灾数据高价值快速有序恢复方法，以最小化负载率、业务传输时延和业务数据损耗为优化目标，能够制定综合考虑多因素的容灾数据恢复方案。进一步考虑服务器集群平均负载率，在不同负载率的情况下制定不同的容灾策略，能够提高容灾数据恢复过程中系统的吞吐量，减少用户访问的响应时间，提高系统的数据服务能力，实现电力计量容灾数据业务价值最大化。
附图说明：
[0020]图1为本专利技术实施例所述的基于多目标优化的容灾数据高价值快速有序恢复方法流程示意图；
具体实施方式
[0021]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0022]图1为本实施例所述的基于多目标优化的容灾数据高价值快速有序恢复方法流程示意图，具体包括以下步骤:
[0023]1)节点状态判定
[0024]本专利技术采取心跳通信方式对服务器节点状态进行监测，当长时间监测不到主服务器节点心跳时，判定服务器出现故障，需要进行容灾数据恢复。
[0025]2)容灾数据恢复优先级确定方法
[0026]本专利技术提出一种基于文件热度的容灾数据恢复优先级确定方法。通过构建容灾数据文件副本的元数据属性组，进一步进行优先级的制定，保证容灾数据的有序恢复，具体介绍如下：
[0027]元数据组构建：构建容灾数据文件副本的元数据属性组，表示为G＝{S,U
n
,T
l
,T
n
,H
*
,F}
[0028]其中，S表示文件的大小集合，U
n
为一段时间内访问的用户数量集合，T
l
为文件最后一次被访问的时刻集合，T
n
为系统当前时刻，H
*
为上一阶段文件的热度值集合，文件的初始热度值为0，F为容灾数据文件的读写率集合，读写率越高，表示对文件访问的次数越多，其对应的文件热度值越大。
[0029]文件热度计算：根据容灾数据文件的元数据属性组，统计当前系统时间段内各容灾数据文件的访问频次、数据量大小、访问用户数量等信息，以计算文件的热度值，评估其恢复优先级。在本专利技术中，文件热度的计算公式为
[0030]其中，C为文件热度值评估指数。
[0031]分级容灾：考虑到存放与不同服务器的数据副本热度值的差距可能较小，在系统负载率较高的情况下需要同时进行数据恢复，以进一步提升数据恢复的效率，保证系统的安全，此时可对待恢复容灾数据进行分级处理，按照分级结果进行数据优先级的划分。通过对热度值进行归一化处理使得可将数据划分为关键待恢复数据、重要待恢复数据以及一般待恢复数据三种级别。其中，关键待恢复数据重要待恢复数据一般待恢复数据
[0032]3)容灾策略制定
[0033]计算当前服务器集群的平均负载率。如果平均负载率较低，表明此时系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于文件热度与多目标优化的容灾数据高价值快速有序恢复方法，其特征在于，该方案针对电力计量数据容灾恢复场景，通过计算文件热度进行数据恢复优先级的制定，并采用多目标优化算法设计容灾数据恢复方案，在解决容灾数据快速恢复问题的同时考虑恢复成本，适应实际容灾系统复杂环境的业务需求。2.根据权利要求1所述的一种基于文件热度与多目标优化的容灾数据高价值快速有序恢复方法，其特征在于，该方案具体包括以下步骤：S1：获取电力计量数据状态信息，建立容灾数据备份元数据属性组；S2：计算容灾数据文件热度值，设计恢复优先级排序方法；S3：设计基于多目标优化算法的容灾数据恢复方案；S4：简述具体方案流程。3.根据权利要求2所述的恢复优先级排序方法，其特征在于，通过统计容灾数据访问频率、数据副本大小、访问时间等信息，构建容灾数据文件副本的...

【专利技术属性】
技术研发人员：孙中伟，刘希，丁添，刘朋矩，周振宇，
申请(专利权)人：华北电力大学，
类型：发明
国别省市：