自适应负载均衡用采分流智能调度管理方法、装置及系统制造方法及图纸

本发明专利技术公开了一种自适应负载均衡用采分流智能调度管理方法、装置及系统，所述方法包括获取一致性hash环，所述一致性hash环位于用户和服务器之间，包括若干个虚拟节点，虚拟节点与用户及服务器之间分别设有映射；基于自适应负载均衡原则，对一致性hash环进行分段，将所有虚拟节点分配建模为买方

【技术实现步骤摘要】
自适应负载均衡用采分流智能调度管理方法、装置及系统


[0001]本专利技术属于输配电技术与信息科学的交叉领域，具体涉及一种自适应负载均衡用采分流智能调度管理方法、装置及系统。

技术介绍

[0002]近年来，科学技术的进步、内需增大，人民的生活水平稳步提升，居民用电量也与日俱增。电力数据的日益膨胀给电力数据采集系统带来了巨大的运营压力。随着大数据、云计算等新技术的发展，给电力系统带来了新的变革。如何建立一个能在高负荷、大量数据情况下稳定运行的用采分流系统尤为重要。用采分流是指对于用户用电信息采集，并对采集的数据分布到多个计算节点上分布式处理。
[0003]目前用电信息采集系统已经成为了智能电网重要的组成部分，支撑了电力交易、电费回收、用电核查、线损精益分析、电网运行监测、供电质量监测以及故障抢修等多个专业业务应用的重要数据需求，已成为电力公司生产经营决策能力分析的重要基础和核心数据来源。现有用电信息采集系统构建与传统IOE架构上，存在扩展性差、灵活性差、兼容性差等多种瓶颈，无法适应大数据环境下的数据处理。在面对不断增长的数据采集与数据分析需求时，现有架构已无力支撑未来用电信息采集系统的发展。

技术实现思路

[0004]针对上述问题，本专利技术提出一种自适应负载均衡用采分流智能调度管理方法、装置及系统，能够实现高负荷下稳定运行的电力数据采集。
[0005]为了实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：
[0006]第一方面，本专利技术提供了一种自适应负载均衡用采分流智能调度管理方法，包括：
[0007]获取一致性hash环，所述一致性hash环位于用户和服务器之间，包括若干个虚拟节点，虚拟节点与用户及服务器之间分别设有映射；
[0008]基于自适应负载均衡原则，对一致性hash环进行分段，将所有虚拟节点分配建模为买方
‑
卖方博弈模型；
[0009]通过贪心算法求解所述买方
‑
卖方博弈模型，确定最终的服务器分配方式。
[0010]可选地，虚拟节点与用户之间的设有基于一致性哈希创建的映射。
[0011]可选地，虚拟节点与服务器之间设有通过取模操作创建的映射。
[0012]可选地，所述对一致性hash环进行分段，具体为：
[0013]基于段i在系统总负载的占比，将上限阈值T
up
和下限阈值T
low
定义为总负载L的函数；
[0014]若f
i
≤T
low
×
L，则将段i与左段或右段中负载较低的段合并；
[0015]若f
i
>T
up
×
L，则将段i分割成相等的两半，并为两半分配一个父节点；
[0016]操控上限阈值T
up
和下限阈值T
low
，直至二者之间的阈值满足设定要求，不再出现合并或分割动作，获得最佳的分段点。
[0017]可选地，所述买方
‑
卖方博弈模型通过以下方法构建：
[0018]定义将服务器j分配给段i，获得的利润为p
ij
；
[0019]每个分段都有一个数据量w
i
，每个服务器都有最大容量c
j
，以最大化利润为目标，获得买方
‑
卖方博弈模型：
[0020][0021][0022]x
ij
∈0,1
[0023][0024]其中，x
ij
表示服务器j是否被分配给段i。
[0025]可选地，所述p
ij
的计算公式为：
[0026]p
ij
＝f
i
×
T
j
[0027]其中，f
i
表示段i在系统总负载的占比，T
j
表示服务器j维持一次查询的平均吞吐量。
[0028]可选地，所述通过贪心算法求解所述买方
‑
卖方博弈模型，确定最终的服务器分配方式，具体为：
[0029]采用贪心算法求解所述买方
‑
卖方博弈模型，为每个出价计算出使用每一段单位数据量获得的利润P
ij
，
[0030]将计算出的利润P
ij
按降序排序，并根据这个顺序进行服务器的分配。
[0031]可选地，所述根据这个顺序进行服务器的分配，具体为：
[0032]遍历每个服务器，只要服务器有空间且段没有被分配给任何其他服务器，就将相应的段分配给该服务器。
[0033]第二方面，本专利技术提供了一种自适应负载均衡用采分流智能调度管理装置，包括：
[0034]获取模块，用于获取一致性hash环，所述一致性hash环位于用户和服务器之间，包括若干个虚拟节点，虚拟节点与用户及服务器之间分别设有映射；
[0035]建模模块，用于基于自适应负载均衡原则，对一致性hash环进行分段，将所有虚拟节点分配建模为买方
‑
卖方博弈模型；
[0036]管理模块，用于通过贪心算法求解所述买方
‑
卖方博弈模型，确定最终的服务器分配方式。
[0037]第三方面，本专利技术提供了一种自适应负载均衡用采分流智能调度管理系统，包括存储介质和处理器；
[0038]所述存储介质用于存储指令；
[0039]所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述的方法。
[0040]与现有技术相比，本专利技术的有益效果：
[0041]本专利技术能够实现高负荷下稳定运行的电力数据采集。首先，通过一致性hash来解决低成本的服务器搭建千万级别的用户用电信息采集系统；其次，提出了一种新的基于虚拟层的虚拟节点划分方法；接着，通过确定服务器投标金额和划分hash段的方式，将整个虚拟节点分配建模为一个买方
‑
卖方博弈的多背包问题；最后，通过利用贪心算法求解该约束问题，得到相对较优的服务器分配方案，得到的结果可以为电网公司的电力采集方案提供一定的参考。
附图说明
[0042]为了使本专利技术的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本专利技术作进一步详细的说明，其中：
[0043]图1为本专利技术一种实施例的自适应负载均衡用采分流智能调度管理方法的流程示意图。；
[0044]图2为本专利技术一种实施例的一致性hash环和虚拟节点图。
具体实施方式
[0045]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术的保护范围。
[0046]下面结合附图对本专利技术的应用原理作详细的描述。
[0047]实施例1
[0048]实现微服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应负载均衡用采分流智能调度管理方法，其特征在于，包括：获取一致性hash环，所述一致性hash环位于用户和服务器之间，包括若干个虚拟节点，虚拟节点与用户及服务器之间分别设有映射；基于自适应负载均衡原则，对一致性hash环进行分段，将所有虚拟节点分配建模为买方
‑
卖方博弈模型；通过贪心算法求解所述买方
‑
卖方博弈模型，确定最终的服务器分配方式。2.根据权利要求1所述的一种自适应负载均衡用采分流智能调度管理方法，其特征在于：虚拟节点与用户之间的设有基于一致性哈希创建的映射。3.根据权利要求1所述的一种自适应负载均衡用采分流智能调度管理方法，其特征在于：虚拟节点与服务器之间设有通过取模操作创建的映射。4.根据权利要求1所述的一种自适应负载均衡用采分流智能调度管理方法，其特征在于：所述对一致性hash环进行分段，具体为：基于段i在系统总负载的占比，将上限阈值T
up
和下限阈值T
low
定义为总负载L的函数；若f
i
≤T
low
×
L，则将段i与左段或右段中负载较低的段合并；若f
i
＞T
up
×
L，则将段i分割成相等的两半，并为两半分配一个父节点；操控上限阈值T
up
和下限阈值T
low
，直至二者之间的阈值满足设定要求，不再出现合并或分割动作，获得最佳的分段点。5.根据权利要求4所述的一种自适应负载均衡用采分流智能调度管理方法，其特征在于：所述买方
‑
卖方博弈模型通过以下方法构建：定义将服务器j分配给段i，获得的利润为p
ij
；每个分段都有一个数据量w
i
，每个服务器都有最大容量c
j
，以最大化利润为目标，获得买方
‑
卖方博弈模型：卖方博弈模型：x
ij

【专利技术属性】
技术研发人员：孙萌，陶晓峰，黄福兴，戚梦逸，刘淇，周广山，周宇，王小芬，周洋，
申请(专利权)人：国电南瑞科技股份有限公司南瑞集团有限公司国家电网有限公司，
类型：发明
国别省市：