一种负载均衡的处理方法和设备技术

本发明专利技术公开了一种负载均衡的处理方法和设备，包括：获取一个工作节点的一个迭代周期内每一个任务的运行时间信息；根据获取的每一个任务的运行时间信息以及待迁移任务的分析策略，确定工作节点在迭代周期内的待迁移任务；当确定为待迁移任务的次数超过设定数值时，将待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点，这样利用任务迁移方式，在工作点的多次迭代操作中执行一次任务迁移，有效地实现工作点间任务负载均衡，避免了Giraph中负载均衡策略存在时间消耗的问题，同时也避免了Hadoop中推测式执行策略存在增加消息通信网络开销的问题，提高了BSP模型中任务迁移的效率，提升了系统的负载均衡性。

【技术实现步骤摘要】

本专利技术涉及无线通信
，尤其涉及一种负载均衡的处理方法和设备。
技术介绍
BSP (Bulk-Synchronous Parallel,大容量同步并行)模型是基于大数据迭代处理的模型，有别于Map Reduce模型。在BSP模型中数据处理被分为若干任务，每个任务经历着同样的迭代阶段:同步阶段、计算阶段和消息通信阶段。对于BSP模型中并行执行的多任务，动态负载均衡是并行计算中的一个关键点。但是，BSP模型在并行环境中高频迭代场景下，不可避免地存在负载不均衡的情况。目前针对负载不均衡这一个问题提出了两种解决方案:一种是Giraph中的负载均衡策略；另一种是Hadoop中的推测式执行策略。其中，Giraph中的负载均衡策略，即为数据的动态划分策略。在进行数据的动态划分时采用三种处理方式:第一种是静态划分；第二种是根据边数平衡；第三种是根据顶点数平衡。具体地，使用一种简单的启发式算法实现工作点之间数据的动态划分均衡。包括:第一步，对所有的数据分片按照平衡值由大到小进行排序；第二步，根据各个工作点的总平衡值，将工作点进行排序形成工作点堆；第三步，将数据分片从大到小依次放入工作点堆的堆顶中，每放完一个数据分片后，并将放了数据分片的工作点再次放入工作点堆中，这样保证每次将数据分片放入已用容量最小的工作点中；第四步，返回平衡后的数据分片的信息列表；第五步，根据返回的平衡后的数据分片的信息列表，进行数据的动态划分迁移。Hadoop中的推测式执行策略，主要是Hadoop检测一次作业中存在的慢任务，并分别对检测到的慢任务启动Map任务进行推测式执行，最后从慢任务中选取执行最快的任务的输出作为Reduce任务的输入。综上所述，在BSP模型中采用Giraph中的负载均衡策略，每次迭代计算前都需要进行数据迁移，这样调整需要花费大量的时间作为负载均衡的代价；在BSP模型中采用Hadoop中的推测式执行策略，由于推测任务从O超步开始，与对应的慢任务属于不同超步，无法进行当前超步的消息通信，因此，需要增加消息通信网络开销。
技术实现思路
有鉴于此，本专利技术实施例提供了一种负载均衡的处理方法和设备，用于解决目前在BSP模型中采用Giraph中的负载均衡策略存在消耗时间的问题，以及在在BSP模型中采用Hadoop中的推测式执行策略存在增加消息通信网络开销的问题。一种负载均衡的处理方法，包括:获取一个工作节点的一个迭代周期内每一个任务的运行时间信息；根据获取的所述每一个任务的运行时间信息以及待迁移任务的分析策略，确定所述工作节点在所述迭代周期内的待迁移任务；当确定为待迁移任务的次数超过设定数值时，将所述待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点。根据获取的所述每一个任务的运行时间信息以及待迁移任务的分析策略，确定所述工作节点在所述迭代周期内的待迁移任务，包括:根据获取的所述每一个任务的运行时间信息，将所述每一个任务的运行时间信息进行排序；利用得到的排序信息，确定所述工作节点在所述迭代周期内的准迁移任务；并利用迁移代价模型，计算确定的准迁移任务的迁移收益值；对于迁移收益值大于设定门限值的准迁移任务，当迁移收益值大于设定门限值的准迁移任务所在的工作节点在设定时间内的任务处理量大于设定阈值时，确定迁移收益值大于设定门限值的准迁移任务为所述工作节点在所述迭代周期内的待迁移任务。利用得到的排序信息，确定所述工作节点在所述迭代周期内的准迁移任务，包括:针对排序信息中的每一个运行时间信息，在确定运行时间信息大于设定运行时间信息时，确定大于设定运行时间信息对应的任务为所述工作节点在所述迭代周期内的准迁移任务；其中，所述设定运行时间信息通过以下方式确定:T = V(T2-T1)^l.5 ；T为设定运行时间信息，Τ2为根据得到的排序信息，确定排序信息中四分之三位处对应的时间信息J1为根据得到的排序信息，确定排序信息中四分之一位处对应的运行时间信息。利用迁移代价模型，计算确定的准迁移任务的迁移收益值，包括:通过以下方式计算确定的准迁移任务的迁移收益值:G(T) =T.remainSuperStep* (T.runiime-avgRunTime) -τ.migrateCost ;其中，G(T)为确定的准迁移任务的迁移收益值，Τ.p为确定的准迁移任务的剩余超步运行时间信息，Τ.runTiffle为确定的准迁移任务的运行时间信息，avgRunTime为所述工作节点在所述迭代周期内非准迁移任务的平均运行时间信息，T.ffligrateCost为确定的准迁移任务的迁移代价时间信息，等于数据加载的时间长度与消息读或者写的时间长度之和。当确定为待迁移任务的次数超过设定数值时，将所述待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点，包括:判断所述工作节点在连续N个迭代周期内是否存在确定为待迁移任务的次数超过设定数值的待迁移任务；当存在确定为待迁移任务的次数超过设定数值的待迁移任务时，判定确定为待迁移任务的次数超过设定数值的待迁移任务为迁移任务，并将判定的所述迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点中。一种负载均衡的处理设备,包括:获取模块，用于获取一个工作节点的一个迭代周期内每一个任务的运行时间信息；确定模块，用于根据获取的所述每一个任务的运行时间信息以及待迁移任务的分析策略，确定所述工作节点在所述迭代周期内的待迁移任务；迁移模块，用于当确定为待迁移任务的次数超过设定数值时，将所述待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点。所述确定模块，具体用于根据获取的所述每一个任务的运行时间信息，将所述每一个任务的运行时间信息进行排序；利用得到的排序信息，确定所述工作节点在所述迭代周期内的准迁移任务；并利用迁移代价模型，计算确定的准迁移任务的迁移收益值；对于迁移收益值大于设定门限值的准迁移任务，当迁移收益值大于设定门限值的准迁移任务所在的工作节点在设定时间内的任务处理量大于设定阈值时，确定迁移收益值大于设定门限值的准迁移任务为所述工作节点在所述迭代周期内的待迁移任务。所述确定模块，具体用于针对排序信息中的每一个运行时间信息，在确定运行时间信息大于设定运行时间信息时，确定大于设定运行时间信息对应的任务为所述工作节点在所述迭代周期内的准迁移任务；其中，所述设定运行时间信息通过以下方式确定:T = V(T2-T1)^l.5 ；T为设定运行时间信息，Τ2为根据得到的排序信息，确定排序信息中四分之三位处对应的时间信息J1为根据得到的排序信息，确定排序信息中四分之一位处对应的运行时间信息。所述确定模块，具体用于通过以下方式计算确定的准迁移任务的迁移收益值:G ⑴一Τ.remainSuperStep* (Τ.runTime_avgRunTime) _T.migrateCost ；其中，G(T)为确定的准迁移任务的迁移收益值，T.remainSuperStep为确定的准迁移任务的剩余超步运行时间信息，T.runTiffle为确定的准迁移任务的运行时间信息，avgRunTime为所述工作节点在所述迭代周期内非准迁移任务的平均运行时间信息，T.ffligrateCost为确定的准本文档来自技高网...

【技术保护点】
一种负载均衡的处理方法，其特征在于，包括： 获取一个工作节点的一个迭代周期内每一个任务的运行时间信息； 根据获取的所述每一个任务的运行时间信息以及待迁移任务的分析策略，确定所述工作节点在所述迭代周期内的待迁移任务； 当确定为待迁移任务的次数超过设定数值时，将所述待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点。

【技术特征摘要】

【专利技术属性】
技术研发人员：邓超，郭磊涛，钱岭，孙少陵，
申请(专利权)人：中国移动通信集团公司，
类型：发明
国别省市：北京;11