一种面向物联网流计算的负载均衡和容错方法技术

本发明专利技术实施例公开了一种面向物联网流计算的负载均衡和容错方法和任务领取节点，对任务池中当前任务领取节点标识对应的任务信息进行加锁，将任务信息中的更新时间修改为当前时间，对修改后的任务信息进行解锁；计算当前的负载冗余时间；若当前的负载冗余时间大于第一门限值，在等待第一预设时间后，对任务池中N个满足第一预设条件的任务进行加锁，将加入M个任务后的当前任务领取节点对应的计算处理列表中任务的任务信息进行更新；若当前的负载冗余时间小于0，选取当前任务领取节点对应的计算处理列表中的任务集合S，对任务池中与任务集合S中任务标识对应的任务加锁，修改任务池中与任务集合S中的任务标识对应任务的任务信息。

A Load Balancing and Fault Tolerance Method for Internet of Things Flow Computing

【技术实现步骤摘要】
一种面向物联网流计算的负载均衡和容错方法
本专利技术涉及物联网领域，尤其涉及一种面向物联网流计算的负载均衡和容错方法、任务领取节点和计算机可读存储介质。
技术介绍
随着物联网的发展，人们对物联网数据的实时计算产生了大量需求，因此基于物联网流计算的应用也越来越多。不同于传统互联网应用的后台大数据流计算(通常任务明确、单任务消耗大，多个节点处理单一任务)，物联网流计算具有任务多、任务差异大，单个任务消耗小的特点，多个任务通常会在单个节点上进行计算。因此数据处理中心为了应对大量的物联网流计算任务需要将大量的任务分配到多个计算节点中进行处理，设计相应的负载均衡和容错方法。传统的负载均衡方法主要是基于调度来进行，有基于负载的调度，也有基于轮询的调度，调度算法可以运行在任务提交的客户端也可以运行在负载均衡节点。为了避免负载均衡节点产生的单节点故障对系统的影响，基于客户端的调度越来越多被采用。在物联网流计算系统中，对于负载的定义发生了新的变化。传统的负载定义，一般是看机器的CPU和内存性能。而在物联网流计算系统中，负载的定义则加入了新的要素，即需要满足在给定时间间隔内计算完流入数据。由于各种物联网本文档来自技高网...

【技术保护点】
1.一种面向物联网流计算的负载均衡和容错方法，其特征在于，包括：对任务池中当前任务领取节点标识对应的任务信息进行加锁，将所述任务信息中的更新时间修改为当前时间，对修改后的任务信息进行解锁；计算当前任务领取节点当前的负载冗余时间；若所述当前的负载冗余时间大于第一门限值，在等待第一预设时间后，对所述任务池中N个满足第一预设条件的任务进行加锁，将N个任务中的M个任务加入当前任务领取节点对应的计算处理列表中，将加入M个任务后的当前任务领取节点对应的计算处理列表中任务的任务信息进行更新；若所述当前的负载冗余时间小于0，选取当前任务领取节点对应的计算处理列表中的任务集合S，对所述任务池中与所述任务集合S中...

【技术特征摘要】
1.一种面向物联网流计算的负载均衡和容错方法，其特征在于，包括：对任务池中当前任务领取节点标识对应的任务信息进行加锁，将所述任务信息中的更新时间修改为当前时间，对修改后的任务信息进行解锁；计算当前任务领取节点当前的负载冗余时间；若所述当前的负载冗余时间大于第一门限值，在等待第一预设时间后，对所述任务池中N个满足第一预设条件的任务进行加锁，将N个任务中的M个任务加入当前任务领取节点对应的计算处理列表中，将加入M个任务后的当前任务领取节点对应的计算处理列表中任务的任务信息进行更新；若所述当前的负载冗余时间小于0，选取当前任务领取节点对应的计算处理列表中的任务集合S，对所述任务池中与所述任务集合S中任务标识对应的任务加锁，修改所述任务池中与所述任务集合S中的任务标识对应任务的任务信息。2.根据权利要求1所述的方法，其特征在于，所述负载冗余时间为：在当前任务领取节点的计算处理列表中任务的最大流计算间隔内，所述计算处理列表各个任务归一化负载冗余的最小值；所述第一预设时间为所述负载冗余时间的减函数；所述N为所述负载冗余时间任务数的乐观估计，所述M为小于N的整数。3.根据权利要求1或2所述的方法，其特征在于，所述对所述任务池中N个满足第一预设条件的任务进行加锁，包括：访问所述任务池，从所述任务池中读取N个满足第一预设条件的任务，对所述任务池中N个满足第一预设条件的任务进行加锁，所述满足第一预设条件的任务包括：状态为空闲状态且计算节点为空的任务，或者更新时间大于第二预设时间的任务。4.根据权利要求1或2所述的方法，其特征在于，所述将N个任务中的M个任务加入当前任务领取节点对应的计算处理列表中，将加入M个任务后的当前任务领取节点对应的计算处理列表中任务的任务信息进行更新，包括：通过预估负载在读取的N个任务中选择M个个任务加入当前任务领取节点对应的计算处理列表中，将加入M个任务后的当前任务领取节点对应的计算处理列表中任务按流计算间隔升序排列后进行计算处理；计算处理后将加入M个任务后的当前任务领取节点对应的计算处理列表中任务的任务状态更新为处理状态，将加入M个任务后的当前任务领取节点对应的计算处理列表中任务领取节点标识更新为当前节点标识，将加入M个任务后的当前任务领取节点对应的计算处理列表中任务的更新时间修改为当前时间；将更新任务信息后当前任务领取节点对应的计算处理列表中任务进行解锁。5.根据权利要求1或2所述的方法，其特征在于，所述选取当前任务领取节点对应的计算处理列表中的任务集合S，对所述任务池中与所述任务集合S中任务标识对应的任务加锁，修改所述任务池中与所述任务集合S中的任务标识对应任务的任务信息，包括：从所述当前任务领取节点对应的计算处理列表中选取任务集合S，其中，所述任务集合S根据当前任务领取...

【专利技术属性】
技术研发人员：毛峻岭，
申请(专利权)人：中移物联网有限公司，中国移动通信集团公司，
类型：发明
国别省市：重庆,50