面向物联网设备接入处理平台的自适应负载均衡调度机制制造技术

本发明专利技术涉及计算机网络技术领域，尤其涉及面向物联网设备接入处理平台的自适应负载均衡调度机制，本发明专利技术提出路由策略与路由算法独立分离的新型调度算法框架，路由策略可替换，评价指标可扩展，路由算法可扩充等特点，并提供了三种路由策略应对真实应用环境中设备连接请求的突发性和随机性，包括单一算法策略，组合算法策略和适配算法策略。采用本发明专利技术，物联网设备接入系统能够根据集群中各节点的性能差异和负载状况有效调节设备连接请求的分配情况，提升集群系统的整体性能。相比现有技术，本发明专利技术具有思想新颖、使用灵活和扩展方便的优点，充分满足了物联网网关设备连接请求调度的需求，有效解决了单一路由算法无法适用所有场景的局限性。

【技术实现步骤摘要】
面向物联网设备接入处理平台的自适应负载均衡调度机制
本专利技术涉及计算机网络
，尤其涉及面向物联网设备接入处理平台的自适应负载均衡调度机制。
技术介绍
随着物联网时代的到来，越来越多的感知设备需要接入平台系统，并通过网络方便快捷地获取物联网数据信息。为了解决大量设备并发接入平台系统，采用分布式集群部署成为比较普遍的解决方案。负载均衡技术是是伴随着集群的出现而出现的，它是实现集群系统的关键技术之一，它的优劣直接影响着整个系统的性能。从早期的静态负载均衡策略一直发展到效果相对较好的动态负载均衡策略，以及从集中式控制(被动式集群)到分布式控制(主动式集群)等等。动态负载均衡策略的设计思想是能够自动适配系统参数变化以及未知的负载特性来控制负载分布，而控制算法不同演变出现了被动式集群控制及主动式集群控制。根据任务分配的不同阶段，可以将负载均衡算法分为两类，静态负载均衡算法和动态负载均衡算法。首先是任务请求阶段，系统根据预先设置好的分配算法，将其分配给集群中的某个节点，即初始分配，在这个阶段分配算法叫做静态调度算法。其次是在集群运行过程中，发生节点故障或节点过载时，任务会被再次分配，即再分配，在这个阶段分配算法叫做动态调度算法。
技术实现思路
本专利技术为克服上述的不足之处，目的在于提供面向物联网设备接入处理平台的自适应负载均衡调度机制，采用路由策略与路由算法分离的新型调度算法框架，克服现有集群系统中单个路由算法无法适用所有场景的缺陷。本专利技术是通过以下技术方案达到上述目的：面向物联网设备接入处理平台的自适应负载均衡调度机制，包括以下步骤：1)路由节点根据集群当前运行环境设置路由策略，并关联该路由策略下所需的路由算法，该配置立即生效；2)处理节点获取本节点的负载程度衡量指标，将负载程度衡量指标与已分配连接数打包周期性发送给路由节点；3)路由节点接收到新的网关设备连接请求，根据路由策略执行相应的路由算法得到候选目标，再从候选目标中产生目标节点，将连接请求分配至目标节点；4)路由节点接收处理节点发送的负载程度衡量指标与分配连接数，判断各节点是否负载过重，路由节点取出负载过重节点上的已分配连接，重新根据路由策略进行再分配工作，保持集群的动态负载均衡；5)当运行环境发生改变时，跳转到步骤1)。作为优选，所述路由策略与路由算法独立分离，路由策略为上层模块，路由算法为下层模块。作为优选，路由策略为：单一算法策略或组合算法策略或适配算法策略；单一算法策略用于设备接入情况稳定且有适应性强的特定路由算法的运行环境；组合算法策略用于设备接入情况未知的运行环境；适配算法策略用于设备接入情况交替规律比较明显且有特定路由算法适用对应情况的运行环境。作为优选，集群根据负载情况和分配连接情况划分为不同的工作模式，适配算法策略根据集群的工作模式选择适配度最优的路由算法。作为优选，所述负载程度衡量指标为负载程度饱和值，通过以下步骤计算：(1)处理节点初始化时获取设置的负载信息采样周期；(2)处理节点在采样时间节点到达时采集当前本机多种机器性能指标，包括CPU使用率、内存使用率、磁盘使用率和带宽使用率，并对各指标值进行归一化处理；(3)处理节点对多种机器性能指标进行平滑滤波处理，降低实测数据中的“噪声”影响；(4)多种机器性能指标作为输入参数通过多输入单输出数学模型计算得到一个范围从0到1的标量，该标量表示为负载程度饱和值。作为优选，负载过重的判断方法为：负载程度饱和值大于设定的负载控制阈值或者负载程度饱和值与集群中最小负载程度饱和值之间的差值大于设定的阈值。本专利技术的有益效果在于：(1)采用路由策略与路由算法分离的新型调度算法框架，使路由算法和路由策略的分工更加明确，职责更加清晰；(2)路由算法能够作为单元构件进行组合及适配，运行时刻改变路由算法可以有效规避单个算法的局限性；(3)三种路由策略相辅相成，能够适应复杂多变的物联网环境，并且加入分配目标优胜劣汰的预评估机制进行更好的自适应调度，保持集群动态负载均衡；(4)平台可以轻松集成新的路由算法，评价函数也能自由扩展，完全达到开放式软件架构设计的要求。附图说明图1是本专利技术的原理结构示意图；图2是本专利技术实现面向物联网设备接入处理平台的自适应负载均衡调度机制的流程示意图；图3是处理节点获取负载程度衡量指标的更新流程示意图；图4是本专利技术的路由节点接受设备连接请求后进行调度分配的流程示意图；图5是本专利技术路由策略中的单一算法策略流程示意图；图6是本专利技术路由策略中的组合算法策略流程示意图；图7是本专利技术路由策略中的适配算法策略流程示意图；图8是本专利技术的路由节点保持集群动态负载均衡的流程示意图；图9是本专利技术的扩展适配算法策略流程示意图。具体实施方式下面结合具体实施例对本专利技术进行进一步描述，但本专利技术的保护范围并不仅限于此：实施例1：如图1所示，本专利技术的自适应负载均衡调度由路由节点、处理节点实现，路由节点负责新建设备连接请求的调度分配和集群节点间的负载均衡，处理节点负责实时监控本节点的负载状况并进行本节点所有接入设备的业务处理。当网关设备接入平台时，由路由节点负责调度分配到某个处理节点进行数据和业务的处理，当集群负载失衡时，路由节点负责将负载较重节点上的设备连接迁移至其他负载较轻的处理节点上进行处理。如图2所示，面向物联网设备接入处理平台的自适应负载均衡调度机制，采用路由节点实时监控集群处理节点的负载状态并自适应调整设备接入处理的分配情况、策略和算法分离的思想，调度机制能够在更高的抽象层次上以最佳适配运行环境的方式进行维护集群负载均衡的工作，从而保障平台的整体性能和稳定运行。实现上述自适应负载均衡调度机制，包括以下步骤：1)路由节点根据集群当前运行环境设置路由策略，并关联该路由策略下所需的路由算法，该配置立即生效；2)处理节点获取本节点的负载程度衡量指标，将负载程度衡量指标与已分配连接数打包周期性发送给路由节点；3)路由节点接收到新的网关设备连接请求，根据路由策略执行相应的路由算法得到候选目标，再从候选目标中产生目标节点，将连接请求分配至目标节点；4)路由节点接收处理节点发送的负载程度衡量指标与分配连接数，判断各节点是否负载过重，路由节点取出负载过重节点上的已分配连接，重新根据路由策略进行再分配工作，保持集群的动态负载均衡；5)当运行环境发生改变时，跳转到步骤1)。处理节点主要从但不限于以下四种性能指标考察本节点的负载状态，该负载状态称为负载程度衡量指标，包括：CPU使用率、内存使用率、磁盘使用率、网络带宽使用率，并通过函数模型计算得到负载程度饱和值来统一衡量计算节点的当前负载信息，即负载程度衡量指标用负载程度饱和值来表示。CPU使用率，当前采样时间节点的CPU使用率。内存使用率，当前采样时间节点的CPU使用率。磁盘使用率，当前采样时间节点的磁盘使用率。网络带宽使用率，当前采样时间节点的网络带宽使用率。负载程度饱和值，当前采样时间节点的机器负载信息的抽象表示，取值范围[0,1]，0表示完全无负载，1表示完全满负载。如图3所示，负载程度衡量指标由处理节点通过周期性获取，更新流程具体过程包括以下步骤：步骤301：处理节点初始化与路由节点的TCP长连接，并设置负载信息采样周期；步骤302：处理节点根据采样周期定期执行步本文档来自技高网...

【技术保护点】
面向物联网设备接入处理平台的自适应负载均衡调度机制，其特征在于，包括以下步骤：1)路由节点根据集群当前运行环境设置路由策略，并关联该路由策略下所需的路由算法，该配置立即生效；2)处理节点获取本节点的负载程度衡量指标，将负载程度衡量指标与已分配连接数打包周期性发送给路由节点；3)路由节点接收到新的网关设备连接请求，根据路由策略执行相应的路由算法得到候选目标，再从候选目标中产生目标节点，将连接请求分配至目标节点；4)路由节点接收处理节点发送的负载程度衡量指标与分配连接数，判断各节点是否负载过重，路由节点取出负载过重节点上的已分配连接，重新根据路由策略进行再分配工作，保持集群的动态负载均衡；5)当运行环境发生改变时，跳转到步骤1)。

【技术特征摘要】
1.面向物联网设备接入处理平台的自适应负载均衡调度机制，其特征在于，包括以下步骤：1)路由节点根据集群当前运行环境设置路由策略，并关联该路由策略下所需的路由算法，该配置立即生效；2)处理节点获取本节点的负载程度衡量指标，将负载程度衡量指标与已分配连接数打包周期性发送给路由节点；3)路由节点接收到新的网关设备连接请求，根据路由策略执行相应的路由算法得到候选目标，再从候选目标中产生目标节点，将连接请求分配至目标节点；4)路由节点接收处理节点发送的负载程度衡量指标与分配连接数，判断各节点是否负载过重，路由节点取出负载过重节点上的已分配连接，重新根据路由策略进行再分配工作，保持集群的动态负载均衡；其中，发现节点负载过重后的处理方法如下：4.1)路由节点激活处理子线程，启动连接迁移任务，设置迁移连接所在源目标为负载最重的节点和所需迁移连接数的相关信息；4.2)从源目标上获取一个网关设备连接，以及与此连接关联的设备信息和业务上下文信息；4.3)根据设备连接调度分配工作流程将该连接迁移到新的分配目标上；4.4)将该连接的上下文信息和设备信息同步到新的分配节点上；4.5)判断迁移任务中所需迁移连接是否已经全部处理...

【专利技术属性】
技术研发人员：周兴华，何成东，王军，林友勇，张芬，
申请(专利权)人：中电海康集团有限公司，
类型：发明
国别省市：浙江;33