一种适配高强度弱连接环境的分布式任务分解方法技术

本发明专利技术公开了一种适配高强度弱连接环境的分布式任务分解方法。通过引入心跳检测机制，在分布式任务分解前确认链路情况，及时反馈通信中断或损毁信息处理节点信息。确认通信链路情况后在任务数量估算阶段引入交换区冗余处理系数和体系抗毁冗余增量系数为分布式任务分配冗余信息处理能力，通过冗余的策略保证信息处理任务在信息处理节点部分损毁的情况下仍然可以有效进行。最后，通过预估的任务数量调用k

【技术实现步骤摘要】
一种适配高强度弱连接环境的分布式任务分解方法


[0001]本专利技术属于分布式任务分解控制
，尤其涉及一种适配高强度弱连接环境的分布式任务分解方法。

技术介绍

[0002]随着分布式技术的发展，分布式处理技术可以将不同地点、不同配置的多套信息处理设备联合起来，在分布式控制系统的统一管理控制下，协调完成大规模信息处理任务，提高信息处理效率。分布式任务分解技术旨在将大规模信息处理任务分解成若干可执行的较小规模任务并分配任务范围给具体信息处理节点，是分布式处理技术较为核心的组成部分。其技术核心在于将合适的任务实时分配给合适的信息处理节点,已达到充分利用系统资源，提升任务完成效率的目的。
[0003]当前分布式任务分解技术主要分为再分配型和新任务型两类，其中再分配型主要解决封闭系统内部任务的再分配和调整问题，目前有负载均衡等成熟技术，新任务型主要解决新输入任务的分解处理问题，涌现了多Agent系统等多种动态任务分配方法。但这些技术多要求信息处理节点保持高度协同来有效执行分配任务，信息链路完整可靠且十分稳定。缺乏适配高强度环境以及通信遭到干扰时的应对方法。在实际应用过程中，复杂多变的环境场景会使得信息处理节点保持高度协同的期望受到多个维度的挑战，比如救灾或极端天气下的通信普遍存在干扰，信息处理节点间通信时断时续，无法建立稳定连接；地震，火灾等灾害会使得信息处理设备存在损坏情况，导致信息处理节点失能的后果，此时将任务分配给毁坏的信息处理节点无疑会使得整个系统信息处理效率下降。

技术实现思路

[0004]本专利技术针对自然灾害等高强度环境和通信信号不稳定情况下的分布式任务分解问题，提出一种适配高强度弱连接环境的分布式任务分解方法，能够满足通信信号不稳定及信息处理设备易损条件下的分布式任务分解需求。
[0005]为了解决上述技术问题，本专利技术公开了一种适配高强度弱连接环境的分布式任务分解方法，所述方法运行于分布式系统之上，包括以下步骤：步骤1：输入信息处理任务。
[0006]步骤2：对所有信息处理节点进行心跳检测，若心跳检测发现所有信息处理节点均无法反馈心跳信号，则通知分布式系统心跳检测无效，将信息处理任务挂起，否则，通知分布式系统心跳检测有效，执行步骤3。
[0007]步骤3：根据心跳检测结果进行任务数量估算。
[0008]步骤4：调用k
‑
means聚类算法进行任务处理范围划分，将步骤3估算的任务数量分配到计算区域。
[0009]步骤5：输出任务分解结果，完成分布式任务分解。
[0010]本专利技术步骤1中，信息处理任务队列采用优先级队列，赋予重要程度高的消息高优
先级，保证其优先出队。
[0011]本专利技术步骤2中，通过设置心跳检测策略，在分布式任务分解前确认链路情况，及时反馈通信中断或损毁信息处理节点信息，规避将任务分配给毁坏或通信链路不通的信息处理节点计算的情况，提升分布式系统运算效率。其具体步骤如下所示：（1）构建当前通信链路状况下的信息处理节点集。其中，表示信息处理节点，表示当前信息处理节点的个数。
[0012]（2）对每一个信息处理节点发送心跳检测信号。
[0013]（3）若信息处理节点在预订时间内（如1ms）未收到心跳检测回执信号，则将信息处理节点从信息处理节点集中删除。
[0014]（4）心跳检测完毕后若信息处理节点集为空则说明当前所有信息处理节点均已损毁或无法通信，心跳检测失效。否则输出信息处理节点集。
[0015]本专利技术步骤3中，通过引入冗余处理系数和体系抗毁冗余增量系数，为分布式任务分配冗余信息处理能力，保证信息处理设备性能不稳定或损毁时可提供冗余算力保证信息处理任务的有序进行。本专利技术按以下公式估算任务数量Sum：Sum=T
总量 / T
单点
×
α
×
β其中：T
总量
表示整个应用任务处理总量；T
单点
表示单个计算节点处理能力。
[0016]α表示冗余处理系数，表示分配的冗余信息处理能力，保证信息处理设备性能不稳定时冗余算力可以保证信息处理任务的有序进行。
[0017]β表示体系抗毁冗余增量系数，表示通过设置冗余设备提供冗余的信息处理能力，保证信息处理任务在信息处理节点部分损毁的情况下仍然可以有效进行。
[0018]本专利技术步骤4中，任务处理范围划分使用k
‑
means聚类算法进行划分，聚类数设置为步骤3中输出的任务分解数量，迭代终止条件设置为中心点不再发生变化。
[0019]本专利技术通过引入心跳检测机制，在分布式任务分解前确认链路情况，及时反馈通信中断或损毁信息处理节点信息。确认通信链路情况后在任务数量估算阶段引入交换区冗余处理系数和体系抗毁冗余增量系数为分布式任务分配冗余信息处理能力，通过冗余的策略保证信息处理任务在信息处理节点部分损毁的情况下仍然可以有效进行。最后，通过预估的任务数量调用k
‑
means聚类算法对分布式任务进行区域分解，得到任务分解结果。
[0020]本专利技术与现有技术相比，其显著优点为：（1）设置心跳检测策略，为解决高强度弱连接环境下的分布式任务分解问题，本专利技术在分布式任务分解前确认链路情况，及时反馈通信中断或损毁信息处理节点信息，规避将任务分配给毁坏或通信链路不通的信息处理节点计算的情况，提升分布式系统运算效率。（1）通过引入冗余处理系数为分布式任务分配冗余信息处理能力，保证信息处理设备性能不稳定时冗余算力可以保证信息处理任务的有序进行。（3）引入体系抗毁冗余增量系数，通过冗余的策略保证信息处理任务在信息处理节点部分损毁的情况下仍然可以有效进行。（4）任务区域分解算法采用k
‑
means聚类算法，具有实践简单，收敛速度快，与数据输入顺序无关等特点。
附图说明
[0021]下面结合附图和具体实施方式对本专利技术做更进一步的具体说明，本专利技术的上述和/或其他方面的优点将会变得更加清楚。
[0022]图1是本专利技术实现步骤流程图。
[0023]图2是本专利技术心跳检测步骤流程图。
[0024]图3是本专利技术任务处理范围划分步骤流程图。
具体实施方式
[0025]本专利技术公开了一种适配高强度弱连接环境的分布式任务分解方法。通过引入心跳检测机制，在分布式任务分解前确认链路情况，及时反馈通信中断或损毁信息处理节点信息。确认通信链路情况后在任务数量估算阶段引入交换区冗余处理系数和体系抗毁冗余增量系数为分布式任务分配冗余信息处理能力，通过冗余的策略保证信息处理任务在信息处理节点部分损毁的情况下仍然可以有效进行。最后，通过预估的任务数量调用k
‑
means聚类算法对分布式任务进行区域分解，得到任务分解结果。能够满足通信信号不稳定及信息处理设备易损条件下的分布式任务分解需求。解决分布式系统在通信不稳定或极端灾害情况下任务有效分解的问题。
[0026]结合图1，根据本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适配高强度弱连接环境的分布式任务分解方法，所述方法运行于分布式系统之上，其特征在于，包括以下步骤：步骤1：输入信息处理任务；步骤2：对所有信息处理节点进行心跳检测，若心跳检测发现所有信息处理节点均无法反馈心跳信号，则通知分布式系统心跳检测无效，将信息处理任务挂起，否则，通知分布式系统心跳检测有效，执行步骤3；步骤3：根据心跳检测结果进行任务数量估算；步骤4：调用k
‑
means聚类算法进行任务处理范围划分，将步骤3估算的任务数量分配到计算区域；步骤5：输出任务分解结果，完成分布式任务分解。2.根据权利要求1所述的一种适配高强度弱连接环境的分布式任务分解方法，其特征在于，步骤1中，信息处理任务队列采用优先级队列，赋予重要程度高的消息高优先级，保证其优先出队。3.根据权利要求2所述的一种适配高强度弱连接环境的分布式任务分解方法，其特征在于，步骤2中，通过设置心跳检测策略，在分布式任务分解前确认链路情况，反馈通信中断或损毁信息处理节点信息，包括如下步骤：（1）构建当前通信链路状况下的信息处理节点集，其中，表示信息处理节点，表示当前信息处理节点的个数；（2）对每一个信息处理节点发送心跳检测信号；（3）若...

【专利技术属性】
技术研发人员：严潇波，汪磊，王超，葛光富，贾永军，薛科婷，吴鹏，史星宇，陈健，闫浩，刘晗，张向辉，张原，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：