一种分布式资产任务调度方法技术

本申请公开了一种分布式资产任务调度方法，包括默认参数设置

【技术实现步骤摘要】
一种分布式资产任务调度方法


[0001]本申请涉及一种分布式资产任务调度方法，属于网络资产探测领域
。

技术介绍

[0002]随着网络技术的快速发展，越来越多的企业和组织将自己的业务和服务部署在云上或者内网中，这些部署在网络上的资产和系统是组成整个网络空间的基础设施
。
[0003]其中，网络资产作为网络空间的构建单元，是网络空间必不可少的一部分
。
随着服务和设备的不断新增，网络空间中的资产数量越来越庞大，并且资产更新慢
、
资产识别准确性低
、
识别发现慢等问题也逐渐产生
。
[0004]目前资产探测领域面临的主要问题是，在如此巨量和广泛的资产范围内，传统的探测任务调度方法存在发现慢
、
单点故障
、
性能瓶颈和可扩展性不足等问题，无法满足大规模任务处理的需求
。

技术实现思路

[0005]为了解决传统的探测任务调度方法存在的上述各种缺陷，根据本申请的一个方面，提供了一种分布式资产任务调度方法，包括如下步骤：
[0006]S1
：默认参数设置，根据
worker
节点的性能参数设置程序的默认参数，可以更充分的发挥性能
。
[0007]S2
：任务拆分分配，读取各个计算节点上的任务数据，进行资产任务拆分和负载均衡，并分配给各个计算节点
。
[0008]通过任务拆分和负载均衡算法，可以有效减轻单个节点的任务压力，同时充分利用各个计算节点的处理能力，提高任务处理性能和效率
。
[0009]S3
：任务调度，各个计算节点根据任务参数建立任务调度图并生成任务链表，设计调度策略
。
[0010]通过在每个计算节点上建立任务调度图和制定相应的调度策略，以针对不同的任务类型进行优化，提高处理效率
。
[0011]S4
：任务执行，各个计算节点遍历所述任务链表并执行任务
。
[0012]通过生成任务链表，可以保证任务的有序性和正确性，从而避免任务之间的干扰
。
[0013]S5
：执行确认，每个资产任务在被执行后被
Broker
确认，通过进行任务执行结果确认而保证任务一定可以成功执行
。
[0014]可选的，所述步骤
S1
中，所述性能参数至少包括所述
worker
节点的物理性能参数
。
[0015]可选的，所述步骤
S1
中，所述默认参数至少包括任务并发数
、
超时等待时间
、
发包数量中的一项
。
[0016]可选的，所述步骤
S2
中，根据任务类型
、
任务目标数量
、
任务目标网络情况
、
计算机节点配置
、
计算机节点实时性能中至少一项因素进行任务拆分
。
[0017]可选的，所述步骤
S2
中，具体为通过负载均衡算法将拆分后的任务分配到不同的
计算节点
。
[0018]可选的，所述步骤
S3
中，所述调度策略针对具体的任务类型进行优化，并考虑各个计算节点之间的协调与合作
。
[0019]可选的，所述步骤
S3
中，所述任务参数包括任务类型和任务量中的至少一项
。
[0020]可选的，所述步骤
S4
中，各个计算节点之间通过消息中间件或消息队列协调
、
同步任务完成情况
。
[0021]可选的，所述步骤
S4
中，任务执行过程中使用多线程机制以提高任务执行效率
。
[0022]可选的，所述步骤
S5
中，若任务被确认为执行失败或异常，则由其他
worker
重新消费，即不存在单点故障，当一台从节点故障时，系统可以自动将任务迁移到其他节点上执行，保证任务的完成
。
[0023]本申请能产生的有益效果包括：
[0024]本申请所提供的一种分布式资产任务调度方法，通过任务拆分分配
、
负载均衡而有效减轻单个节点的任务压力，提高任务处理性能和效率；同时本申请所提供的调度方法能够高效地调度和管理大量任务，具有更高的容错能力，并能有效防止任务之间的干扰，可以充分利用各个计算节点的处理能力，做到更快速的任务响应，且其实施方式简单易懂，能够适用于各类场景
。
具体实施方式
[0025]下面结合实施例详述本申请，但本申请并不局限于这些实施例
。
[0026]根据本申请的一种实施方式中提供的分布式资产任务调度方法，包括如下步骤：
[0027]S1
：默认参数设置，根据
worker
节点的性能参数设置程序的默认参数，可以更充分的发挥性能
。
[0028]所述性能参数为所述
worker
节点的物理性能参数
。
[0029]所述默认参数为任务并发数
、
超时等待时间
、
发包数量
。
[0030]S2
：任务拆分分配，读取各个计算节点上的任务数据，进行资产任务拆分和负载均衡，并分配给各个计算节点
。
[0031]通过任务拆分和负载均衡算法，可以有效减轻单个节点的任务压力，同时充分利用各个计算节点的处理能力，提高任务处理性能和效率
。
[0032]具体为：根据任务类型
、
任务目标数量
、
任务目标网络情况
、
计算机节点配置和计算机节点实时性能因素进行任务拆分；
[0033]通过负载均衡算法将拆分后的任务分配到不同的计算节点
。
[0034]S3
：任务调度，各个计算节点根据任务参数建立任务调度图并生成任务链表，设计调度策略
。
[0035]通过在每个计算节点上建立任务调度图和制定相应的调度策略，以针对不同的任务类型进行优化，提高处理效率
。
[0036]所述调度策略针对具体的任务类型进行优化，并考虑各个计算节点之间的协调与合作
。
[0037]所述任务参数包括任务类型和任务量
。
[0038]S4
：任务执行，各个计算节点遍历所述任务链表并执行任务
。
[0039]通过生成任务链表，可以保证任务的有序性和正确性，从而避免任务之间的干扰
。
[0040]各个计算节点之间通过消息中间件协调
、
同步任务完成情况
。
[0041]任务执行过程中使用多线程机制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种分布式资产任务调度方法，其特征在于，包括如下步骤：
S1
：默认参数设置，根据
worker
节点的性能参数设置程序的默认参数；
S2
：任务拆分分配，读取各个计算节点上的任务数据，进行资产任务拆分和负载均衡，并分配给各个计算节点；
S3
：任务调度，各个计算节点根据任务参数建立任务调度图并生成任务链表，设计调度策略；
S4
：任务执行，各个计算节点遍历所述任务链表并执行任务；
S5
：执行确认，每个资产任务在被执行后被
Broker
确认
。2.
根据权利要求1所述的一种分布式资产任务调度方法，其特征在于，所述步骤
S1
中，所述性能参数至少包括所述
worker
节点的物理性能参数
。3.
根据权利要求1所述的一种分布式资产任务调度方法，其特征在于，所述步骤
S1
中，所述默认参数至少包括任务并发数
、
超时等待时间
、
发包数量中的一项
。4.
根据权利要求1所述的一种分布式资产任务调度方法，其特征在于，所述步骤
S2
中，根据任务类型
、
任务目标数量
、
任务目标网络情况
...

【专利技术属性】
技术研发人员：傅涛，苏旭亮，陆陈飞，邓勇，夏康丽，
申请(专利权)人：博智安全科技股份有限公司，
类型：发明
国别省市：