用于集群模式的任务处理方法及装置制造方法及图纸

本公开涉及一种用于集群模式的任务处理方法、装置、电子设备及计算机可读介质。该方法包括：获取任务集合，所述任务集合中包括多个待处理的任务；获取集群中多个检测设备的数量和多个设备信息；基于所述多个设备信息确定所述多个检测设备对应的多个剩余检测数；基于所述多个设备信息和所述多个剩余检测数确定所述多个检测设备对应的任务配比；由所述任务集合中提取部分待处理的任务并根据所述任务配比分配给所述多个检测设备进行任务处理。本公开涉及的用于集群模式的任务处理方法、装置、电子设备及计算机可读介质，根据当前设备的计算力对每台设备的检测任务量进行动态调整，减少所有检测设备的累计闲置时间，提高用户体验。验。验。

【技术实现步骤摘要】
用于集群模式的任务处理方法及装置


[0001]本公开涉及计算机信息处理领域，具体而言，涉及一种用于集群模式的任务处理方法、装置、电子设备及计算机可读介质。

技术介绍

[0002]为了更好的发现及管理网络环境中海量的资产，探测网络环境中的存活资产，通常我们借助检测设备来帮我们完成。而检测设备在处理大网段范围的扫描任务时，往往因其性能的限制，需要花费大量的时间，因此在实际应用环境中，通常使用集群模式借助多台检测设备共同完成作业，以尽可能的减少完成任务所需花费的时间来提高用户体验。
[0003]鉴于此，在每次有新的检测任务请求到达时，就需要考虑当前集群中的所有检测设备的运行和当前负荷情况，对检测目标进行拆分后进行合理分配，以期花费最短的时间来完成全部的任务。
[0004]在实际情况中，集群中的检测设备性能不同、且处于不同任务负荷情况下的系统，系统通信等还存在不确定、不可控因素对实际所需扫描时长带来的影响，现有技术中的集群任务分配方法存在着技术瓶颈。
[0005]因此，需要一种新的用于集群模式的任务处理方法、装置、电子设备及计算机可读介质。
[0006]在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0007]有鉴于此，本公开提供一种用于集群模式的任务处理方法、装置、电子设备及计算机可读介质，考虑实际应用环境中每台设备运行情况的动态变化，根据当前设备的计算力对每台设备的检测任务量进行动态调整，消除了一些不可控因素对结果带来的影响，减少所有检测设备的累计闲置时间，花费较短的检测时长来提高用户体验。
[0008]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0009]根据本公开的一方面，提出一种用于集群模式的任务处理方法，该方法包括：获取任务集合，所述任务集合中包括多个待处理的任务；获取集群中多个检测设备的数量和多个设备信息；基于所述多个设备信息确定所述多个检测设备对应的多个剩余检测数；基于所述多个设备信息和所述多个剩余检测数确定所述多个检测设备对应的任务配比；由所述任务集合中提取部分待处理的任务并根据所述任务配比分配给所述多个检测设备进行任务处理。
[0010]在本公开的一种示例性实施例中，还包括：监听所述多个检测设备的任务处理情况，存在闲置的检测设备时，再次进行任务分配。
[0011]在本公开的一种示例性实施例中，获取任务集合，包括：在获取新的任务请求时，
根据待处理的任务队列中所有任务的生成任务集合。
[0012]在本公开的一种示例性实施例中，获取集群中多个检测设备的数量和多个设备信息，包括：获取所述多个检测设备的数量；获取所述多个检测设备中每个检测设备的剩余检测数、上一次任务集合的任务数和任务处理时间。
[0013]在本公开的一种示例性实施例中，基于所述多个设备信息和所述多个剩余检测数确定所述多个检测设备对应的任务配比，包括：基于多个设备信息的上一次任务集合的任务数和任务处理时间确定所述多个设备的任务处理速度；根据所述任务处理速度和剩余检测数确定所述多个设备的多个任务配比。
[0014]在本公开的一种示例性实施例中，由所述任务集合中提取部分待处理的任务并根据所述任务配比分配给所述多个检测设备进行任务处理，包括：基于动态衰减函数由所述任务集合中提取部分待处理的任务；将待处理的任务按照任务配比分为多个子集合；将所述多个子集合分配给所述多个检测设备以进行处理。
[0015]在本公开的一种示例性实施例中，基于动态衰减函数由所述任务集合中提取部分待处理的任务，包括：基于所述任务集合中所有待处理任务的数量、多个检测设备的数量生成待提取的任务数量；基于待提取的任务数量由所述任务集合中提取部分待处理的任务。
[0016]在本公开的一种示例性实施例中，将待处理的任务按照任务配比分为多个子集合，包括：将待处理的任务按照任务配比和IP地址分为多个子集合。
[0017]在本公开的一种示例性实施例中，由所述任务集合中提取部分待处理的任务并根据所述任务配比分配给所述多个检测设备进行任务处理，还包括：在本次待处理的任务处理完毕之后，再次提取部分待处理的任务并根据所述任务配比分配给所述多个检测设备进行任务处理，直至全部任务处理完成。
[0018]根据本公开的一方面，提出一种用于集群模式的任务处理装置，该装置包括：任务模块，用于获取任务集合，所述任务集合中包括多个待处理的任务；信息模块，用于获取集群中多个检测设备的数量和多个设备信息；数量模块，用于基于所述多个设备信息确定所述多个检测设备对应的多个剩余检测数；配比模块，用于基于所述多个设备信息和所述多个剩余检测数确定所述多个检测设备对应的任务配比；分配模块，用于由所述任务集合中提取部分待处理的任务并根据所述任务配比分配给所述多个检测设备进行任务处理。
[0019]根据本公开的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。
[0020]根据本公开的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。
[0021]根据本公开的用于集群模式的任务处理方法、装置、电子设备及计算机可读介质，通过获取任务集合，所述任务集合中包括多个待处理的任务；获取集群中多个检测设备的数量和多个设备信息；基于所述多个设备信息确定所述多个检测设备对应的多个剩余检测数；基于所述多个设备信息和所述多个剩余检测数确定所述多个检测设备对应的任务配比；由所述任务集合中提取部分待处理的任务并根据所述任务配比分配给所述多个检测设备进行任务处理的方式，考虑实际应用环境中每台设备运行情况的动态变化，根据当前设备的计算力对每台设备的检测任务量进行动态调整，消除了一些不可控因素对结果带来的
影响，减少所有检测设备的累计闲置时间，花费较短的检测时长来提高用户体验。
[0022]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
[0023]通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是根据一示例性实施例示出的一种用于集群模式的任务处理方法及装置的系统框图。
[0025]图2是根据一示例性实施例示出的一种用于集群模式的任务处理方法的流程图。
[0026]图3是根据另一示例性实施例示出的一种用于集群模式的任务处理方法的流程图。
[0027]图4是根据另一示例性实施例示出的一种用于集群模式的任务处理方法的流程图。
[0028]图5是根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于集群模式的任务处理方法，其特征在于，包括：获取任务集合，所述任务集合中包括多个待处理的任务；获取集群中多个检测设备的数量和多个设备信息；基于所述多个设备信息确定所述多个检测设备对应的多个剩余检测数；基于所述多个设备信息和所述多个剩余检测数确定所述多个检测设备对应的任务配比；由所述任务集合中提取部分待处理的任务并根据所述任务配比分配给所述多个检测设备进行任务处理。2.如权利要求1所述的方法，其特征在于，还包括：监听所述多个检测设备的任务处理情况，存在闲置的检测设备时，再次进行任务分配。3.如权利要求1所述的方法，其特征在于，获取任务集合，包括：在获取新的任务请求时，根据待处理的任务队列中所有的任务生成任务集合。4.如权利要求1所述的方法，其特征在于，获取集群中多个检测设备的数量和多个设备信息，包括：获取所述多个检测设备的数量；获取所述多个检测设备中每个检测设备的剩余检测数、上一次任务集合的任务数和任务处理时间。5.如权利要求4所述的方法，其特征在于，基于所述多个设备信息和所述多个剩余检测数确定所述多个检测设备对应的任务配比，包括：基于多个设备信息的上一次任务集合的任务数和任务处理时间确定所述多个设备的任务处理速度；根据所述任务处理速度和剩余检测数确定所述多个设备的多个任务配比。6.如权利要求1所述的方法，其特征在于，由所述任务集合中提取部分待处理的任务并根据所述任务配比分配给所述多个检测设备进行任务处理，包括：基于动态衰减函数由所述...

【专利技术属性】
技术研发人员：张天鹏，
申请(专利权)人：杭州迪普科技股份有限公司，
类型：发明
国别省市：