一种配置任务的分发方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种配置任务的分发方法、装置、电子设备及存储介质，该方法包括拆分通用任务进程，得到至少三个目标任务进程；获取配置任务，确定配置任务的任务类别；对于任务类别为公用文件任务的配置任务，基于第一目标任务进程对配置任务进行单进程下发；对于任务类别为非公用文件任务的配置任务，基于第二目标任务进程下发不存在耗时任务标签的配置任务，基于第三目标任务进程下发存在耗时任务标签的配置任务。本申请实现对不同任务独立分配执行，使通用非公用文件任务不会再受前面耗时非公用文件任务阻塞的影响，能更高效和合理分配系统资源。系统资源。系统资源。

【技术实现步骤摘要】
一种配置任务的分发方法、装置、电子设备及存储介质


[0001]本申请涉及无线通信
，具体而言，涉及一种配置任务的分发方法、装置、电子设备及存储介质。

技术介绍

[0002]随着CDN系统的不断发展，配置任务的下发量呈几何式的增长。目前，对于CDN系统的每个agent节点，如果队列中有耗时任务，后面的非耗时任务会因为一直处于排队等待状态而得不到执行。同时，对于文件下发，因为涉及到命令集中的任何一条命令执行失败都要进行回滚策略，为了防止公用文件之间的相互覆盖或回滚导致的文件数据丢失，所有包含文件下发的任务都需要采用单进程，导致下发效率降低。因此，如何根据不同的文件特性，执行不同的下发策略从而实现配置任务的高效分发和命令集的高效执行是目前解决的问题。

技术实现思路

[0003]为了解决上述问题，本申请实施例提供了一种配置任务的分发方法、装置、电子设备及存储介质。
[0004]第一方面，本申请实施例提供了一种配置任务的分发方法，所述方法包括：拆分通用任务进程，得到至少三个目标任务进程，所述目标任务进程包括用于下发公用文件的第一目标任务进程、用于下发非公用文件中通用任务的第二目标任务进程和用于下发非公用文件中耗时任务的第三目标任务进程；基于agent节点获取配置任务，确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务；对于任务类别为公用文件任务的所述配置任务，基于所述第一目标任务进程对所述配置任务进行单进程下发；对于任务类别为非公用文件任务的所述配置任务，基于所述第二目标任务进程下发不存在耗时任务标签的所述配置任务，基于所述第三目标任务进程下发存在所述耗时任务标签的所述配置任务，所述第二目标任务进程和第三目标任务进程的下发方式包括单进程下发和多进程下发。
[0005]优选的，所述确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务，包括：确定所述配置任务的配置信息，并匹配所述配置信息与预设的公用文件配置信息，基于匹配结果确定所述配置任务的任务类别，所述公用文件配置信息包括文件路径正则信息、绝对路径信息与文件目录信息中的至少一种信息；所述配置信息与预设的公用文件配置信息能够匹配时，所述任务类别为公用文件任务；所述配置信息与预设的公用文件配置信息不能够匹配时，所述任务类别为非公用
文件任务。
[0006]优选的，所述方法还包括：对于从预设的上层文件路径获取到的所述配置任务，基于多进程对所述配置任务进行下发。
[0007]优选的，所述第二目标任务进程的默认进程数至少为两个，所述第三目标任务进程的默认进程数至少为两个。
[0008]优选的，所述目标任务进程至少有四个，所述目标任务进程还包括用于对其余目标任务进程进行任务监控的第四目标任务进程，所述耗时任务标签被标记于所述配置任务的路径关键词中；所述方法还包括：基于所述第四目标任务进程记录所述配置任务对应的所述路径关键词；对于没有所述耗时任务标签的路径关键词，计算接下来获取的第一预设数量的各第一目标配置任务的平均执行时间，并在所述平均执行时间高于预设阈值的所述路径关键词中标记所述耗时任务标签，所述第一目标配置任务为没有所述耗时任务标签的路径关键词对应的配置任务。
[0009]优选的，所述方法还包括：对于有所述耗时任务标签的路径关键词，确定接下来获取的第二预设数量的各第二目标配置任务的各任务执行时间，并在各所述任务执行时间均低于所述预设阈值时，移除所述路径关键词的所述耗时任务标签，所述第二目标配置任务为有所述耗时任务标签的路径关键词对应的配置任务。
[0010]优选的，所述方法还包括：基于所述第四目标任务进程分别统计待统计目标任务进程的单位时间任务下发数，并基于所述单位时间任务下发数调整所述待统计目标任务进程的实时进程数，所述待统计目标任务进程包括第二目标任务进程和第三目标任务进程。
[0011]第二方面，本申请实施例提供了一种配置任务的分发装置，所述装置包括：拆分模块，用于拆分通用任务进程，得到至少三个目标任务进程，所述目标任务进程包括用于下发公用文件的第一目标任务进程、用于下发非公用文件中通用任务的第二目标任务进程和用于下发非公用文件中耗时任务的第三目标任务进程；获取模块，用于基于agent节点获取配置任务，确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务；第一分发模块，用于对于任务类别为公用文件任务的所述配置任务，基于所述第一目标任务进程对所述配置任务进行单进程下发；第二分发模块，用于对于任务类别为非公用文件任务的所述配置任务，基于所述第二目标任务进程下发不存在耗时任务标签的所述配置任务，基于所述第三目标任务进程下发存在所述耗时任务标签的所述配置任务，所述第二目标任务进程和第三目标任务进程的下发方式包括单进程下发和多进程下发。
[0012]第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。
[0013]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法。
[0014]本专利技术的有益效果为：1.实现对耗时任务和公用文件任务的智能识别，动态识别公用文件任务、耗时非公用文件任务和通用非公用文件任务，对不同任务独立分配执行，使通用非公用文件任务不会再受前面耗时非公用文件任务阻塞的影响，能更高效和合理分配系统资源。
[0015]2.公用文件任务在单独的任务进程里以单进程的方式下发，避免了公用文件之间的相互覆盖或回滚导致文件数据丢失的情况，还使得非公用文件任务能够采用多进程下发，进一步提高了整体的下发效率。
[0016]3.能够动态化分配和调整各目标任务进程的任务进程数，最大化利用和分配系统进程资源，智能调度，高效执行分发。
[0017]4.业务方可根据自身业务同步设置公用文件配置信息，下发方式更加灵活自由。
附图说明
[0018]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本申请实施例提供的一种配置任务的分发方法的流程示意图；图2为本申请实施例提供的一种配置任务的分发装置的结构示意图；图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0020]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0021]在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种配置任务的分发方法，其特征在于，所述方法包括：拆分通用任务进程，得到至少三个目标任务进程，所述目标任务进程包括用于下发公用文件的第一目标任务进程、用于下发非公用文件中通用任务的第二目标任务进程和用于下发非公用文件中耗时任务的第三目标任务进程；基于agent节点获取配置任务，确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务；对于任务类别为公用文件任务的所述配置任务，基于所述第一目标任务进程对所述配置任务进行单进程下发；对于任务类别为非公用文件任务的所述配置任务，基于所述第二目标任务进程下发不存在耗时任务标签的所述配置任务，基于所述第三目标任务进程下发存在所述耗时任务标签的所述配置任务，所述第二目标任务进程和第三目标任务进程的下发方式包括单进程下发和多进程下发。2.根据权利要求1所述的方法，其特征在于，所述确定所述配置任务的任务类别，所述任务类别包括公用文件任务和非公用文件任务，包括：确定所述配置任务的配置信息，并匹配所述配置信息与预设的公用文件配置信息，基于匹配结果确定所述配置任务的任务类别，所述公用文件配置信息包括文件路径正则信息、绝对路径信息与文件目录信息中的至少一种信息；所述配置信息与预设的公用文件配置信息能够匹配时，所述任务类别为公用文件任务；所述配置信息与预设的公用文件配置信息不能够匹配时，所述任务类别为非公用文件任务。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：对于从预设的上层文件路径获取到的所述配置任务，基于多进程对所述配置任务进行下发。4.根据权利要求1所述的方法，其特征在于，所述第二目标任务进程的默认进程数至少为两个，所述第三目标任务进程的默认进程数至少为两个。5.根据权利要求1所述的方法，其特征在于，所述目标任务进程至少有四个，所述目标任务进程还包括用于对其余目标任务进程进行任务监控的第四目标任务进程，所述耗时任务标签被标记于所述配置任务的路径关键词中；所述方法还包括：基于所述第四目标任务进程记录所述配置任务对应的所述路径关键词；对于没有所述耗时任务标签的路径关键词，计算接下来获取的第一预设数量的各第一目标配置任务的平均执行时间，并在所述平均执行时...

【专利技术属性】
技术研发人员：石国宾，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：