一种任务处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及一种任务处理方法、装置、电子设备及存储介质，所述方法包括：确定待处理任务，基于所述任务处理任务中携带的关键字，确定处理所述待处理任务所需的第一资源文件；判断所述第一资源文件是否存在于缓存服务器，其中，全局文件系统获取本地第二资源文件的缓存要素，根据所述缓存要素将所述第二资源文件存储至所述缓存服务器；若所述第一资源文件未存在于所述缓存服务器，从所述全局文件系统中加载所述第一资源文件；根据所述第一资源文件处理所述待处理任务。如此基于待处理任务中携带的关键字，确定处理待处理任务所需的第一资源文件，可以避免频繁的资源文件指定过程，节省了时间，提高了任务处理效率。提高了任务处理效率。提高了任务处理效率。

【技术实现步骤摘要】
一种任务处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及任务处理
，尤其涉及一种任务处理方法、装置、电子设备及存储介质。

技术介绍

[0002]在基于特定的分布式任务处理的过程中，由于任务是分散在各个物理服务器上并行处理的，会涉及到在集群环境中处理每个任务时需要获取资源文件的问题。因此需要将资源文件上传到全局文件系统(比如分布式文件系统)，通过全局文件系统将任务处理所需的资源文件对所有的物理服务器可见，在各个物理服务器处理任务前将所需的资源文件加载到本地，随后各个物理服务器根据资源文件处理任务。
[0003]相关技术中，在提交每个任务前均由任务的开发者指定该任务的所需资源文件，在任务提价过程中将该所需资源文件上传到全局文件系统，物理服务器在执行该任务之前，从全局文件系统获取为该任务指定的所需资源文件，从而根据所需资源文件对该任务进行处理。由于在提交每个任务前均由任务的开发者指定该任务的所需资源文件，如此任务处理需要经过频繁的资源文件指定过程，需要消耗大量时间，降低任务处理效率。
专利技术内容
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，所述方法包括：确定待处理任务，基于所述任务处理任务中携带的关键字，确定处理所述待处理任务所需的第一资源文件；判断所述第一资源文件是否存在于缓存服务器，其中，全局文件系统获取本地第二资源文件的缓存要素，根据所述缓存要素将所述第二资源文件存储至所述缓存服务器，所述缓存要素包括：加载次数、文件大小、共享性和/或预设权重；若所述第一资源文件未存在于所述缓存服务器，从所述全局文件系统中加载所述第一资源文件；根据所述第一资源文件处理所述待处理任务。2.根据权利要求1所述的方法，其特征在于，所述获取本地第二资源文件的缓存要素，根据所述缓存要素将所述第二资源文件存储至所述缓存服务器，包括：获取本地第二资源文件的所述加载次数，根据所述加载次数确定所述第二资源文件的第一缓存参数；获取本地第二资源文件的所述文件大小，根据所述文件大小确定所述第二资源文件的第二缓存参数；获取本地第二资源文件的所述共享性，根据所述共享性确定所述第二资源文件的第三缓存参数；根据所述第一缓存参数、所述第二缓存参数、所述第三缓存参数以及所述预设权重，确定所述第二资源文件的缓存倾向度；根据所述缓存倾向度将所述第二资源文件存储至所述缓存服务器。3.根据权利要求2所述的方法，其特征在于，所述获取本地第二资源文件的所述加载次数，根据所述加载次数确定所述第二资源文件的第一缓存参数，包括：获取本地第二资源文件的所述加载次数，确定所述加载次数对应的预设次数区间；确定所述预设次数区间对应的文件热点程度为所述第二资源文件的第一缓存参数。4.根据权利要求2所述的方法，其特征在于，所述获取本地第二资源文件的所述文件大小，根据所述文件大小确定所述第二资源文件的第二缓存参数，包括：获取本地第二资源文件的所述文件大小，确定所述文件大小对应的预设文件大小范围；确定所述预设文件大小范围对应的文件空间占用程度为所述第二资源文件的第二缓存参数。5.根据权利要求2所述的方法，其特征在于，所述获取本地第二资源文件的所述共享性，根据所述共享性确定所述第二资源文件的第三缓存参数，包括：获取本地第二资源文...

【专利技术属性】
技术研发人员：王梓森，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：