一种任务调度方法、装置、设备、存储介质及程序产品制造方法及图纸

本发明专利技术涉及数据存储技术领域，具体是一种任务调度方法、装置、设备、存储介质及程序产品，所述方法包括：获取待调度任务，所述待调度任务包括至少一个待调度作业；针对各个所述待调度作业，获取所述待调度作业对应的历史执行结果文件信息和后续作业信息；根据所述历史执行结果文件信息和所述后续作业信息确定所述待调度作业的本次执行结果文件的存储方式；确定执行所述待调度作业的第一计算节点；将所述待调度作业和所述存储方式下发至所述第一计算节点，以使得所述第一计算节点执行所述待调度作业，并根据所述存储方式对所述待调度作业的本次执行结果文件进行存储。本发明专利技术的方法可以实现自适应存储，进而提高任务调度的效率，降低资源的消耗。降低资源的消耗。降低资源的消耗。

【技术实现步骤摘要】
一种任务调度方法、装置、设备、存储介质及程序产品


[0001]本专利技术涉及数据存储
，特别涉及一种任务调度方法、装置、设备、存储介质及程序产品。

技术介绍

[0002]近年来，随着银行业务的不断发展，后端系统规模也在不断扩大，批处理任务的数量与复杂度都在日益增加。将批处理任务调度在单台主机上处理时，由于任务数量及复杂度过高，单台主机无法提供足够的性能，导致主机负荷过大，影响任务的处理。
[0003]随着分布式架构的崛起，各个银行都在积极探索主机下移的解决方案，通过依托企业级分布式平台和采用开放技术建设核心银行系统，以通过分布式架构的批处理框架来实现原先主机的批处理功能，达到降低复杂度，缩短任务执行时间的目的。
[0004]现有技术中，分布式架构系统在执行批处理任务时，所有任务数据均需要从数据库下档后，以文件的形式存储在分布式存储系统中，供分布式架构系统中的所有计算节点使用。在需要使用任务数据时，所有计算节点都需要从分布式存储系统中读取文件，导致大量的计算资源消耗(包括中央处理器、输入/输出和网络开销等)。并且，由于分布式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：获取待调度任务，所述待调度任务包括至少一个待调度作业；针对各个所述待调度作业，获取所述待调度作业对应的历史执行结果文件信息和后续作业信息；根据所述历史执行结果文件信息和所述后续作业信息确定所述待调度作业的本次执行结果文件的存储方式；确定执行所述待调度作业的第一计算节点；将所述待调度作业和所述存储方式下发至所述第一计算节点，以使得所述第一计算节点执行所述待调度作业，并根据所述存储方式对所述待调度作业的本次执行结果文件进行存储。2.根据权利要求1所述的方法，其特征在于，所述根据所述历史执行结果文件信息和所述后续作业信息确定所述待调度作业的本次执行结果文件的存储方式包括：根据所述历史执行结果文件信息预估所述本次执行结果文件的文件大小；将所述文件大小与第一预设阈值进行比较，得到第一比较结果；根据所述后续作业信息预估需要使用所述本次执行结果文件的作业数量；将所述作业数量与第二预设阈值进行比较，得到第二比较结果；根据所述第一比较结果和所述第二比较结果确定所述本次执行结果文件的存储方式。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一比较结果和所述第二比较结果确定所述本次执行结果文件的存储方式包括：如果所述第一比较结果为所述文件大小小于或等于所述第一预设阈值，所述第二比较结果为所述作业数量小于或等于所述第二预设阈值，则确定所述存储方式为内存存储的方式；如果所述第一比较结果为所述文件大小大于所述第一预设阈值，所述第二比较结果为所述作业数量小于或等于所述第二预设阈值，则确定所述存储方式为内存存储和本地存储相结合的方式；如果所述第一比较结果为所述文件大小小于或等于所述第一预设阈值，所述第二比较结果为所述作业数量大于所述第二预设阈值，则确定所述存储方式为分布式缓存存储的方式；如果所述第一比较结果为所述文件大小大于所述第一预设阈值，所述第二比较结果为所述作业数量大于所述第二预设阈值，则确定所述存储方式为分布式存储系统存储的方式。4.根据权利要求1所述的方法，其特征在于，所述确定执行所述待调度作业的第一计算节点包括：获取所述待调度作业对应的待处理文件的存储位置信息；基于所述存储位置信息为所述待调度作业分配至少一个计算节点，作为所述第一计算节点。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述待调度任务中的各个待调度作业均被执行完成后，获取所述待调度任务对应的第一性能指标数据；
对当前的第一预设阈值和/或当前的第二预设阈值进行调整，基于调整后的第一预设阈值和...

【专利技术属性】
技术研发人员：杨超，唐成山，陈军，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：