【技术实现步骤摘要】
本申请涉及资源调度领域，具体而言，涉及一种资源调度方法、资源调度装置、计算机可读存储介质和电子设备。
技术介绍
1、目前的调度系统无法获取数据库整个资源的使用情况及各个作业的资源占用情况，只能被动分配资源进行作业运行，并不能判断分配的资源是否合适。即现有的调度系统存在以下缺点：
2、(1)任务始终分配一个固定初始资源，对不同任务的区分度不够，由于具体执行需要资源会在执行后调整，实际使用内存会同初始内存差异较大。
3、(2)现阶段资源优化过程一般由人工完成，并且需要耗费的时间较长，并且需要配合其他优化过程，具有很大的不确定性，而且并不能很容易找到任务的最优运行资源，容易造成资源利用率低的情况。
4、(3)挂起等待之后，往往需要等待一段时间才能分配到内存，增加了排队时长。
5、(4)报错后定位问题原因，报错分析中可能会遇到超出内存限制或者由于其他任务导致内存紧张共同存在的情况。
6、(5)没有合适的重调机制，一种是不断的循环重调，并不分析报错原因，导致由于资源问题的报错始终无法解决；一种是需要人工手动处理报错，还需要区分是否能够通过重调解决，或者手动分配资源执行。
7、(6)由于调度只使用并发来控制集群运行作业的数量，若出现多个资源占用量大的作业会导致集群卡死，需要动态调整并发，实时识别集群状态，避免集群卡死。
技术实现思路
1、本申请的主要目的在于提供一种资源调度方法、资源调度装置、计算机可读存储介质和电子设备，
2、为了实现上述目的，根据本申请的一个方面，提供了一种资源调度方法，包括：获取目标任务的标识号，所述标识号用于唯一标识所述目标任务；根据所述目标任务的标识号，确定历史任务记录中是否存在所述目标任务的历史内存记录；在所述历史任务记录中存在所述目标任务的历史内存记录的情况下，根据所述目标任务的历史内存记录，确定用于执行所述目标任务的初始内存值，所述目标任务的历史内存记录包括历史时间段内成功执行所述目标任务的内存值；在所述历史任务记录中不存在所述目标任务的历史内存记录的情况下，根据集群总资源和理想并发数，确定用于执行所述目标任务的所述初始内存值。
3、可选地，在所述历史任务记录中存在所述目标任务的历史内存记录的情况下，根据所述目标任务的历史内存记录，确定用于执行所述目标任务的初始内存值，包括：在所述历史任务记录中存在所述目标任务的历史内存记录的情况下，根据所述目标任务的历史内存记录，确定所述目标任务的历史内存周期，所述历史内存周期为根据在历史时间段内成功执行所述目标任务所消耗的内存的规律得到的；构建第一内存计算式y(t)＝avg(y(t-n))，其中，y(t)为所述目标任务的初始内存值，t为所述目标任务的开始执行时间，y(t-n)为一个所述历史内存周期内执行所述目标任务所需的内存值，n为所述历史内存周期；根据所述第一内存计算式，确定用于执行所述目标任务的所述初始内存值。
4、可选地，所述目标任务的历史内存记录有多个，在所述历史任务记录中存在所述目标任务的历史内存记录的情况下，根据所述目标任务的历史内存记录，确定用于执行所述目标任务的初始内存值，包括：在所述历史任务记录中存在所述目标任务的历史内存记录的情况下，根据各所述目标任务的历史内存记录对应的历史执行时间，将多个所述目标任务的历史内存记录拆分为至少一个历史内存记录集，一个所述历史内存记录集对应一个历史执行时段，一个所述历史内存记录集中的所有的所述历史内存记录的历史执行时间均位于该所述历史内存记录集对应的所述历史执行时段内；根据各所述历史内存记录集对应的所述历史执行时段，确定各所述历史内存记录集对应的计算权重，其中，所述历史执行时段与当前时刻的时间差越小，所述历史执行时段对应的所述历史内存记录集的计算权重越大；根据所有的所述目标任务的历史内存记录和各所述历史内存记录集对应的计算权重，确定用于执行所述目标任务的初始内存值。
5、可选地，所述历史内存记录集有两个，分别为第一记录集和第二记录集，根据所有的所述目标任务的历史内存记录和各所述历史内存记录集对应的计算权重，确定用于执行所述目标任务的初始内存值，包括：构建第二内存计算式：y(t)＝a×avg(y(t-1)+…+y(t-7))+bavg(y(t-8)+…+y(t-15))，其中，y(t)为所述初始内存值，t为所述目标任务的开始执行时间，a为所述第一记录集对应的计算权重，b为所述第二记录集对应的计算权重，y(t-1)至(t-7)分别为所述第一记录集中的各所述历史内存记录，y(t-8)+…+y(t-15)分别为所述第二记录集中的各所述历史内存记录；根据所述第二内存计算式，确定用于执行所述目标任务的初始内存值。
6、可选地，在所述历史任务记录中不存在所述目标任务的历史内存记录的情况下，根据集群总资源和理想并发数，确定用于执行所述目标任务的所述初始内存值，包括：在所述历史任务记录中不存在所述目标任务的历史内存记录的情况下，将所述集群总资源和理想并发数的比值，确定为用于执行所述目标任务的初始内存值；和/或，在所述历史任务记录中不存在所述目标任务的历史内存记录的情况下，根据集群总资源和理想并发数，确定用于执行所述目标任务的所述初始内存值之后，所述方法还包括：在所述初始内存值不支持所述目标任务完全执行的情况下，将所述初始内存值的预设倍确定为所述目标任务的再分配内存值，并采用所述再分配内存值执行所述目标任务。
7、可选地，在所述初始内存值不支持所述目标任务完全执行的情况下，将所述初始内存值的预设倍确定为所述目标任务的再分配内存值，并采用所述再分配内存值执行所述目标任务，包括：在空闲内存值小于所述再分配内存值的情况下，确定在第一预设时间段内能够执行完成的作业任务，并对所述作业任务占用的内存求和，得到预备内存值；在所述预备内存值大于或者等于所述再分配内存值的情况下，保留分配给所述目标任务的内存，并将所述目标任务的优先级调高，以使得在所述作业任务执行完成后立即执行所述目标任务；在所述预备内存值小于所述再分配内存值的情况下，将分配给所述目标任务的内存释放，并将所述目标任务放置回任务排队序列中，直到所述空闲内存值大于或者等于所述再分配内存值的情况下，再执行所述目标任务。
8、可选地，所述方法还包括：在第二预设时间段内的作业报错次数大于或者等于预设次数的情况下，确定当前时刻下的空闲内存值；在当前时刻下的所述空闲内存值小于或者等于预设内存值的情况下，将当前时刻下的未执行任务从任务排队序列中删除，并降低调度的并发任务数量，直到所述空闲内存值大于所述预设内存值，再将所述未执行任务放置回所述任务排队序列中。
9、根据本申请的另一方面，提供了一种资源调度装置，包括：获取单元，用于获取目标任务的标识号，所述标识号用于唯一标识所述目标任务；第本文档来自技高网...
【技术保护点】
1.一种资源调度方法，其特征在于，包括：
2.根据权利要求1所述的资源调度方法，其特征在于，在所述历史任务记录中存在所述目标任务的历史内存记录的情况下，根据所述目标任务的历史内存记录，确定用于执行所述目标任务的初始内存值，包括：
3.根据权利要求1所述的资源调度方法，其特征在于，所述目标任务的历史内存记录有多个，在所述历史任务记录中存在所述目标任务的历史内存记录的情况下，根据所述目标任务的历史内存记录，确定用于执行所述目标任务的初始内存值，包括：
4.根据权利要求3所述的资源调度方法，其特征在于，所述历史内存记录集有两个，分别为第一记录集和第二记录集，根据所有的所述目标任务的历史内存记录和各所述历史内存记录集对应的计算权重，确定用于执行所述目标任务的初始内存值，包括：
5.根据权利要求1所述的资源调度方法，其特征在于，
6.根据权利要求5所述的资源调度方法，其特征在于，在所述初始内存值不支持所述目标任务完全执行的情况下，将所述初始内存值的预设倍确定为所述目标任务的再分配内存值，并采用所述再分配内存值执行所述目标任务，包括
7.根据权利要求1所述的资源调度方法，其特征在于，所述方法还包括：
8.一种资源调度装置，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的资源调度方法。
10.一种电子设备，其特征在于，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至7中任意一项所述的资源调度方法。
...【技术特征摘要】
1.一种资源调度方法，其特征在于，包括：
2.根据权利要求1所述的资源调度方法，其特征在于，在所述历史任务记录中存在所述目标任务的历史内存记录的情况下，根据所述目标任务的历史内存记录，确定用于执行所述目标任务的初始内存值，包括：
3.根据权利要求1所述的资源调度方法，其特征在于，所述目标任务的历史内存记录有多个，在所述历史任务记录中存在所述目标任务的历史内存记录的情况下，根据所述目标任务的历史内存记录，确定用于执行所述目标任务的初始内存值，包括：
4.根据权利要求3所述的资源调度方法，其特征在于，所述历史内存记录集有两个，分别为第一记录集和第二记录集，根据所有的所述目标任务的历史内存记录和各所述历史内存记录集对应的计算权重，确定用于执行所述目标任务的初始内存值，包括：
5.根据权利要求1所述的资源调度方法，其特征在于，
6...
【专利技术属性】
技术研发人员：王博，
申请(专利权)人：中国邮政储蓄银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。