多计算引擎调度方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种多计算引擎调度方法、装置、设备及存储介质，该方法包括：根据数据库中的历史计算任务定义多个计算队列；根据预设规则给每个计算队列分配对应的计算引擎；匹配待计算任务和所述历史计算任务以确认目标历史计算任务，根据所述目标历史计算任务确认目标计算引擎；使用所述目标计算引擎对所述待计算任务进行计算。本发明专利技术实施例提供的一种多计算引擎调度方法，避免了相关技术中无法充分利用多个计算引擎的资源，也无法应对多用户的计算请求的情况，提升了计算引擎的利用效率，并且能够同时处理多个进程，提高了进程的处理速度。

【技术实现步骤摘要】
多计算引擎调度方法、装置、设备及存储介质
本申请实施例涉及计算板卡技术，尤其涉及一种多计算引擎调度方法、装置、设备及存储介质。
技术介绍
相关技术中，应用多计算引擎平台，需要改善多计算引擎兼容情况、计算任务统一管理情况和未来引擎的扩展情况，因此，需要能够自动选择任务执行引擎，提高平台效率。相关技术中支持多计算引擎的平台，都不能避免上述情况。例如，TwitterSummingBird采用Lambda架构整合了分布式批处理引擎(Hadoop)和分布式流计算引擎(Storm)，在执行请求时可以整合批处理和流计算的结果，但其没有方便的引擎管理机制，同时没有提供引擎运行环境隔离；ApacheAmbari基于Web实现，支持ApacheHadoop生态的供应、管理和监控，同时提供自定义接口，支持添加各类单机或分布式引擎，但其没有提供统一的计算任务管理，只能保证特定引擎兼容性，同时需要人工选择计算引擎执行计算任务；GoogleKubernete基于Docker实现，能够以容器的方式运行计算引擎，依据需求可以运行单机引擎和分布式引擎，提供容器的部署，调度和节点集群间扩展等功能，但其没有任务管理机制，同时也需要人工选择计算引擎。多计算引擎平台无法充分利用多个计算引擎的资源，也无法应对多用户的计算请求。
技术实现思路
本专利技术实施例提供一种多计算引擎调度方法、装置、设备及存储介质，提升了计算引擎的利用效率，并且能够同时处理多个进程，提高了进程的处理速度。第一方面，本申请实施例提供了一种多计算引擎调度方法，包括：根据数据库中的历史计算任务定义多个计算队列；根据预设规则给每个计算队列分配对应的计算引擎；匹配待计算任务和所述历史计算任务以确认目标历史计算任务，根据所述目标历史计算任务确认目标计算引擎；使用所述目标计算引擎对所述待计算任务进行计算。可选的，所述多个计算队列根据优先级顺序划分为第一优先级队列和第二优先级队列，所述第一优先级队列的优先级低于所述第二优先队列的优先级。可选的，在所述第一优先级队列和所述第二优先级队列对应的计算引擎至少有一个相同，且所述第一优先级队列和所述第二优先级队列同时需要对待计算任务进行处理的情况下，将计算引擎分配给所述第二优先级队列。可选的，在将计算引擎分配给所述第二优先级队列之后，还包括：在所述第二优先级队列对应的计算引擎完成所述待计算任务后，将所述第一优先级队列对应的计算引擎分配给所述第一优先级队列。可选的，所述预设规则为：所述第二优先级队列分配的计算引擎数量大于所述第一优先级队列分配的计算引擎数量。可选的，所述匹配待计算任务和所述历史计算任务以确认目标历史计算任务，根据所述目标历史计算任务确认目标计算引擎包括：根据所述待计算任务请求计算引擎；判断所述待计算任务是否为目标历史计算任务，基于所述待计算任务是目标历史计算任务的判断结果，将所述待计算任务划分到所述历史计算任务所属队列，并确认目标计算引擎。可选的，基于所述待计算任务不是目标历史计算任务的判断结果，生成新的计算队列并将所述待计算任务划分到所述新的计算队列中；根据预设规则给所述新的计算队列分配目标计算引擎。可选的，所述使用所述目标计算引擎对所述待计算任务进行计算包括：根据所述待计算任务所属的计算队列生成寄存器列表；根据所述寄存器列表调度与所述待计算任务对应的计算引擎计算所述待计算任务。第二方面，本申请实施例还提供了一种多计算引擎调度装置，该装置包括：队列定义模块，设置为根据数据库中的历史计算任务定义多个计算队列；引擎分配模块，设置为根据预设规则给每个计算队列分配对应的计算引擎；任务匹配模块，设置为匹配待计算任务和所述历史计算任务以确认目标历史计算任务，根据所述目标历史计算任务确认目标计算引擎；任务计算模块，设置为使用所述目标计算引擎对所述待计算任务进行计算。第三方面，本申请实施例还提供了一种多计算引擎调度设备，包括：至少一个处理器；存储器，设置为存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如第一方面所述的多计算引擎调度方法。第四方面，本申请实施例还提供了一种多计算引擎调度存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面所述的多计算引擎调度方法。本申请实施例公开了一种多计算引擎调度方法、装置、设备及存储介质，该方法包括：根据数据库中的历史计算任务定义多个计算队列；根据预设规则给每个计算队列分配对应的计算引擎；匹配待计算任务和所述历史计算任务以确认目标历史计算任务，根据所述目标历史计算任务确认目标计算引擎；使用所述目标计算引擎对所述待计算任务进行计算。本专利技术实施例提供的一种多计算引擎调度方法，避免了相关技术中无法充分利用多个计算引擎的资源，也无法应对多用户的计算请求的情况，提升了计算引擎的利用效率，并且能够同时处理多个进程，提高了进程的处理速度。附图说明图1为本申请一实施例提供的一种多计算引擎调度方法的流程图；图2为本申请一实施例提供的另一种多计算引擎调度方法的流程图；图3是本申请一实施例中一种多计算引擎调度装置的结构示意图；图4是本申请一实施例中一种多计算引擎调度设备的结构示意图。具体实施方式在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一计算引擎为第二计算引擎，且类似地，可将第二计算引擎称为第一计算引擎。第一计算引擎和第二计算引擎两者都是计算引擎，但其不是同一计算引擎。术语“第一”、“第二”等不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确的限定。实施例一图1为本申请一实施例提供的一种多计算引擎调度方法的流程图，本实施例可适用于多引擎同时处理计算任务的情况，包括步骤100至步骤130。在步骤100中，根据数据库中的历史计算任务定义多个计算队列。本实施例中，计算任务是指未处理的各种应用程序。计算队列包含多个计算任务的队列，根据每个计算队列对应了多个计算引擎，同一队列中的计算任务能够使用的计算引擎数量相同，可以根据计算引擎的数量本文档来自技高网...

【技术保护点】
1.一种多计算引擎调度方法，其特征在于，包括：/n根据数据库中的历史计算任务定义多个计算队列；/n根据预设规则给每个计算队列分配对应的计算引擎；/n匹配待计算任务和所述历史计算任务以确认目标历史计算任务，根据所述目标历史计算任务确认目标计算引擎；/n使用所述目标计算引擎对所述待计算任务进行计算。/n

【技术特征摘要】
1.一种多计算引擎调度方法，其特征在于，包括：
根据数据库中的历史计算任务定义多个计算队列；
根据预设规则给每个计算队列分配对应的计算引擎；
匹配待计算任务和所述历史计算任务以确认目标历史计算任务，根据所述目标历史计算任务确认目标计算引擎；
使用所述目标计算引擎对所述待计算任务进行计算。


2.根据权利要求1所述的方法，其特征在于，所述多个计算队列根据优先级顺序划分为第一优先级队列和第二优先级队列，所述第一优先级队列的优先级低于所述第二优先队列的优先级。


3.根据权利要求2所述的方法，其特征在于，在所述第一优先级队列和所述第二优先级队列对应的计算引擎至少有一个相同，且所述第一优先级队列和所述第二优先级队列同时需要对待计算任务进行处理的情况下，将计算引擎分配给所述第二优先级队列。


4.根据权利要求3所述的方法，其特征在于，在将计算引擎分配给所述第二优先级队列之后，还包括：
在所述第二优先级队列对应的计算引擎完成所述待计算任务后，将所述第一优先级队列对应的计算引擎分配给所述第一优先级队列。


5.根据权利要求3所述的方法，其特征在于，所述预设规则为：所述第二优先级队列分配的计算引擎数量大于所述第一优先级队列分配的计算引擎数量。


6.根据权利要求1所述的方法，其特征在于，所述匹配待计算任务和所述历史计算任务以确认目标历史计算任务，根据所述目标历史计算任务确认目标计算引擎包括：
根据所述待计算任务请求计算引擎；
判断所述待计算任务是否为目标历史计算任务，基于所述待计算任务是目...

【专利技术属性】
技术研发人员：黄炯凯，蔡权雄，牛昕宇，
申请(专利权)人：深圳鲲云信息科技有限公司，
类型：发明
国别省市：广东;44