【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种集群混合部署场景的数据处理任务执行方法、装置和设备。
技术介绍
1、随着计算机的发展，用户可以使用电子设备实现各种功能。例如，用户可以通过电子设备查询各种数据。
2、在一些场景中，可以在大数据系统部署多种不同的引擎，每种数据引擎可以具有一套主从进程框架,而为了提高集群的资源利用率,这些用于不同场景的引擎的节点可以部署在同一个电子设备或者虚拟机上,这种多个数据引擎的组件部署在同一个电子设备或者虚拟机的场景，可以称为集群混合部署(即集群混部)。
技术实现思路
1、提供该公开内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该公开内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
2、第一方面，本公开实施例提供了一种集群混合部署场景的数据处理任务执行方法，该方法包括：响应于第一数据引擎的第一数据引擎节点的第一数据处理任务，确定所述第一数据处理任务对应的第一内存占用量，其中，第一数据引擎节点部署于第一电子设备，所述第一电子设备部署有包括第一数据引擎节点的多个计算节点，多个计算节点属于包括第一数据引擎的至少两个数据引擎；基于所述第一内存占用量和所述多个计算节点中的至少部分计算节点对应的内存占用量，确定是否执行所述第一数据处理任务。
3、第二方面，本公开实施例提供了一种集群混合部署场景的数据处理任务执行装置，包括：第一确定单元，用于响应于第一数
4、第三方面，本公开实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的集群混合部署场景的数据处理任务执行方法。
5、第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的集群混合部署场景的数据处理任务执行方法的步骤。
6、本公开实施例提供的集群混合部署场景的数据处理任务执行方法、装置和设备，可以响应于第一数据引擎节点接收到第一数据处理任务，确定第一数据处理任务对应的第一内存占用量，其中，第一数据引擎节点部署于第一电子设备并且属于第一数据引擎；基于其它数据引擎节点对应的第二内存占用量，确定是否执行所述第一数据处理任务，其中，所述其它数据引擎节点部署于第一电子设备并且属于所述至少两种数据引擎中除第一数据引擎之外的其它数据引擎。由此，可以在集群混部场景中，结合多个数据引擎的计算节点所占用的内存，确定是否执行第一数据处理任务，保证第一电子设备中内存的灵活分配的同时，避免内存超用而导致的任务执行终断，提高系统提供服务的稳定性。
本文档来自技高网...【技术保护点】
1.一种集群混合部署场景的数据处理任务执行方法，其特征在于，第一电子设备部署有至少两种数据引擎的计算节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于其它数据引擎节点对应的第二内存占用量，确定是否执行所述第一数据处理任务，包括：
3.根据权利要求2所述的方法，其特征在于，第一电子设备部署的至少两种数据引擎的内存占用量通过第一步骤确定；
4.根据权利要求3所述的方法，其特征在于，所述确定所述第二内存占用量，以及确定第一数据引擎节点对应的第三内存占用量，包括：
5.根据权利要求1所述的方法，其特征在于，所述第一数据引擎为在线分析处理引擎。
6.根据权利要求2所述的方法，其特征在于，所述根据所述第二内存占用量和所述第三内存占用量，确定所述是否执行所述第一数据处理任务，包括：
7.根据权利要求2所述的方法，其特征在于，所述根据所述第二内存占用量和所述第三内存占用量，确定所述是否执行所述第一数据处理任务，包括：
8.根据权利要求6或7所述的方法，其特征在于，所述根据所述第二内存占用量和
9.根据权利要求1所述的方法，其特征在于，在所述基于其它数据引擎节点对应的第二内存占用量，确定是否执行所述第一数据处理任务，之前，所述方法还包括：
10.一种集群混合部署场景的数据处理任务执行装置，其特征在于，第一电子设备部署有至少两种数据引擎的计算节点，所述装置包括：
11.一种电子设备，其特征在于，包括：
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的方法。
...【技术特征摘要】
1.一种集群混合部署场景的数据处理任务执行方法，其特征在于，第一电子设备部署有至少两种数据引擎的计算节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于其它数据引擎节点对应的第二内存占用量，确定是否执行所述第一数据处理任务，包括：
3.根据权利要求2所述的方法，其特征在于，第一电子设备部署的至少两种数据引擎的内存占用量通过第一步骤确定；
4.根据权利要求3所述的方法，其特征在于，所述确定所述第二内存占用量，以及确定第一数据引擎节点对应的第三内存占用量，包括：
5.根据权利要求1所述的方法，其特征在于，所述第一数据引擎为在线分析处理引擎。
6.根据权利要求2所述的方法，其特征在于，所述根据所述第二内存占用量和所述第三内存占用量，确定所述是否执行所述第一数据处理任务，包括：
【专利技术属性】
技术研发人员：黄昭伟，琚克俭，户蕾蕾，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。