数据处理方法、数据处理系统及设备技术方案

本申请实施例提供一种数据处理方法、数据处理系统及设备。其中，数据处理方法包括如下的步骤：获取处于执行状态的第一任务的第一监测数据；基于所述第一监测数据，确定所述第一任务占用的资源是否超出第一设定限额；在所述第一任务占用的资源超出所述第一设定限额的情况下，通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。采用本申请各实施例提供的技术方法，能及时地发现了因资源占用超限致使资源倾斜继而影响其他任务正常执行的任务；并在发现后，及时发出通知，以便被通知方对第一任务进行相应的处理(例如终止或优化等)，避免资源的进一步的浪费。

【技术实现步骤摘要】
数据处理方法、数据处理系统及设备
本申请涉及计算机
，尤其涉及一种数据处理方法、数据处理系统及设备。
技术介绍
目前，计算平台可并行计算大规模的数据集。随着计算平台上的任务日益增多，预算成本压力也日益增大，合理地分配计算资源显得越来越重要。有时，因资源使用的不合理，致使计算平台上会出现因某一个或多个任务的执行影响到其他正常任务执行的情况。
技术实现思路
本申请实施例提供一种解决上述问题或至少部分地解决上述问题的数据处理方法、数据处理系统及设备。在本申请的一个实施例中，提供了一种数据处理方法。该方法包括：获取处于执行状态的第一任务的第一监测数据；基于所述第一监测数据，确定所述第一任务占用的资源是否超出第一设定限额；在所述第一任务占用的资源超出所述第一设定限额的情况下，通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。在本申请的另一个实施例中，提供了一种数据处理系统。该数据处理系统包括：服务端，用于获取处于执行状态的第一任务的第一监测数据；基于所述第一监测数据，确定所述第一任务占用的资源是否超出第一设定限额；在所述第一任务占用的资源超出所述第一设定限额的情况下，通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知；客户端，用于通过所述至少一个渠道接收所述服务端发送的所述第一通知，显示和/或播放所述第一通知。在本申请的又一个实施例中，提供了一种数据处理方法。该方法包括：获取同属于一个对象，且同处于执行状态的至少两个任务的监测数据；根据所述至少两个任务的监测数据，确定所述至少两个任务共同占用的资源是否超出第二设定限额；在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下，向所述对象对应的客户端发送有关任务累计超限的第二通知。在本申请的又一个实施例中，提供了一种数据处理系统。该数据处理系统包括：服务端，用于获取同属于一个对象，且同处于执行状态的至少两个任务的监测数据；根据所述至少两个任务的监测数据，确定所述至少两个任务共同占用的资源是否超出第二设定限额；在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下，向所述对象对应的客户端发送有关任务累计超限的第二通知；客户端，用于接收所述服务端发送的所述第二通知，显示和/或播放所述第二通知。在本申请的又一个实施例中，提供了一种数据处理方法。该方法包括：显示超限任务的任务信息及与所述超限任务关联的操作控件；响应于用户对所述操作控件的操作，生成所述操作控件对应的处理指令；向服务端发送针对所述超限任务的处理指令，以由所述服务端根据所述处理指令对所述超限任务作出相应的处理操作；其中，所述超限任务为执行中占用的资源超出第一设定限额的任务，或为超限任务组中的一个任务；所述超限任务组包括同处于执行状态，且同属于一个对象的至少两个任务，所述至少两个任务共同占用的资源超出第二设定限额。在本申请的又一个实施例中，提供了一种服务端设备。该服务端设备包括：存储器及处理器；其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：获取处于执行状态的第一任务的第一监测数据；基于所述第一监测数据，确定所述第一任务占用的资源是否超出第一设定限额；在所述第一任务占用的资源超出所述第一设定限额的情况下，通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。在本申请的又一个实施例中，提供了一种服务端设备。该服务端设备包括：存储器及处理器；其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：获取同属于一个对象，且同处于执行状态的至少两个任务的监测数据；根据所述至少两个任务的监测数据，确定所述至少两个任务共同占用的资源是否超出第二设定限额；在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下，向所述对象对应的客户端发送有关任务累计超限的第二通知。本申请实施例提供的一个技术方案，实时地获取在第一任务执行过程中监测到的第一监测数据；并基于第一监测数据，确定第一任务占用的资源是否超出第一设定限额；及时地发现了因资源占用超限致使资源倾斜继而影响其他任务正常执行的任务；并在发现后，及时发出通知，以便被通知方对第一任务进行相应的处理(例如终止或优化等)，避免资源的进一步的浪费。本申请实施例提供的另一个技术方案，通过获取同属于一个对象且同处于执行状态的至少两个任务的监测数据，以实时的根据至少两个任务的监测数据，确定至少两个任务共同占用的资源是否超出第二设定限额；及时地发现了因同一对象的多个任务同时执行占用的资源较多致使其他对象的任务无法提交或执行的情况；并在发现后，及时发出通知，以便被通知方对所述至少两个任务进行相应的处理，避免资源倾斜于部分用户而影响其他用户的任务提交，提高资源利用率，减少资源浪费。本申请实施例提供的技术方案，为用户提供用户界面，用户可通过该用户界面对超限任务进行操作，如终止操作，避免资源进一步的浪费。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请一实施例提供的数据处理系统的结构框图；图2为本申请一实施例提供的数据处理方法的流程示意图；图3为本申请一实施例提供的统计界面示例图；图4为本申请另一实施例提供的数据处理方法的流程示意图；图5为本申请又一实施例提供的数据处理方法的流程示意图；图6为本申请一实施例提供的用户界面示例图；图7为本申请另一实施例提供的用户界面示例图；图8为本申请一实施例提供的任务监测装置的结构框图；图9为本申请另一实施例提供的任务监测装置的结构框图；图10为本申请又一实施例提供的任务监测装置的结构框图；图11为本申请一实施例提供的服务端设备的结构框图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取处于执行状态的第一任务的第一监测数据；/n基于所述第一监测数据，确定所述第一任务占用的资源是否超出第一设定限额；/n在所述第一任务占用的资源超出所述第一设定限额的情况下，通过至少一个渠道，向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取处于执行状态的第一任务的第一监测数据；
基于所述第一监测数据，确定所述第一任务占用的资源是否超出第一设定限额；
在所述第一任务占用的资源超出所述第一设定限额的情况下，通过至少一个渠道，向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知。


2.根据权利要求1所述的方法，其特征在于，所述资源包括：时间资源及计算资源中的至少一种；所述第一监测数据包括：计算资源消耗量及执行时长中的至少一种；以及
基于所述第一监测数据，确定所述第一任务占用的资源是否超出第一设定限额，包括如下中的至少一个步骤：
所述计算资源消耗量大于所述第一设定限额中的第一设定阈值时，确定所述第一任务占用的资源超出所述第一设定限额；
所述执行时长大于所述第一设定限额中的第二设定阈值时，确定所述第一任务占用的资源超出所述第一设定限额。


3.根据权利要求2所述的方法，其特征在于，还包括：
根据多个任务的计算资源消耗量，确定所述第一设定阈值；其中，所述计算资源消耗量包括：处理器消耗和内存消耗中的至少一种；
根据多个任务的执行时长，确定所述第二设定阈值。


4.根据权利要求1所述的方法，其特征在于，还包括：
所述第一通知发出后，等待所述第一对象对所述第一任务做出指定处理；
在设定时长内所述第一对象未对所述第一任务做出指定处理的情况下，再次通过至少一种渠道向所述第一对象对应的客户端发送所述第一通知。


5.根据权利要求3所述的方法，其特征在于，还包括：
记录所述第一通知的发送次数；
所述发送次数大于预设次数阈值时，获取与所述第一对象关联的第二对象；
通过至少一种渠道向所述第二对象对应的客户端发送所述第一通知。


6.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：
获取与所述第一任务同处于执行状态的至少一个第二任务，其中，所述至少一个第二任务与所述第一任务同属于所述第一对象；
获取所述至少一个第二任务的第二监测数据；
根据所述第一监测数据及所述第二监测数据，确定所述第一任务与所述至少一个第二任务共同占用的资源是否超出第二设定限额；
在所述第一任务与所述至少一个第二任务共同占用的资源超出所述第二设定限额时，通过至少一个渠道向所述第一对象对应的客户端发送有关任务累积超限的第二通知。


7.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：
获取白名单；
判断所述第一任务是否在所述白名单中；
若所述第一任务在所述白名单中，则触发执行所述基于所述第一监测数据，确定所述第一任务占用的资源是否超出第一设定限额的步骤。


8.根据权利要求1至5中任一项所述的方法，其特征在于，还包括如下中的至少一个步骤：
统计设定时段内超出第一设定限额的任务数量；
统计设定时段内超出第二设定限额的任务组数量，其中，所述任务组中所含的任务同属于一个对象；
计算设定时段内同属一个部门的超出第一设定限额的任务数量占所述设定时段内任务总量的比例；
根据同一设定时段内各部门的超出第一设定限额的任务数量，确定排行信息；
根据不同日期的同一设定时段内超出第一设定限额的任务数量，分析数量变化趋势信息。


9.一种数据处理系统，其特征在于，包括：
服务端，用于获取处于执行状态的第一任务的第一监测数据；基于所述第一监测数据，确定所述第一任务占用的资源是否超出第一设定限额；在所述第一任务占用的资源超出所述第一设定限额的情况下，通过至少一个渠道向所述第一任务所属第一对象对应的客户端发送有关所述第一任务超限的第一通知；
客户端，用于通过所述至少一个渠道接收所述服务端发送的所述第一通知，显示和/或播放所述第一通知。


10.一种数据处理方法，其特征在于，包括：
获取同属于一个对象，且同处于执行状态的至少两个任务的监测数据；
根据所述至少两个任务的监测数据，确定所述至少两个任务共同占用的资源是否超出第二设定限额；
在所述至少两个任务共同占用的资源超出所述第二设定限额的情况下，向所述对象对应的客户端发送有关任务累计超限的第二通知。


11.根据权利要求10所述的方法，其特征在于，监测数据包括：计算资源消耗量及执行时长中的至少一种；以及
根据所述至少两个任务的监测数据，确定所述至少两个任务共同占用的资源是否超出第二设定限额，包括如下中的至少一个步骤：
根据所述至少两个任务中各任务的计算资源消耗量，统计所述至少两个任务的计算资源消耗总量，所述计算资源消耗总量大于所述第二设定限额中的第三设定阈值时，确定所述至少两个任务共同占用的资源超出所述第二设定限额；
根据所述至少两个任务中各...

【专利技术属性】
技术研发人员：赵利明，朱成生，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY