一种集群系统的任务资源的纠正方法及装置制造方法及图纸

本申请实施例提供了一种集群系统的任务资源的纠正方法及装置，应用于集群系统中的计算节点，该方法包括：将待处理任务的任务属性作为待匹配的任务属性，并在预设的任务资源表格中查找与该待匹配的任务属性相匹配的任务属性，任务资源表格中的任务属性对应有标准任务资源；将相匹配的任务属性对应的标准任务资源与预设任务资源进行比较；如果相匹配的任务属性对应的标准任务资源与预设任务资源不相等，将相匹配的任务属性对应的标准任务资源上传至集群系统中的管理节点，以使管理节点将预设任务资源更新为相匹配的任务属性对应的标准任务资源。这样避免了人为设定的任务资源存在一定误差的情况，进而提高计算节点的资源的利用率。

A correction method and device of task resource in cluster system

【技术实现步骤摘要】
一种集群系统的任务资源的纠正方法及装置
本专利技术涉及计算机
，特别是涉及一种集群系统的任务资源的纠正方法及装置。
技术介绍
随着计算服务规模的扩大，为其提供支持的系统逐步发展为服务器集群的模式。例如，一种提供集群分析服务的集群系统，该集群系统是一组相互独立的、通过高速网络互连的计算机。集群系统中的各个计算机可以称为各个节点，可以包括一个管理节点和若干计算节点。管理节点用于调度各个任务，计算节点用于向管理节点申请任务，分析并处理管理节点所分配的任务，以及定时上报所处理的任务的运行状态。当管理节点调度各个任务时，可以为每个任务指定其在计算节点中所使用的资源。其中，每个任务在计算节点中所使用的资源是由工作人员根据经验设定的，并存储在管理节点内。由于人为设定的资源存在一定的误差，例如，设定的资源会存在过高或者过低的情况，降低了计算节点的资源的利用率。因此，当计算节点获取到任务后，需要一种纠正方法能够纠正所分配的用于处理该任务的资源。
技术实现思路
本申请实施例的目的在于提供一种集群系统的任务资源的纠正方法及装置，以纠正任务在计算节点中所使用的资源，提高计算节点的资源的利用率。具体技术方案如下：第一方面，本申请实施例提供了一种集群系统的任务资源的纠正方法，应用于所述集群系统中的计算节点，所述方法包括：获取待处理任务的预设任务资源和任务属性，将所述任务属性作为待匹配的任务属性；将所述待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配，所述任务资源表格中包括多种任务属性，以及所述多种任务属性分别对应的标准任务资源，所述标准任务资源为通过历史测试或计算得到的，处理不同任务属性的任务时，所需要的资源；如果所述任务资源表格中存在与所述待匹配的任务属性相匹配的任务属性，将所述相匹配的任务属性对应的标准任务资源与所述预设任务资源进行比较；如果所述相匹配的任务属性对应的标准任务资源与所述预设任务资源不相等，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点，以使所述管理节点将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。可选的，所述如果所述相匹配的任务属性对应的标准任务资源与所述预设任务资源不相等，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点，包括：如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点。可选的，还包括：如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述待处理任务的任务状态设置为错误状态，以及将所述错误状态的类型设置为资源不匹配类型；如果所述相匹配的任务属性对应的标准任务资源等于或小于所述预设任务资源，将所述待处理任务的任务状态设置为正常状态。可选的，在设置所述待处理任务的任务状态后，所述方法还包括：将所述待处理任务的任务状态上传至所述管理节点，以使所述管理节点判断出所述任务状态为错误状态，且该错误状态的类型为资源不匹配类型时，将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。可选的，所述获取待处理任务的预设任务资源和任务属性的步骤，包括：接收管理节点发送的任务描述信息；通过解析所述任务描述信息，获取所述任务描述信息中的预设任务资源和任务标识；获取所述任务标识表示的待处理任务；通过解码所述待处理任务，获取所述待处理任务的任务属性。第二方面，本申请实施例提供了一种集群系统的任务资源的纠正方法，应用于所述集群系统中的管理节点，所述方法包括：所述集群系统中的计算节点发送任务描述信息，所述任务描述信息中包含预设任务资源和任务标识，用于由所述计算节点确定所述任务标识表示的待处理任务的标准任务资源；接收所述计算节点当确定所述标准任务资源与所述预设任务资源不相等时，上传的所述待处理任务的标准任务资源；将所述预设任务资源更新为接收的所述标准任务资源。可选的，所述接收所述计算节点当确定所述标准任务资源与所述预设任务资源不相等时，上传的所述待处理任务的标准任务资源，包括：接收所述计算节点当确定所述标准任务资源大于所述预设任务资源时，上传的所述待处理任务的标准任务资源。可选的，还包括：接收所述计算节点上传的所述待处理任务的任务状态，当所述标准任务资源大于所述预设任务资源时，所述任务状态为错误状态，当所述标准任务资源等于或小于所述预设任务资源时，所述任务状态为正常状态；如果所述任务状态为错误状态，且所述错误状态的类型为资源不匹配类型，将所述预设任务资源更新为所述标准任务资源。第三方面，本申请实施例提供了一种集群系统的任务资源的纠正装置，应用于所述集群系统中的计算节点，所述装置包括：获取模块，用于获取待处理任务的预设任务资源和任务属性，将所述任务属性作为待匹配的任务属性；匹配模块，用于将所述待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配，所述任务资源表格中包括多种任务属性，以及所述多种任务属性分别对应的标准任务资源，所述标准任务资源为通过历史测试或计算得到的，处理不同任务属性的任务时，所需要的资源；比较模块，用于如果所述任务资源表格中存在与所述待匹配的任务属性相匹配的任务属性，将所述相匹配的任务属性对应的标准任务资源与所述预设任务资源进行比较；第一上传模块，用于如果所述相匹配的任务属性对应的标准任务资源与所述预设任务资源不相等，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点，以使所述管理节点将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。可选的，所述第一上传模块，具体用于：如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点。可选的，还包括：第一设置模块，用于如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述待处理任务的任务状态设置为错误状态，以及将所述错误状态的类型设置为资源不匹配类型；第二设置模块，用于如果所述相匹配的任务属性对应的标准任务资源等于或小于所述预设任务资源，将所述待处理任务的任务状态设置为正常状态。可选的，还包括：第二上传模块，用于将所述待处理任务的任务状态上传至所述管理节点，以使所述管理节点判断出所述任务状态为错误状态，且该错误状态的类型为资源不匹配类型时，将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。可选的，所述获取模块，包括：接收子模块，用于接收管理节点发送的任务描述信息；第一获取子模块，用于通过解析所述任务描述信息，获取所述任务描述信息中的预设任务资源和任务标识；第二获取子模块，用于获取所述任务标识表示的待处理任务；第三获取子模块，用于通过解码本文档来自技高网...

【技术保护点】
1.一种集群系统的任务资源的纠正方法，应用于所述集群系统中的计算节点，其特征在于，所述方法包括：/n获取待处理任务的预设任务资源和任务属性，将所述任务属性作为待匹配的任务属性；/n将所述待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配，所述任务资源表格中包括多种任务属性，以及所述多种任务属性分别对应的标准任务资源，所述标准任务资源为通过历史测试或计算得到的，处理不同任务属性的任务时，所需要的资源；/n如果所述任务资源表格中存在与所述待匹配的任务属性相匹配的任务属性，将所述相匹配的任务属性对应的标准任务资源与所述预设任务资源进行比较；/n如果所述相匹配的任务属性对应的标准任务资源与所述预设任务资源不相等，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点，以使所述管理节点将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。/n

【技术特征摘要】
1.一种集群系统的任务资源的纠正方法，应用于所述集群系统中的计算节点，其特征在于，所述方法包括：
获取待处理任务的预设任务资源和任务属性，将所述任务属性作为待匹配的任务属性；
将所述待匹配的任务属性与预设的任务资源表格中的任务属性进行匹配，所述任务资源表格中包括多种任务属性，以及所述多种任务属性分别对应的标准任务资源，所述标准任务资源为通过历史测试或计算得到的，处理不同任务属性的任务时，所需要的资源；
如果所述任务资源表格中存在与所述待匹配的任务属性相匹配的任务属性，将所述相匹配的任务属性对应的标准任务资源与所述预设任务资源进行比较；
如果所述相匹配的任务属性对应的标准任务资源与所述预设任务资源不相等，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点，以使所述管理节点将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。


2.根据权利要求1所述的方法，其特征在于，所述如果所述相匹配的任务属性对应的标准任务资源与所述预设任务资源不相等，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点，包括：
如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述相匹配的任务属性对应的标准任务资源上传至所述集群系统中的管理节点。


3.根据权利要求2所述的方法，其特征在于，还包括：
如果所述相匹配的任务属性对应的标准任务资源大于所述预设任务资源，将所述待处理任务的任务状态设置为错误状态，以及将所述错误状态的类型设置为资源不匹配类型；
如果所述相匹配的任务属性对应的标准任务资源等于或小于所述预设任务资源，将所述待处理任务的任务状态设置为正常状态。


4.根据权利要求3所述的方法，其特征在于，在设置所述待处理任务的任务状态后，还包括：
将所述待处理任务的任务状态上传至所述管理节点，以使所述管理节点判断出所述任务状态为错误状态，且该错误状态的类型为资源不匹配类型时，将所述预设任务资源更新为所述相匹配的任务属性对应的标准任务资源。


5.根据权利要求1所述的方法，其特征在于，所述获取待处理任务的预设任务资源和任务属性的步骤，包括：
接收管理节点发送的任务描述信息；
通过解析所述任务描述信息，获取所述任务描述信息中的预设任务资源和任务标识；
获取所述任务标识表示的待处理任务；
通过解码所述待处理任务，获取所述待处理任务的任务属性。


6.一种集群系统的任务资源的纠正方法，应用于所述集群系统中的管理节点，其特征在于，所述方法包括：
向所述集群系统中的计算节点发送任务描述信息，所述任务描述信息中包含预设任务资源和任务标识，用于由所述计算节点确定所述任务标识表示的待处理任务的标准任务资源；
接收所述计算节点当确定所述标准任务资源与所述预设任务资源不相等时，上传的所述待处理任务的标准任务资源；
将所述预设任务资源更新为接收的所述标准任务资源。


7.根据权利要求6所述的方法，其特征在于，所述接收所述计算节点当确定所述标准任务资源与所述预设任务资源不相等时，上传的所述待处理任务的标准任务资源，包括：
接收所述计算节点当确定所述标准任务资源大于所述预设任务资源时，上传的所述待处理任务的标准任务资源。


8.根据权利要求7所述的方法，其特征在于，还包括：
接收所述计算节点上传的所述待处理任务的任务状态，当所述标准任务资源大于所述预设任务资源时，所述任务状态为错误状态，当所述标准任务资源等于或小于所述预设任务资源时，所述任务状态为正常状态；
如果所述任务状态为错误状态，且所述错误状态的类型为资源不匹配类型，将所述预设任务资源更新为所述标准任务资源。


9.一种集群系统的任务资源的纠正装置，应用于所述集群系统中的计算节点，其特征在于，所述装置包括：
获取模块...

【专利技术属性】
技术研发人员：王志杰，周伟，浦世亮，王鹏，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33