一种任务处理方法及装置制造方法及图纸

本发明专利技术公开了一种任务处理方法及装置，涉及计算机技术领域，主要目的在于实现集群资源的灵活配置，保证集群的响应速度，本发明专利技术的主要技术方案为：根据消息队列中待处理的任务量开启预设数量的集群，按照所述消息队列中任务处理顺序向开启的集群分配任务，所述消息队列中标记有任务处理状态；在任务处理过程中根据所述集群中的任务处理状态更新集群运行状态，所述集群运行状态包括异常状态、正常状态以及空闲状态；关闭所述异常状态以及所述空闲状态的集群。本发明专利技术主要用于集群任务的处理。

【技术实现步骤摘要】
一种任务处理方法及装置
本专利技术涉及计算机
，尤其涉及一种任务处理方法及装置。
技术介绍
随着云计算技术的发展，越来越多的IT服务系统逐渐向云平台迁移，构建基于云平台的服务已经成为主流方式。所谓云平台，就是利用云计算技术和思想构建起来的系统平台，提供数据计算、数据存储服务以及集成特殊应用的服务平台。目前，常用的云平台有阿里云、MicrosoftAzure、AmazonWebServices等，各家云平台中会搭建有多个集群，每个集群中包含有一组各自独立的服务器，通过集群操作能够提高云平台的稳定性和数据处理能力。并且各家云平台提供的自动调度功能能够合理的处理好各个集群缩放场景，为待处理任务分配合理的资源，通过不同场景下对集群资源的合理配置，能够避免出现集群闲置和任务处理能力不足的情况。然而，现有的云平台所提供的自动调度功能在应对不同类型的任务时，无法对集群资源进行灵活配置，使得集群在任务处理过程中响应速度慢，另外，当任务处理出现异常时无法正常关闭集群，导致资源浪费。
技术实现思路
有鉴于此，本专利技术提供一种任务处理方法及装置，主要目的在于实现集群资源的灵活配置，保证集群的响应速度。为了解决上述问题，本专利技术主要提供如下技术方案：一方面，本专利技术实施例提供了一种任务处理方法，包括：根据消息队列中待处理的任务量开启预设数量的集群，按照所述消息队列中任务处理顺序向开启的集群分配任务，所述消息队列中标记有任务处理状态；在任务处理过程中根据所述集群中的任务处理状态更新集群运行状态，所述集群运行状态包括异常状态、正常状态以及空闲状态；关闭所述异常状态以及所述空闲状态的集群。进一步地，所述根据消息队列中待处理的任务量开启预设数量的集群，按照所述消息队列中任务处理顺序向开启的集群分配任务包括：根据消息队列中待处理的任务量确定需要开启的集群数量；根据所述需要开启的集群数量以及集群运行状态开启预设数量的集群,按照所述消息队列中任务处理顺序向开启的集群分配任务。进一步地，所述在任务处理过程中根据所述集群中的任务处理状态更新集群运行状态包括：按照预置时间间隔获取所述消息队列中任务处理状态，所述任务处理状态包括任务正常、任务异常以及空闲；在任务处理过程中当所述任务处理状态为任务异常、任务正常或者任务完成时，对应更新所述任务所在集群的集群运行状态为异常状态、正常状态或者空闲状态。进一步地，在所述关闭所述异常状态以及所述空闲状态的集群之后，所述方法还包括：检测关闭后的集群中是否存在未处理完成的任务；若存在，将所述未处理完成的任务发送至所述消息队列中，并调整所述未处理完成的任务在所述消息队列中的任务处理顺序；按照调整后的消息队列中的任务处理顺序向集群分配任务。进一步地，所述按照调整后的消息队列中的任务处理顺序向集群分配任务包括：按照调整后的消息队列中任务处理顺序优先向集群分配所述未处理完成的任务。进一步地，在所述在任务处理过程中根据所述集群中的任务处理状态更新集群运行状态之后，所述方法还包括：根据所述更新后的集群运行状态设置集群的活跃程度；根据所述消息队列中任务处理的先后顺序，按照集群活跃程度由高到低的顺序向集群分配任务。进一步地，在所述关闭所述异常状态以及所述空闲状态的集群之后，所述方法还包括：当所述消息队列中待处理的任务量达到预设阈值后，根据所述集群运行状态调整集群开启数量。为了实现上述目的，根据本专利技术的另一方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的任务处理方法。为了实现上述目的，根据本专利技术的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的任务处理方法。另一方面，本专利技术实施例还提供了一种任务处理装置，包括：第一分配单元，用于根据消息队列中待处理的任务量开启预设数量的集群，按照所述消息队列中任务处理顺序向开启的集群分配任务，所述消息队列中标记有任务处理状态；更新单元，用于在任务处理过程中根据所述集群中的任务处理状态更新集群运行状态，所述集群运行状态包括异常状态、正常状态以及空闲状态；关闭单元，用于关闭所述异常状态以及所述空闲状态的集群。进一步地，所述第一分配单元包括：确定模块，用于根据消息队列中待处理的任务量确定需要开启的集群数量；分配模块，用于根据所述需要开启的集群数量以及集群运行状态开启预设数量的集群,按照所述消息队列中任务处理顺序向开启的集群分配任务。进一步地，所述更新单元包括：获取模块，用于按照预置时间间隔获取所述消息队列中任务处理状态，所述任务处理状态包括任务正常、任务异常以及空闲；更新模块，用于在任务处理过程中当所述任务处理状态为任务异常、任务正常或者任务完成时，对应更新所述任务所在集群的集群运行状态为异常状态、正常状态或者空闲状态。进一步地，所述装置还包括：检测单元，用于检测关闭后的集群中是否存在未处理完成的任务；发送单元，用于若检测关闭后的集群中存在未处理完成的任务，将所述未处理完成的任务发送至所述消息队列中，并调整所述未处理完成的任务在所述消息队列中的任务处理顺序；第二分配单元，用于按照调整后的消息队列中的任务处理顺序向集群分配任务。进一步地，所述第二分配单元，具体用于按照调整后的消息队列中任务处理顺序优先向集群分配所述未处理完成的任务。进一步地，所述装置还包括：设置单元，用于根据所述更新后的集群运行状态设置集群的活跃程度；第三分配单元，用于根据所述消息队列中任务处理的先后顺序，按照集群活跃程度由高到低的顺序向集群分配任务。进一步地，所述装置还包括：调整单元，用于当所述消息队列中待处理的任务量达到预设阈值后，根据所述集群运行状态调整集群开启数量。借由上述技术方案，本专利技术实施例提供的技术方案至少具有下列优点：本专利技术实施例提供的一种任务处理方法及装置，通过在集群正常运行时根据消息队列中待处理的任务量开启预设数量的集群，合理的规划集群的运行数量，保证了任务处理效率的同时避免了资源浪费，同时在任务处理过程中根据任务处理状态更新集群运行状态，这里的集群运行状态包括异常状态、正常状态以及空闲状态，并且根据更新后的集群运行状态关闭异常状态以及空闲状态的集群，及时关闭无效任务对应的集群。与现有技术的任务处理方法相比，本专利技术实施例在任务出现异常时，能够及时关闭异常任务对应的集群，并且更新集群运行状态，使得各个集群可以灵活定义自己的运行状态，避免了无效集群的资源占用。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本专利技术实施例提供的一种任务处理方法流程图；图2为本专利技术实施例提供的另一种任务处理方法流程图；图3为本专利技术实施例确定开启集群数量的方法流程图；图4为本专利技术实施例关闭异常集群的方法流程图；图5为本专利技术实施例任务分配的方法流程图；图6为本专利技术实施例提供本文档来自技高网...

【技术保护点】
1.一种任务处理方法，其特征在于，包括：根据消息队列中待处理的任务量开启预设数量的集群，按照所述消息队列中任务处理顺序向开启的集群分配任务，所述消息队列中标记有任务处理状态；在任务处理过程中根据所述集群中的任务处理状态更新集群运行状态，所述集群运行状态包括异常状态、正常状态以及空闲状态；关闭所述异常状态以及所述空闲状态的集群。

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：根据消息队列中待处理的任务量开启预设数量的集群，按照所述消息队列中任务处理顺序向开启的集群分配任务，所述消息队列中标记有任务处理状态；在任务处理过程中根据所述集群中的任务处理状态更新集群运行状态，所述集群运行状态包括异常状态、正常状态以及空闲状态；关闭所述异常状态以及所述空闲状态的集群。2.根据权利要求1所述的方法，其特征在于，所述根据消息队列中待处理的任务量开启预设数量的集群，按照所述消息队列中任务处理顺序向开启的集群分配任务包括：根据消息队列中待处理的任务量确定需要开启的集群数量；根据所述需要开启的集群数量以及集群运行状态开启预设数量的集群,按照所述消息队列中任务处理顺序向开启的集群分配任务。3.根据权利要求1所述的方法，其特征在于，所述在任务处理过程中根据所述集群中的任务处理状态更新集群运行状态包括：按照预置时间间隔获取所述消息队列中任务处理状态，所述任务处理状态包括任务正常、任务异常以及空闲；在任务处理过程中当所述任务处理状态为任务异常、任务正常或者空闲时，对应更新所述任务所在集群的集群运行状态为异常状态、正常状态或者空闲状态。4.根据权利要求1-3中任一项所述的方法，其特征在于，在所述关闭所述异常状态以及所述空闲状态的集群之后，所述方法还包括：检测关闭后的集群中是否存在未处理完成的任务；若存在，将所述未处理完成的任务发送至所述消息队列中，并调整所述未处理完成的任务在所述消息队列中的任务处理顺序；按照调整后的消息队列中的任务处理顺序向...

【专利技术属性】
技术研发人员：张鑫，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11