集群计算方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术实施例涉及分布式数据处理技术领域，公开了一种集群计算方法、装置及计算机可读存储介质。该集群计算方法包括：监控计算任务在集群上的运行状态；判断运行状态是否满足并行度更新条件，若满足并行度更新条件，则根据监控的计算任务在集群上的运行状态计算得到新的并行度；在集群上以新的并行度对计算任务进行计算。本发明专利技术实施方式通过动态调整并行度，提高集群整体计算效率。

【技术实现步骤摘要】
集群计算方法、装置及计算机可读存储介质
本专利技术实施例涉及分布式数据处理
，特别涉及一种集群计算方法、装置及计算机可读存储介质。
技术介绍
伴随着信息技术的快速发展，产生和需要处理的数据量飞速增长，基于分布式集群计算的大数据技术越来越多地被应用到各个领域之中。其中SQL(StructuredQueryLanguage，结构化查询语言)作为一种普及度高、学习成本低的数据操作语言，被越来越多的大数据处理系统集成进来，用作计算逻辑构建的工具。在现有的分布式大数据计算系统中，无论是流式还是批式的计算任务，通常会在计算逻辑构建的过程中给计算任务设置一定的并行度，将相同的计算逻辑同时部署到执行相同功能的多个同构的计算结构中，当计算逻辑真正运行的时候，每个计算结构对整体数据的一部分进行计算，最后将每个计算结构的结果进行汇总，得到最终的整体数据。专利技术人发现现有技术中至少存在如下问题：对于一个计算任务而言，并行度设定完成后，在任务执行完毕(批式)或者任务被取消(流式)之前，并行度固定不变。但是在一个计算任务的运行过程中，集群的状态不是一成不变的，计算负载有可能上升或下降、可用资源可能变多或变少，此时如果计算任务的并行度保持初始状态不变，就有可能造成资源的浪费，或者与其他应用争抢资源，从而造成计算任务的运行状态不稳定。因此，现有的系统运行效率存在改善空间。
技术实现思路
本专利技术实施方式的目的在于提供一种集群计算方法、装置及计算机可读存储介质，通过动态调整并行度，提高集群整体计算效率。为解决上述技术问题，本专利技术的实施方式提供了一种集群计算方法，包括：监控计算任务在集群上的运行状态；判断所述运行状态是否满足并行度更新条件，若满足所述并行度更新条件，则根据监控的所述计算任务在集群上的运行状态计算得到新的并行度；在所述集群上以所述新的并行度对所述计算任务进行计算。本专利技术的实施方式还提供了一种集群计算装置，包括：监控模块，用于监控计算任务在集群上的运行状态；判断模块，用于判断所述运行状态是否满足并行度更新条件；并行度计算模块，用于在满足所述并行度更新条件时根据监控的所述计算任务在集群上的运行状态计算得到新的并行度；并行度更新模块，用于在所述集群上以所述新的并行度对所述计算任务进行计算。本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的集群计算方法。本专利技术实施方式相对于现有技术而言，通过监控计算任务在集群上的运行状态，并判断运行状态是否满足并行度更新条件，在运行状态满足并行度更新条件时，根据监控的计算任务在集群上的运行状态计算得到新的并行度，并在集群上以新的并行度对所述计算任务进行计算。从而实现计算任务运行过程中并行度的动态调整，这样，能在数据压力大的情况下动态增加计算资源，提高计算效率，在数据压力小的情况下动态回收计算资源，减少资源占用，从而在系统资源充足时，多占用资源，扩大数据吞吐效率；在系统资源不足时，释放一定资源供别的计算任务使用，达到多计算任务整体运行效率最高的目标。另外，所述计算任务在集群上的运行状态包括：所述集群的可用资源的变化状况；所述判断所述运行状态是否满足并行度更新条件，具体包括：判断所述集群的可用资源的变化量是否达到预设阈值，若达到所述预设阈值，则判定满足所述并行度更新条件。从而可以在集群集群富裕或者相对短缺时，及时调整各个计算任务的资源占用情况，使得多个计算任务良性竞争、充分利用集群资源。另外，所述计算任务在集群上的运行状态还包括：所述计算任务的优先级级别值变化状况；所述判断所述运行状态是否满足并行度更新条件，具体包括：在所述计算任务的优先级级别值的变化量达到预设级别数时，判定满足所述并行度更新条件。从而可以在计算任务的优先级变化较大时，及时为该计算任务配置集群资源，满足一些特殊情况下的计算需要。另外，所述集群的资源包括以下一者或其任意组合：数据流量、集群的CPU负载、内存负载、磁盘状态。另外，所述在所述集群上以所述新的并行度对所述计算任务进行计算，具体包括：根据所述新的并行度更新所述计算任务的计算资源；其中，在所述新的并行度增大时，计算得到增加的并行度，并为增加的所述并行度部署计算资源；或者在所述新的并行度减少时，计算得到减少的并行度，并回收减少的所述并行度需要的计算资源；在所述集群上以更新后的并行度所需的计算资源进行计算。通过为计算任务动态分配、回收资源，从而实现并行度动态调整。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是根据本专利技术第一实施方式集群计算方法的流程图；图2是根据本专利技术第二实施方式集群计算装置的结构框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。本专利技术的第一实施方式涉及一种集群计算方法，可应用于SQL等的集群的批式或者流式计算任务的处理，本实施方式对于集群的类型不作具体限制。该集群计算方法包括：监控计算任务在集群上的运行状态，判断运行状态是否满足并行度更新条件，若满足并行度更新条件，则根据监控的计算任务在集群上的运行状态计算得到新的并行度，在集群上以新的并行度对计算任务进行计算。本专利技术实施方式相对于现有技术而言，通过监控计算任务在集群上的运行状态，并判断运行状态是否满足并行度更新条件，在运行状态满足并行度更新条件时，根据监控的计算任务在集群上的运行状态计算得到新的并行度，并在集群上以新的并行度对所述计算任务进行计算。从而实现计算任务运行过程中并行度的动态调整，这样，能在数据压力大的情况下动态增加计算资源，提高计算效率，在数据压力小的情况下动态回收计算资源，减少资源占用，从而在系统资源充足时，多占用资源，扩大数据吞吐效率；在系统资源不足时，释放一定资源供别的计算任务使用，达到多计算任务整体运行效率最高的目标。下面对本实施方式的集群计算方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。请参阅图1，本实施方式中的集群计算方法包括步骤101至步骤104。步骤101：监控计算任务在集群上的运行状态。在实际应用中，在步骤101之前，集群计算方法一般还包括对计算任务的初始化操作，在计算任务初始化时，可获取集群的运行状态，并可结合计算任务的计算特点，计算得到适合该计算任务以及集群当前运行状态的并行度作为该计算任务的初始并行度。换言之，针对一个计算任务，经过框架解析后转化为一个集群上的并行度为n的计算任务，此时n个计算分片都获取部分数据进行计算，并占用一定计算资源。具体地，计算框架对计算任务进行解析，监控集群当前的可用资源状态，并结合计算框架对于计算任务的解析结果，得出该计算任务的初始并行度，此时的初始并行度可以是最佳初始并行度；然后根据最佳初始并行度，例如为n，在集群上进行相本文档来自技高网...

【技术保护点】
1.一种集群计算方法，其特征在于，包括：监控计算任务在集群上的运行状态；判断所述运行状态是否满足并行度更新条件，若满足所述并行度更新条件，则根据监控的所述计算任务在集群上的运行状态计算得到新的并行度；在所述集群上以所述新的并行度对所述计算任务进行计算。

【技术特征摘要】
1.一种集群计算方法，其特征在于，包括：监控计算任务在集群上的运行状态；判断所述运行状态是否满足并行度更新条件，若满足所述并行度更新条件，则根据监控的所述计算任务在集群上的运行状态计算得到新的并行度；在所述集群上以所述新的并行度对所述计算任务进行计算。2.根据权利要求1所述的集群计算方法，其特征在于，所述计算任务在集群上的运行状态包括：所述集群的可用资源的变化状况；所述判断所述运行状态是否满足并行度更新条件，具体包括：判断所述集群的可用资源的变化量是否达到预设阈值，若达到所述预设阈值，则判定满足所述并行度更新条件。3.根据权利要求1所述的集群计算方法，其特征在于，所述计算任务在集群上的运行状态还包括：所述计算任务的优先级级别值变化状况；所述判断所述运行状态是否满足并行度更新条件，具体包括：在所述计算任务的优先级级别值的变化量达到预设级别数时，判定满足所述并行度更新条件。4.根据权利要求2所述的集群计算方法，其特征在于，所述集群的资源包括以下一者或其任意组合：数据流量、集群的CPU负载、内存负载、磁盘状态。5.根据权利要求1所述的集群计算方法，其特征在于，所述在所述集群上以所述新的并行度对所述计算任务进行计算，具体包括：根据所述新的并行度更新所述计算任务的计算资源；其中，在所述新的并行度增大时，计算得到增加的并行度，并为增加的所述并行度部署计算资源；或者在所述新的并行度减少时，计算得到减少的并行度，并回收减少的所述并行度需要的计算资源；在所述集群上以更新后的并行度所需的计算资源进行计算。6.一种集...

【专利技术属性】
技术研发人员：唐剑飞，
申请(专利权)人：中兴飞流信息科技有限公司，
类型：发明
国别省市：江苏,32