作业运行资源分配方法及装置制造方法及图纸

本发明专利技术公开了一种作业运行资源分配方法及装置，其中方法包括：接收待运行作业的资源分配指令；根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；根据所述历史运行信息，确定所述待运行作业的资源预测信息；根据所述预测资源信息，进行作业运行资源分配。本发明专利技术便于合理分配作业运行资源，节省分配过程中的人力物力，提高分配的准确性和合理性。

【技术实现步骤摘要】
作业运行资源分配方法及装置
本专利技术涉及计算机
，尤其涉及作业运行资源分配方法及装置。
技术介绍
大数据环境下，某些作业对CPU资源消耗非常大，导致了作业运行时间长、卡顿、无响应或者直接报错。通常需要对数据处理任务事先分配作业运行资源来满足运行要求。现有技术中通常是在本作业任务运行时，根据本作业任务的数据量人为对运行资源进行预估并分配，但是，采用这种方法将耗费大量人力物力，且资源预估准确率低，难以保证分配合理性。因此，亟需一种可以克服上述问题的作业运行资源分配方案。
技术实现思路
本专利技术实施例提供一种作业运行资源分配方法，用以合理分配作业运行资源，节省分配过程中的人力物力，提高分配的准确性和合理性，该方法包括：接收待运行作业的资源分配指令；根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；根据所述历史运行信息，确定所述待运行作业的资源预测信息；根据所述预测资源信息，进行作业运行资源分配。本专利技术实施例提供一种作业运行资源分配装置，用以合理分配作业运行资源，节省分配过程中的人力物力，提高分配的准确性和合理性，该装置包括：指令接收模块，用于接收待运行作业的资源分配指令；信息获得模块，用于根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；信息确定模块，用于根据所述历史运行信息，确定所述待运行作业的资源预测信息；资源分配模块，用于根据所述预测资源信息，进行作业运行资源分配。本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述作业运行资源分配方法。本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述作业运行资源分配方法的计算机程序。相对于现有技术中根据本作业任务的数据量人为对运行资源进行预估并分配的方案而言，本专利技术实施例通过接收待运行作业的资源分配指令；根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；根据所述历史运行信息，确定所述待运行作业的资源预测信息；根据所述预测资源信息，进行作业运行资源分配。本专利技术实施例无需人为预估运行资源，在收到资源分配指令之后，根据待运行作业的历史运行信息可以对所需资源进行预测，从而确定待运行作业的资源预测信息，进行作业运行资源分配，在预测时结合了待运行作业的历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息，通过历史运行过程中生成的信息指导本次待运行作业的运行资源分配，节省分配过程中的人力物力，提高了分配的准确性和合理性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术实施例中作业运行资源分配方法示意图；图2为本专利技术实施例中作业运行资源分配装置结构图；图3为本专利技术实施例中作业运行资源分配装置结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。首先，对本申请实施例中涉及的名词进行介绍：大数据：研究机构Gartner给出了这样的定义：需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。元数据：是描述数据的数据，主要是描述数据属性的信息。计算密集型：要进行大量的计算，消耗CPU资源。比如计算圆周率、对视频进行高清解码等等，全靠CPU的运算能力。计算资源：指数据计算过程中所需要的CPU、内存、磁盘IO和网络。作业：指大数据环境下，数据加工处理的过程和程序。动态自优化：一种可以在大数据计算时，通过当前计算资源和当前计算复杂程序以及历史计算信息记录，来自己决策本次应该如果给出计算资源的模型和装置。大数据计算框架：大数据计算框架包含批处理、流计算、交互式(流批)分析。具体有Apache下的Hadoop、Storm、Samza以及Spark和Flink等。为了合理分配作业运行资源，节省分配过程中的人力物力，提高分配的准确性和合理性，本专利技术实施例提供一种作业运行资源分配方法，如图1所示，该方法可以包括：步骤101、接收待运行作业的资源分配指令；步骤102、根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；步骤103、根据所述历史运行信息，确定所述待运行作业的资源预测信息；步骤104、根据所述预测资源信息，进行作业运行资源分配。由图1所示可以得知，本专利技术实施例通过接收待运行作业的资源分配指令；根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；根据所述历史运行信息，确定所述待运行作业的资源预测信息；根据所述预测资源信息，进行作业运行资源分配。本专利技术实施例无需人为预估运行资源，在收到资源分配指令之后，根据待运行作业的历史运行信息可以对所需资源进行预测，从而确定待运行作业的资源预测信息，进行作业运行资源分配，在预测时结合了待运行作业的历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息，通过历史运行过程中生成的信息指导本次待运行作业的运行资源分配，节省分配过程中的人力物力，提高了分配的准确性和合理性。具体实施时，接收待运行作业的资源分配指令。具体实施时，根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息。实施例中，按如下方式获得所述待运行作业的历史运行逻辑信息：获得所述待运行作业的历史SQL语句；对所述历史SQL语句进行元数据化处理，得到所述历史SQL语句对应的结构化数据；根据所述历史SQL语句对应的结构化数据，获得历史运行逻辑信息。实施例中，所述本文档来自技高网...

【技术保护点】
1.一种作业运行资源分配方法，其特征在于，包括：/n接收待运行作业的资源分配指令；/n根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；/n根据所述历史运行信息，确定所述待运行作业的资源预测信息；/n根据所述预测资源信息，进行作业运行资源分配。/n

【技术特征摘要】
1.一种作业运行资源分配方法，其特征在于，包括：
接收待运行作业的资源分配指令；
根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息包括：历史运行逻辑信息，历史运行时长信息，历史运行资源信息和历史运行数据量信息；
根据所述历史运行信息，确定所述待运行作业的资源预测信息；
根据所述预测资源信息，进行作业运行资源分配。


2.如权利要求1所述的作业运行资源分配方法，其特征在于，按如下方式获得所述待运行作业的历史运行逻辑信息：
获得所述待运行作业的历史SQL语句；
对所述历史SQL语句进行元数据化处理，得到所述历史SQL语句对应的结构化数据；
根据所述历史SQL语句对应的结构化数据，获得历史运行逻辑信息。


3.如权利要求1或2任一项所述的作业运行资源分配方法，其特征在于，所述历史运行逻辑信息包括：关联条件字段数量信息，关联表数量信息，分组条件数量信息，分组字段数量信息，字段转化函数数量信息，选择字段数量信息，聚合字段数量信息，子查询数量信息，过滤条件字段数量信息，作业步骤数量信息其中之一或任意组合。


4.如权利要求1所述的作业运行资源分配方法，其特征在于，所述资源预测信息包括：CPU资源预测信息，内存资源预测信息，分布运算节点数量信息和关联参数信息。


5.如权利要求1所述的作业运行资源分配方法，其特征在于，还包括：确定所述待运行作业的资源预测信息之后，根据所述资源预测信息生成运行资源参数类型表，运行资源参数信息表和作业关系信息表；
根据所述预测资源信息，进行作业运行资源分配，包括：根据所述运行资源参数类型表，运行资源参数信息表和作业关系信息表，进行作业运行资源分配。


6.一种作业运行资源分配装置，其特征在于，包括：
指令接收模块，用于接收待运行作业的资源分配指令；
信息获得模块，用于根据所述资源分配指令，获得所述待运行作业的历史运行信息，所述历史运行信息...

【专利技术属性】
技术研发人员：徐雅光，韩路，严琳，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京;11