作业运行时长确定方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供一种作业运行时长确定方法、装置、设备及存储介质，至少应用于人工智能技术领域，其中，方法包括：获取目标作业在预设历史时间段内的历史数据；从所述历史数据中，确定出属于预设类型的特征信息；对所述特征信息进行数据统计，得到统计特征信息；基于所述历史数据中的历史运行时长，对所述特征信息和所述统计特征信息进行分布式梯度增强分析，得到特征信息与运行时长的对应关系；基于所述对应关系，确定待分析作业在目标特征信息下的作业运行时长。通过本申请，能够准确且高效的分析出不同特征信息对作业运行时长的影响，提高分析的效率和准确性。提高分析的效率和准确性。提高分析的效率和准确性。

【技术实现步骤摘要】
作业运行时长确定方法、装置、设备及存储介质


[0001]本申请实施例涉及人工智能
，涉及但不限于一种作业运行时长确定方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]作业(job)是指用户在一次事务解决或是一个事务处理过程中要求计算机系统所做的工作的集合。作业的运行时长受多种因素的影响，例如，运行作业的集群中的机器个数、作业的提交时刻和运行时刻等。
[0003]目前，在分析不同因素对作业运行时长的影响时，通常是采用统计学的方法，手动调整每个时间段的机器个数，来观察调整后的机器个数对作业运行时长的影响，也就是说需要人工调整不同影响因素的数值，并需要全面地采集数据，在每天的每个时刻都要控制调整影响因素的数值来进行分析。
[0004]显然，相关技术中通过人工分析的方法数据量太大，且分析难度较大，因此，对作业在不用因素影响下的作业运行时长的分析准确率较低。

技术实现思路

[0005]本申请实施例提供一种作业运行时长确定方法、装置、设备及存储介质，至少应用于人工智能
，能够得到特征信息与运行时长之间准确的对应关系，从而基于该对应关系，准确且高效的分析出不同特征信息对作业运行时长的影响，提高分析的效率和准确性。
[0006]本申请实施例的技术方案是这样实现的：
[0007]本申请实施例提供一种作业运行时长确定方法，所述方法包括：
[0008]获取目标作业在预设历史时间段内的历史数据；从所述历史数据中，确定出属于预设类型的特征信息；对所述特征信息进行数据统计，得到统计特征信息；基于所述历史数据中的历史运行时长，对所述特征信息和所述统计特征信息进行分布式梯度增强分析，得到特征信息与运行时长的对应关系；基于所述对应关系，确定待分析作业在目标特征信息下的作业运行时长。
[0009]本申请实施例提供一种作业运行时长确定装置，所述装置包括：
[0010]获取模块，用于获取目标作业在预设历史时间段内的历史数据；第一确定模块，用于从所述历史数据中，确定出属于预设类型的特征信息；数据统计模块，用于对所述特征信息进行数据统计，得到统计特征信息；分析模块，用于基于所述历史数据中的历史运行时长，对所述特征信息和所述统计特征信息进行分布式梯度增强分析，得到特征信息与运行时长的对应关系；第二确定模块，用于基于所述对应关系，确定待分析作业在目标特征信息下的作业运行时长。
[0011]本申请实施例提供一种作业运行时长确定设备，包括：
[0012]存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令
时，实现上述作业运行时长确定方法。
[0013]本申请实施例提供一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括可执行指令，可执行指令存储在计算机可读存储介质中；其中，作业运行时长确定设备的处理器从计算机可读存储介质中读取可执行指令，并执行可执行指令时，实现上述的作业运行时长确定方法。
[0014]本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行所述可执行指令时，实现上述作业运行时长确定方法。
[0015]本申请实施例具有以下有益效果：
[0016]通过从获取的目标作业在预设历史时间段内的历史数据中，提取属于预设类型的特征信息，以及，统计得到统计特征信息，从而基于历史数据中的历史运行时长，对特征信息和统计特征信息进行分布式梯度增强分析，能够准确的得到特征信息与运行时长的对应关系，如此，可以基于该对应关系，准确且高效的分析出不同特征因素对作业运行时长的影响，提高分析的效率和准确性。
附图说明
[0017]图1是相关技术中确定作业运行时长的整体框架图；
[0018]图2是本申请实施例提供的作业运行时长确定系统的一个可选的架构示意图；
[0019]图3是本申请实施例提供的作业运行时长确定设备的结构示意图；
[0020]图4是本申请实施例提供的作业运行时长确定方法的一个可选的流程示意图；
[0021]图5是本申请实施例提供的作业运行时长确定方法的另一个可选的流程示意图；
[0022]图6是本申请实施例提供的作业运行时长确定方法的再一个可选的流程示意图；
[0023]图7是本申请实施例提供的作业运行时长确定方法的流程框架图；
[0024]图8是本申请实施例提供的集群对应的历史数据中提取特征信息的实现过程示意图；
[0025]图9是本申请实施例提供的模型的预测实现过程示意图。
具体实施方式
[0026]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0027]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本申请实施例所使用的所有的技术和科学术语与属于本申请实施例的
的技术人员通常理解的含义相同。本申请实施例所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0028]在解释本申请实施例的作业运行时长确定方法之前，首先对相关技术中的方法进行说明。
[0029]相关技术中，通常是由工程师通过统计学的方法，即手动调整每个时间段内集群的机器个数，看该机器个数对作业运行时长的影响。在前期统计完大量的机器个数与作业
运行时长的映射关系之后，将机器个数按照统计的数据进行调整再确定作业运行时长。图1是相关技术中确定作业运行时长的整体框架图，如图1所示，对于不同的N个作业(包括作业1、作业2
……
作业N)，在不同时刻下，通过集群101来运行N个作业，其中，原始的集群101中包括n个机器，最终得到各个作业的运行时长102。
[0030]举例来说，可以是在某时刻t1时，手动调整集群101中的机器个数为n
‑
1，记录并观察每个作业的运行时长是否在可接受范围内；如果是，则重复上述步骤，继续手动调整集群101中的机器个数，直到作业的运行时长不可接受。如此，通过统计分析，可以获得时刻t1下应该降低的机器个数。进一步地，重复以上过程，还可以获得一天中不同时刻的应该降低的机器个数。
[0031]但是，相关技术中的方法存在以下缺点：需要在实际的系统中全面地采集数据，即在每天的每个时刻都要控制变量来调整机器个数，来分析该机器个数对作业运行时长的影响。然而由于数量太大，分析起来较为困难。另外，日常的集群需要较为稳定地运行，为了采集数据而不停地变动机器个数会对业务造成严重的影响，甚至影响公司的盈利，得不偿失。并且，相关技术中的方法仅能统计历史的规律，无法考虑到当前时刻的干扰因素，比如当前时刻到来时的作业数量如果比以往同时刻剧增的话，则无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业运行时长确定方法，其特征在于，所述方法包括：获取目标作业在预设历史时间段内的历史数据；从所述历史数据中，确定出属于预设类型的特征信息；对所述特征信息进行数据统计，得到统计特征信息；基于所述历史数据中的历史运行时长，对所述特征信息和所述统计特征信息进行分布式梯度增强分析，得到特征信息与运行时长的对应关系；基于所述对应关系，确定待分析作业在目标特征信息下的作业运行时长。2.根据权利要求1所述的方法，其特征在于，所述从所述历史数据中，确定出属于预设类型的特征信息，包括：从所述历史数据中，筛选出所述目标作业的自身属性特征、所述目标作业的提交时刻、运行所述目标作业的集群特征和所述目标作业的运行时间内其他作业的特征；将所述自身属性特征、所述提交时刻、所述集群特征和所述其他作业的特征，确定为属于预设类型的特征信息。3.根据权利要求2所述的方法，其特征在于，所述对所述特征信息进行数据统计，得到统计特征信息，包括：针对所述目标作业的运行时间中的特定时间段，获取所述特定时间段内多个其他作业对应的特征集合；对所述特征集合中的特征数据进行统计学分析，得到其他作业的数量统计值、其他作业已使用的机器核数统计值和其他作业已使用的内存统计值；其中，所述其他作业的数量统计值、所述其他作业已使用的机器核数统计值和所述其他作业已使用的内存统计值构成所述统计特征信息。4.根据权利要求3所述的方法，其特征在于，所述目标作业的提交时刻包括以下至少之一：提交日期值、提交小时值和提交分钟值；所述对所述特征信息进行数据统计，得到统计特征信息，还包括：分别基于所述提交日期值、提交小时值和提交分钟值，对所述自身属性特征、所述提交时刻、所述集群特征和所述其他作业的特征依次进行聚合处理，得到聚合后的自身属性特征、聚合后的提交时刻、聚合后的集群特征和聚合后的其他作业的特征；基于所述提交日期值，依次对所述聚合后的自身属性特征、所述聚合后的提交时刻、所述聚合后的集群特征和所述聚合后的其他作业的特征进行统计学分析，对应得到所述聚合后的自身属性特征、所述聚合后的提交时刻、所述聚合后的集群特征和所述聚合后的其他作业的特征分别在日期维度的第一变化规律；基于所述提交小时值，依次对所述聚合后的自身属性特征、所述聚合后的提交时刻、所述聚合后的集群特征和所述聚合后的其他作业的特征进行统计学分析，对应得到所述聚合后的自身属性特征、所述聚合后的提交时刻、所述聚合后的集群特征和所述聚合后的其他作业的特征，分别在小时维度的第二变化规律；基于所述提交分钟值，依次对所述聚合后的自身属性特征、所述聚合后的提交时刻、所述聚合后的集群特征和所述聚合后的其他作业的特征进行统计学分析，对应得到所述聚合后的自身属性特征、所述聚合后的提交时刻、所述聚合后的集群特征和所述聚合后的其他作业的特征分别在分钟维度的第三变化规律；
其中，所述第一变化规律、所述第二变化规律和所述第三变化规律中的至少之一构成所述统计特征信息。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述特征信息和所述统计特征信息中的每一特征数据的波动值和方差；将所述波动值小于波动阈值且所述方差小于方差阈值的特征数据确定为目标剔除数据；从所述特征信息和所述统计特征信息中剔除所述目标剔除数据。6.根据权利要求1所述的方法，其特征在于，所述基于所述历史数据中的历史运行时长，对所述特征信息和所述统计特征信息进行分布式梯度增强分析，得到特征信息与运行时长的对应关系，包括：对所述特...

【专利技术属性】
技术研发人员：蒙权，林金泉，马天，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：