数据治理方法技术

本发明专利技术实施例提供一种数据治理方法

【技术实现步骤摘要】
数据治理方法、装置、设备和存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据治理方法
、
装置
、
设备和存储介质
。

技术介绍

[0002]资源池
(Resources Pool)
作为计算资源
、
存储资源和网络资源等多种资源的集合，实现了软
、
硬件资源的动态分配和调度使用，满足了云计算基础设施的需求
。
[0003]通常资源池中的资源是有限的，当资源池中运行的任务超过一定数量时，会出现任务延迟等情况，例如某一任务未按预定时间点开始，或者是未按预定时间点结束等
。
[0004]但是，在资源池的实际使用过程中，任务延迟并不一定是由于资源池的资源不足而导致的，如果盲目的选择购买资源，对资源池进行扩容，可能会导致资源的浪费，并不能真正的解决任务延迟的问题
。
为此，亟需一种数据治理方法，用以确定任务延迟的原因，治理任务延迟，避免资源浪费
。

技术实现思路

[0005]本专利技术实施例提供一种数据治理方法
、
装置
、
设备和存储介质，用以对需要被治理的目标任务进行针对性的故障治理，避免资源浪费
。
[0006]第一方面，本专利技术实施例提供一种数据治理方法，所述方法包括：
[0007]响应于数据治理任务的触发，获取至少一个任务在预设时间段内的实际运行状态信息，以及所述至少一个任务对应的参考运行状态信息；
[0008]根据所述实际运行状态信息和所述参考运行状态信息，确定所述至少一个任务中需要被治理的目标任务；
[0009]根据所述目标任务的所述实际运行状态信息，确定所述目标任务的故障类型；
[0010]根据所述故障类型，确定所述目标任务的数据治理方案
。
[0011]第二方面，本专利技术实施例提供一种数据治理装置，所述装置包括：
[0012]获取装置，用于响应于数据治理任务的触发，获取至少一个任务在预设时间段内的实际运行状态信息，以及所述至少一个任务对应的参考运行状态信息；
[0013]处理模块，用于根据所述实际运行状态信息和所述参考运行状态信息，确定所述至少一个任务中需要被治理的目标任务；根据所述目标任务的所述实际运行状态信息，确定所述目标任务的故障类型；根据所述故障类型，确定所述目标任务的数据治理方案
。
[0014]第三方面，本专利技术实施例提供一种电子设备，包括：存储器
、
处理器
、
通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第一方面所述的数据治理方法
。
[0015]第四方面，本专利技术实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的数据治理方法
。
[0016]在本专利技术实施例提供的方案中，响应于数据治理任务的触发，获取至少一个任务在预设时间段内的实际运行状态信息，以及至少一个任务对应的参考运行状态信息
。
其中参考运行状态信息为任务正常运行状态下的运行状态信息
。
从而，根据至少一个任务的实际运行状态信息和参考运行状态信息，能够确定至少一个任务中需要被治理的目标任务，也即实际运行状态信息与参考运行状态信息存在差异的任务
。
之后，根据目标任务的实际运行状态信息，确定目标任务的故障类型，并根据故障类型，确定目标任务的数据治理方案，从而实现对目标任务的针对性治理，即基于目标任务的故障情况确定相应的数据治理方案，避免对所有故障类型的目标任务采用统一的治理方案而造成计算
、
存储资源的浪费
。
附图说明
[0017]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0018]图1为本专利技术实施例提供的一种数据治理方法的流程图；
[0019]图2为本专利技术实施例提供的一种任务执行过程的示意图；
[0020]图3为本专利技术实施例提供的另一种数据治理方法的流程图；
[0021]图4为本专利技术实施例提供的又一种数据治理方法的流程图；
[0022]图5为本专利技术实施例提供的再一种数据治理方法的流程图；
[0023]图6为本专利技术实施例提供的一种数据治理装置的结构示意图；
[0024]图7为与图6所示实施例提供的数据治理装置对应的电子设备的结构示意图
。
具体实施方式
[0025]为使本专利技术实施例的目的
、
技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
。
[0026]需要说明的是，本专利技术实施例中所涉及的用户信息
(
包括但不限于用户设备信息
、
用户个人信息等
)
和数据
(
包括但不限于用于分析的数据
、
存储的数据
、
展示的数据等
)
，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集
、
使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝
。
[0027]另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定
。
[0028]在云计算的应用场景中，任务的执行依赖于资源池中的计算资源和存储资源等各种资源，比如：计算任务在执行过程中通过调度
、
占用资源池中的计算资源完成计算等
。
实际应用中，往往会发生任务运行时间过长等问题，也即任务延迟
。
通俗来说，任务延迟就是任务在执行过程中，未按照预定时间执行，实际执行时间晚于预定时间
。
任务延迟会导致用户不能按时获取任务的执行结果，影响进一步的数据处理
。
[0029]通常认为任务延迟是资源池中的资源不足导致的，可通过购买资源对资源池进行
扩容以解决任务延迟的问题
。
但是，实际应用中，导致任务延迟的原因并不仅仅是资源池的资源不足，盲目的购买资源对资源池进行扩容，会导致资源浪费，也不能从根本上解决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据治理方法，其特征在于，包括：响应于数据治理任务的触发，获取至少一个任务在预设时间段内的实际运行状态信息，以及所述至少一个任务对应的参考运行状态信息；根据所述实际运行状态信息和所述参考运行状态信息，确定所述至少一个任务中需要被治理的目标任务；根据所述目标任务的所述实际运行状态信息，确定所述目标任务的故障类型；根据所述故障类型，确定所述目标任务的数据治理方案
。2.
根据权利要求1所述的方法，其特征在于，所述实际运行状态信息包括所述至少一个任务各自从开始调度至结束运行的第一总处理时长以及所述至少一个任务分别对应的运行状态指示标识，所述参考运行状态信息包括所述至少一个任务各自从开始调度至运行结束的第二总处理时长；所述根据实际运行状态信息和所述参考运行状态信息，确定所述至少一个任务中需要被治理的目标任务，包括：确定所述至少一个任务中所述第一总处理时长与所述第二总处理时长的第一差值大于预设的第一时间阈值的任务为需要被治理的目标任务，或者，确定所述至少一个任务中所述运行状态指示标识指示存在运行故障的任务为需要被治理的目标任务
。3.
根据权利要求2所述的方法，其特征在于，所述实际运行状态信息还包括：所述至少一个任务各自的计划调度时刻
、
实际调度时刻以及任务调度完成后至任务开始运行前的等待时长；所述根据所述目标任务的所述实际运行状态信息，确定所述目标任务的故障类型，包括：若所述目标任务的实际调度时刻晚于计划调度时刻，则确定所述目标任务的故障类型为调度资源不足；若所述目标任务的实际调度时刻不晚于计划调度时刻，且所述目标任务对应的所述等待时长大于预设的第二时间阈值，则确定所述目标任务的故障类型为运行资源不足；所述根据所述故障类型，确定所述目标任务的数据治理方案，包括：若所述故障类型为所述调度资源不足或所述运行资源不足，则从资源池中预留资源给所述目标任务，以使所述目标任务在运行时使用所述预留资源
。4.
根据权利要求2所述的方法，其特征在于，所述实际运行状态信息还包括：所述至少一个任务各自的开始运行时刻
、
结束运行时刻以及各任务的复杂度；所述根据所述目标任务的所述实际运行状态信息，确定所述目标任务的故障类型，包括：若所述目标任务的开始运行时刻至结束运行时刻的第二差值大于预设的第三时间阈值，且所述目标任务的复杂度大于预设的复杂度阈值，则确定所述目标任务的故障类型为数据结构异常；所述根据所述故障类型，确定所述目标任务的数据治理方案，包括：若所述故障类型为所述数据结构异常，则根据所述数据结构对应的异常类型，确定所述目标任务的数据结构优化方案
。5.
根据权利要求4所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：杨铮，刘明贵，
申请(专利权)人：天津五八到家科技有限公司，
类型：发明
国别省市：