数据重要性识别方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及数据识别技术领域，特别涉及一种数据重要性识别方法、装置、设备及介质，方法包括：获取数据仓库中各个计算任务节点的节点信息以及各个计算任务节点之间的关联关系；基于所述各个计算任务节点之间的关联关系生成至少一个任务链路图；基于所述任务链路图确定各个任务链路的终端节点；基于所述终端节点的节点信息确定出所述终端节点对应的分值；基于全部所述终端节点对应的分值确定出所述任务链路图中所述各个计算任务节点的分值；基于所述各个计算任务节点对应分值确定出重要任务节点。本申请的实施能够提高维护人员可以对重要任务节点管理，避免重要任务节点长期不维护造成冻结或下线。造成冻结或下线。造成冻结或下线。

【技术实现步骤摘要】
数据重要性识别方法、装置、设备及介质


[0001]本专利技术涉及数据识别
，特别涉及一种数据重要性识别方法、装置、设备及介质。

技术介绍

[0002]现有技术中，企业内部的数据越来越多，大多采用数据仓库存储企业产生的数据，保证了数据的集中存储。但是，在实际应用中，企业不同的研发团队只关注和维护各自负责的计算任务，这些计算任务不断更新、上线，长此以往数据仓库中会出现很多废弃的、无人使用的、不重要的计算任务，占据大量的计算和存储资源，同时重要的、核心计算任务往往得不到识别和重点保障，数据仓库管理者一般也难以从全局的维度来识别具体计算任务的重要性。

技术实现思路

[0003]为了解决现有技术中存在的技术问题，本专利技术提供一种数据重要性识别方法，所述方法包括：
[0004]获取数据仓库中各个计算任务节点的节点信息以及各个计算任务节点之间的关联关系；
[0005]基于所述各个计算任务节点之间的关联关系生成至少一个任务链路图，所述任务链路图中包括多个任务链路，所述任务链路包括多个通过具有指向性的链路连接的所述计算任务节点；
[0006]基于所述任务链路图确定各个任务链路的终端节点；
[0007]基于所述终端节点的节点信息确定出所述终端节点对应的分值；
[0008]基于全部所述终端节点对应的分值确定出所述任务链路图中所述各个计算任务节点的分值；
[0009]基于所述各个计算任务节点对应分值确定出重要任务节点。
[0010]进一步地，所述基于全部所述终端节点对应的分值确定出所述任务链路图中所述各个计算任务节点的分值，包括：
[0011]在所述任务链路图中选取待评分节点，所述待评分节点为未被评分且下游与所述待评分节点直接连接的计算任务节点已评分的计算任务节点；
[0012]基于下游与所述待评分节点直接连接的计算任务节点的分值确定所述待评分节点的分值；
[0013]重新选取待评分节点，重复执行：基于下游与所述待评分节点直接连接的计算任务节点的分值确定所述待评分节点的分值，直至所述任务链路图中各个计算任务节点均有对应的分值。
[0014]进一步地，所述节点信息包括：预设时间内的被访问次数、预设时间内的被导出次数、被访问对应的访问时间和被导出对应的导出时间；
[0015]所述基于所述终端节点的节点信息确定出所述终端节点对应的分值，包括：
[0016]基于所述预设时间内的被访问次数、所述预设时间内的被导出次数、所述被访问对应的访问时间和所述被导出对应的导出时间确定出所述终端节点对应的分值。
[0017]进一步地，不同的所述任务链路具有相同的所述计算任务节点；
[0018]所述基于下游与所述待评分节点直接连接的计算任务节点的分值确定所述待评分节点的分值，包括；
[0019]判断所述待评分节点是否存在于不同的链路中；
[0020]当所述待评分节点存在于不同的链路中，获取下游与所述待评分节点直接连接的全部所述计算任务节点的分值；
[0021]将与所述待评分节点直接连接的全部所述计算任务节点的分值中较大的分值赋予所述待评分节点。
[0022]进一步地，所述节点信息还包括节点标签，所述节点标签用于表征所述计算任务节点重要程度；
[0023]所述基于所述各个计算任务节点对应分值确定出重要任务节点之前，所述方法还包括：
[0024]将具有所述节点标签的所述计算任务节点的分值设置为各个计算任务节点的分值的最大值。
[0025]进一步地，所述基于所述各个计算任务节点对应分值确定出重要任务节点，包括：
[0026]将分值大于预设第一分数阈值的所述计算任务节点作为所述重要任务节点；
[0027]或，按照分值从到小对所述各个计算任务节点进行排序，将排序在前指定名次内的节点作为重要任务节点。
[0028]进一步地，所述方法还包括：根据所述各个计算任务节点的分值，将分值低于预设第二分数阈值的计算任务节点冻结或下线。
[0029]另一方面，本专利技术提供一种数据重要性识别装置，所述装置包括：
[0030]数据获取模块，用于获取数据仓库中各个计算任务节点的节点信息以及各个计算任务节点之间的关联关系；
[0031]链路图生成模块，用于基于所述各个计算任务节点之间的关联关系生成至少一个任务链路图，所述任务链路图中包括多个任务链路，所述任务链路包括多个通过具有指向性的链路连接的所述计算任务节点；
[0032]终端节点确定模块，用于基于所述任务链路图确定各个任务链路的终端节点；
[0033]第一评分模块，用于基于所述终端节点的节点信息确定出所述终端节点对应的分值；
[0034]第二评分模块，用于基于全部所述终端节点对应的分值确定出所述任务链路图中所述各个计算任务节点的分值；
[0035]重要任务节点确定模块，用于基于所述各个计算任务节点对应分值确定出重要任务节点。
[0036]另一方面，本专利技术提供一种电子设备，包括：
[0037]处理器；
[0038]用于存储所述处理器可执行指令的存储器；
[0039]其中，所述处理器被配置为执行所述指令，以实现如上述所述的数据重要性识别方法。
[0040]另一方面，本专利技术提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由数据重要性识别装置/电子设备的处理器执行时，使得所述数据重要性识别装置/电子设备能够执行如上述所述的数据重要性识别方法。
[0041]本申请的实施，具有如下有益效果：
[0042]本申请根据数据仓库中各个计算任务节点的关联关系将数据仓库中的各个计算任务节点关联至对应的任务链路图中，其中任务链路图是通过具有指向性的链路将关联的计算任务节点连接，能够直观的展示出不同计算任务节点的关系，又能够从整体上查看不同任务链路的交错情况，便于对应的维护人员管控对应的任务链路。而后，可以根据计算任务节点的节点信息对任务链路图中各个任务链路的终端节点评分，进而得到各个计算任务节点的分值，通过分值即可确定出数据仓库中的重要任务节点，维护人员可以对重要任务节点加强管理，避免重要任务节点长期不维护造成冻结或下线。
附图说明
[0043]为了更清楚地说明本专利技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0044]图1是根据本申请实施例示出的一种数据重要性识别方法的实施环境架构图；
[0045]图2是本申请实施例提供的一种数据重要性识别方法的流程示意图；
[0046]图3是本申请实施例提供的另一种数据重要性识别方法的流程示意图；
[0047]图4是本申请实施例提供的又一种数据重要性识别方法的流程示意图；
[0048]图5是本专利技术实施例提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据重要性识别方法，其特征在于，所述方法包括：获取数据仓库中各个计算任务节点的节点信息以及各个计算任务节点之间的关联关系；基于所述各个计算任务节点之间的关联关系生成至少一个任务链路图，所述任务链路图中包括多个任务链路，所述任务链路包括多个通过具有指向性的链路连接的所述计算任务节点；基于所述任务链路图确定各个任务链路的终端节点；基于所述终端节点的节点信息确定出所述终端节点对应的分值；基于全部所述终端节点对应的分值确定出所述任务链路图中所述各个计算任务节点的分值；基于所述各个计算任务节点对应分值确定出重要任务节点。2.根据权利要求1所述数据重要性识别方法，其特征在于，所述基于全部所述终端节点对应的分值确定出所述任务链路图中所述各个计算任务节点的分值，包括：在所述任务链路图中选取待评分节点，所述待评分节点为未被评分且下游与所述待评分节点直接连接的计算任务节点已评分的计算任务节点；基于下游与所述待评分节点直接连接的计算任务节点的分值确定所述待评分节点的分值；重新选取待评分节点，重复执行：基于下游与所述待评分节点直接连接的计算任务节点的分值确定所述待评分节点的分值，直至所述任务链路图中各个计算任务节点均有对应的分值。3.根据权利要求1所述数据重要性识别方法，其特征在于，所述节点信息包括：预设时间内的被访问次数、预设时间内的被导出次数、被访问对应的访问时间和被导出对应的导出时间；所述基于所述终端节点的节点信息确定出所述终端节点对应的分值，包括：基于所述预设时间内的被访问次数、所述预设时间内的被导出次数、所述被访问对应的访问时间和所述被导出对应的导出时间确定出所述终端节点对应的分值。4.根据权利要求2所述数据重要性识别方法，其特征在于，不同的所述任务链路具有相同的所述计算任务节点；所述基于下游与所述待评分节点直接连接的计算任务节点的分值确定所述待评分节点的分值，包括；判断所述待评分节点是否存在于不同的链路中；当所述待评分节点存在于不同的链路中，获取下游与所述待评分节点直接连接的全部所述计算任务节点的分值；将与所述待评分节点直接连接的全部所述计算任务节点的分值中较大的分值赋予所述待评分节点。...

【专利技术属性】
技术研发人员：傅文易，甘红伟，
申请(专利权)人：连连杭州信息技术有限公司，
类型：发明
国别省市：