一种数据监测的方法、装置、设备及计算机存储介质制造方法及图纸

本申请实施例提供了一种数据监测的方法、装置、设备及计算机存储介质，其中，方法包括：获取链路的血缘图，血缘图包括至少一个节点，至少一个节点中的每个节点配置有预设的监测条件，以血缘图的形式将链路形成一个整体，当监测到至少一个节点中的第一节点的节点信息不满足对应的监测条件时，确定第一节点为异常节点，当出现数据异常时，能够整体查找数据异常发生的源头，准确及时地定位异常节点。

【技术实现步骤摘要】
一种数据监测的方法、装置、设备及计算机存储介质
本申请属于计算机
，尤其涉及一种数据监测的方法、装置、设备及计算机存储介质。
技术介绍
在大数据时代，数据的应用已经渗透到各行各业，大数据技术为企业的业务分析和行业发展带来了新的思维角度。大数据分析处理是商业化的核心业务，它所依赖的存储、运算资源都是企业的重要资产，其业务链路的顺畅运行也是企业收入来源的重要保障。在进行大数据开发时，不同的组件呈现点状分布，导致整体链路被割裂。当出现数据异常时，无法整体查找数据异常发生的源头，难以准确及时地定位异常节点。
技术实现思路
本申请实施例提供一种数据监测的方法、装置、设备及计算机存储介质，能够准确及时地定位异常节点。第一方面，本申请实施例提供一种数据监测的方法，方法包括：获取链路的血缘图，血缘图包括至少一个节点，至少一个节点中的每个节点配置有预设的监测条件；当监测到至少一个节点中的第一节点的节点信息不满足对应的监测条件时，确定第一节点为异常节点。在一些可能的实现方式中，该方法还包括：当确定第一节点为异常节点时，对第一节点标注第一标记。在一些可能的实现方式中，方法还包括：当确定第一节点为异常节点时，向用户终端发送异常信息，以用于用户根据异常信息处理异常节点。在一些可能的实现方式中，该方法还包括：当监测到第一节点的节点信息满足对应的监测条件时，对第一节点标注第二标记。在一些可能的实现方式中，链路包括离线数据链路、实时数据链路、异常诊断链路。第二方面，本申请实施例提供了一种数据监测的装置，装置包括：获取模块，用于获取链路的血缘图，血缘图包括至少一个节点，至少一个节点中的每个节点配置有预设的监测条件；确定模块，用于当监测到至少一个节点中的第一节点的节点信息不满足对应的监测条件时，确定第一节点为异常节点。在一些可能的实现方式中，装置还包括：标注模块，用于当确定第一节点为异常节点时，对第一节点标注第一标记。在一些可能的实现方式中，装置还包括：发送模块，用于当确定第一节点为异常节点时，向用户终端发送异常信息，以用于用户根据异常信息处理异常节点。第三方面，本申请实施例提供了一种数据监测设备，设备包括：数据监测设备包括：处理器，以及存储有计算机程序指令的存储器；处理器读取并执行计算机程序指令，以实现第一方面任意一种可能的实现方式中的数据监测的方法。第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面任意一种可能的实现方式中的数据监测的方法。本申请实施例提供的数据监测的方法、装置、设备及计算机存储介质，其中，方法包括：获取链路的血缘图，血缘图包括至少一个节点，至少一个节点中的每个节点配置有预设的监测条件，以血缘图的形式将链路形成一个整体，当监测到至少一个节点中的第一节点的节点信息不满足对应的监测条件时，确定第一节点为异常节点，当出现数据异常时，能够整体查找数据异常发生的源头，准确及时地定位异常节点。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种数据监测方法的流程示意图；图2是本申请实施例提供的一种数据监测系统的结构示意图；图3是本申请实施例提供的一种数据监测装置的结构示意图；图4是本申请实施例提供的一种数据监测设备的结构示意图。具体实施方式下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。由于数据开发方式的多样性和公司历史包袱，目前调度工具有dataflow，kepler，libra等，存储有clickhouse，hive，redis，kafka等，监控kepler，libar，dataflow，datariver，grafana，天玑平台，report，horizon等组件的工作状况，保证大数据开发系统的正常运行，通过测试同学的监控脚本等方式获取组件的数据状况，由于组件之间都呈现点状，单一看任何组件都只能看到局部的数据状况，没法看到整体情况，导致全局的业务链路被割裂。当线上问题发生时，往往只能找到表象问题，而上层链路被工具墙隔断，往上排查就很困难，底层的根本原因很难及时找到。为了解决现有技术问题，本申请实施例提供了一种数据监测的方法、装置、设备及计算机存储介质。在本申请实施例中，获取链路的血缘图，血缘图包括至少一个节点，至少一个节点中的每个节点配置有预设的监测条件，以血缘图的形式将链路形成一个整体，当监测到至少一个节点中的第一节点的数据条数不满足对应的监测条件时，确定第一节点为异常节点，当出现数据异常时，能够整体查找数据异常发生的源头，准确及时地定位异常节点。下面首先对本申请实施例所提供的数据监测方法进行介绍。图1示出了本申请一个实施例提供的数据监测方法的流程示意图。如图1所示，该方法可以包括以下步骤：S110，获取链路的血缘图，血缘图包括至少一个节点，至少一个节点中的每个节点配置有预设的监测条件。链路的血缘图是抽象的描述该条链路的数据之间关联关系的逻辑图。血缘图按照数据加工顺序记录了链路的数据从源头生成到经过的处理过程，以及最终的流向和应用。血缘图可以抽象为由关系节点连接而成，通过关系节点可以获取数据之间的关联关系，通过数据的关联关系可以对数据的来源进行追溯。通过前端的蚂蚁图案数据库可用性组(AntDesignDirectAcyclicGraph，AntDesignDAG)自动绘制链路的血缘图，并存储在Neo4j图数据库中。其中，数据的存储方式包括clickhouse、hive、kafka、redis、hbase、mysql等。只要更新Neo4j图数据库，AntDesign本文档来自技高网...

【技术保护点】
1.一种数据监测的方法，其特征在于，包括：/n获取链路的血缘图，所述血缘图包括至少一个节点，所述至少一个节点中的每个节点配置有预设的监测条件；/n当监测到所述至少一个节点中的第一节点的节点信息不满足对应的监测条件时，确定所述第一节点为异常节点。/n

【技术特征摘要】
1.一种数据监测的方法，其特征在于，包括：
获取链路的血缘图，所述血缘图包括至少一个节点，所述至少一个节点中的每个节点配置有预设的监测条件；
当监测到所述至少一个节点中的第一节点的节点信息不满足对应的监测条件时，确定所述第一节点为异常节点。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当确定所述第一节点为异常节点时，对所述第一节点标注第一标记。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当确定所述第一节点为异常节点时，向用户终端发送异常信息，以用于用户根据所述异常信息处理所述异常节点。


4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
当监测到所述第一节点的节点信息满足对应的监测条件时，对所述第一节点标注第二标记。


5.根据权利要求1所述的方法，其特征在于，所述链路包括离线数据链路、实时数据链路、异常诊断链路。


6.一种数据监测的装置，其特征在于，所述装置包括：
获取模块，...

【专利技术属性】
技术研发人员：杨恺，王洋，韩鹏丽，陈利美，孙一凡，
申请(专利权)人：上海臣星软件技术有限公司，
类型：发明
国别省市：上海;31