流计算监控方法和设备技术

本申请提供一种流计算监控方法和设备，包括第一设备获取流计算任务运行时的报错数据，并生成流计算任务的监控日志；第一设备根据流计算任务运行时的报错数据确定流计算任务的监控日志的等级信息；第一设备向第二设备发送监控日志的等级信息，第一设备以预设周期向第二设备发送流计算运行时的运行数据；第二设备用于根据监控日志的等级信息生成报警信息、在当前周期内未收到运行数据时生成报警信息，并向第三设备发送报警信息。通过以上设置，可以自动监控流计算任务运行情况，将流计算任务报警、任务终止等情况及时通知到开发者。任务终止等情况及时通知到开发者。任务终止等情况及时通知到开发者。

【技术实现步骤摘要】
流计算监控方法和设备


[0001]本申请涉及计算机
，尤其涉及一种流计算监控方法和设备。

技术介绍

[0002]在传统的数据流程中，总是先收集数据，然后将数据存储到数据库中。数据库中的数据来自不同的数据源，存入后不再进行更新，因此这些数据也被称作静态数据。与之对应的还有一种数据，这种数据以大量、快速、时变的流形式持续到达，故被称作流数据。在大数据时代，数据呈现出格式复杂、来源众多且数量巨大等特点，流计算正是为了实时计算流数据而诞生的。对于一个流计算框架而言，能可靠地处理数据是十分重要的一个需求，因此需要对流计算的运行情况进行监控，及时处理各种突发状况。
[0003]市面上流行的Spark Streaming和Flink等流计算框架都有自己的监控页面，但是这些监控页面往往以网页形式存在，流计算任务的运行情况通过文档等形式记录在网页上，开发人员不可能实时关注网页界面的信息，因此当流计算任务失败时无法及时通知到开发者。

技术实现思路

[0004]本申请提供一种流计算监控方法和设备，旨在自动监控流计算任务的运行情况，及时提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流计算监控方法，其特征在于，所述方法应用于第一设备，所述方法包括：获取流计算任务运行时的报错数据，并生成所述流计算任务的监控日志；根据所述流计算任务运行时的报错数据确定所述流计算任务的监控日志的等级信息；向第二设备发送所述监控日志的等级信息；所述第二设备用于根据所述监控日志的等级信息生成报警信息，并向第三设备发送所述报警信息。2.根据权利要求1所述的流计算监控方法，其特征在于，根据所述计算任务运行时的报错数据确定所述流计算任务的监控日志的等级信息，具体包括：根据所述计算任务运行时的报错数据和报错等级表，确定所述流计算任务的报错等级；根据所述流计算任务的报错等级和日志等级表，确定所述流计算任务的监控日志的等级信息；其中，所述报错等级表为每个报错等级与监控项数据范围之间对应关系表，所述日志等级表为所述监控日志的等级信息和所述流计算任务的报错等级之间对应关系表。3.根据权利要求1或2所述的流计算监控方法，其特征在于，获取流计算任务运行时的报错数据，并生成监控日志，具体包括：获取所述流计算任务运行时的监控数据；并从所述监控数据中提取所述报错数据；对流计算任务运行时的监控数据进行规范化处理，获得所述流计算任务的监控日志。4.根据权利要求1或2所述的流计算监控方法，其特征在于，所述方法还包括：向第二设备发送所述监控日志，所述第二设备用于将所述监控日志存储在数据库中。5.根据权利要求1所述的流计算监控方法，其特征在于，所述方法还包括：以预设周期向所述第二设备发送流计算运行时的运行数据；所述第二设备用于在当前周期内未收到运行数据时生成报警信息。6.一种流计算监控方法，其特征在于，所述方法应用于第二设备，所述方法包括：接收第一设备发送的流计算任务的监控日志的等级信息，其中，所述流计算任务的监控日志的等级信息是所述第一设备根据流计算任务的监控项数据确定的，所述流计算任务的监控日志是根据流计算任务运行时的监控...

【专利技术属性】
技术研发人员：张进，李逍遥，张晓敏，刘宇涵，梁波，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：