一种对实时计算进行监控的方法和装置制造方法及图纸

本发明专利技术公开了一种对实时计算进行监控的方法和装置，该方法包括：对实时计算任务的输入源的运行过程进行监测；对实时计算任务的运行过程进行监测；其中，实时计算任务运行在计算平台上，实时计算任务从输入源获取数据并进行计算处理；当监测到实时计算任务的输入源的运行过程出现异常时，和/或，当监测到实时计算任务的运行过程出现异常时，向关联用户发送报警信息。本方案包括对输入源的监控和对实时计算任务本身的监控，输入源的正常运行和实时计算任务本身的正常运行才能支撑起完整的实时计算流程，任一部分的运行过程出现问题都会造成实时计算过程的异常，通过本方案，能够帮助关联用户及早发现问题并进行相应补救，以维持实时计算过程的稳定有效进行。

【技术实现步骤摘要】

本专利技术涉及互联网
，具体涉及一种对实时计算进行监控的方法和装置。
技术介绍
随着互联网技术的不断发展，互联网大数据的趋势日益显著，每一条互联网的业务线都在不断地产生新的打点日志，对产生的日志进行进一步地处理以对互联网业务的运行进行反馈是相当重要的工作之一。在此趋势下，对于互联网业务线产生的日志数据进行实时计算的技术方案应运而生，由于实时计算过程需要通过快速、准确、实时的计算结果来获取对不用业务数据的反馈，当实时计算过程出现问题时，如无数据输出、计算结果错误、计算效率低等，这些问题使得实时计算的意义荡然无存，可见，对实时计算进行有效的监控对于维持实时计算的稳定性、有效性、准确性等各个方面均有重要的意义，对于实时计算技术的进一步发展具有重要的意义。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种对实时计算进行监控的方法和装置。依据本专利技术的一个方面，提供了一种对实时计算进行监控的方法，该方法包括：对实时计算任务的输入源的运行过程进行监测；对实时计算任务的运行过程进行监测；其中，实时计算任务运行在计算平台上，实时计算任务从输入源获取数据并进行计算处理；当监测到实时计算任务的输入源的运行过程出现异常时，和/或，当监测到实时计算任务的运行过程出现异常时，向关联用户发送报警信息。可选地，实时计算任务的输入源中包括数据产生方和数据消费方；所述对实时计算任务的输入源的运行过程进行监测包括：对输入源中的数据产生方产生的数据量进行监测；和/或，对输入源中的数据消费方消费的数据量进行监测。可选地，所述对实时计算任务的运行过程进行监控包括：对实时计算任务的数据处理能力进行监测；对实时计算任务的运行状态进行监测；对实时计算任务在运行过程中产生的运行日志进行监测；和/或，对实时计算任务在运行过程中是否发生特定事件进行监测。可选地，所述对输入源中的数据产生方产生的数据量进行监测包括：获取输入源中的数据产生方在每个单位时间内产生的数据量；将当前监测周期内产生的数据总量与前一监测周期内产生的数据总量进行比较，当二者的差异大于第一预设阈值时，和/或，将当前监测周期内的一个时间段内产生的数据总量与前一监测周期内的同一个时间段内产生的数据总量进行比较，当二者的差异大于第二预设阈值时，确定实时计算任务的输入源的运行过程出现异常。可选地，所述对输入源中的数据产生方产生的数据量进行监测包括：获取输入源中的数据产生方在每个单位时间内产生的数据量；当监测到数据产生方在第一预设时间长度内产生的数据量为零时，确定实时计算任务的输入源的运行过程出现异常。可选地，所述对输入源中的数据消费方消费的数据量进行监测包括：获取输入源中的数据消费方在每个单位时间内消费的数据量；当监测到数据消费方在第二预设时间长度内消费的数据量为零时，确定实时计算任务的输入源的运行过程出现异常。可选地，输入源中的数据产生方产生的数据分布到多个数据队列中，输入源中的数据消费方从所述多个数据队列中读取数据进行消费；所述对输入源中的数据产生方产生的数据量进行监测和对输入源中的数据消费方消费的数据量进行监测包括：获取每个数据队列在每个单位时间内接收到的数据量和被读取的数据量，计算该数据队列在每个单位时间内接收到的数据量和被读取的数据量的比值；根据各数据队列在同一时间段内对应的比值计算该时间段对应的标准差；当该时间段内的标准差大于第三预设阈值时，确定输入源的数据分布不均；当监测到输入源的数据分布不均时，确定实时计算任务的输入源的运行过程出现异常。可选地，所述获取输入源中的数据消费方在每个单位时间内消费的数据量包括：读取输入源中指示数据消费位置的标识，根据数据消费位置在每个单位时间内的变化，确定输入源中的数据消费方在每个单位时间内消费的数据量；所述获取每个数据队列在每个单位时间内被读取的数据量包括：读取该数据队列中指示被读取数据位置的标识，根据被读取数据位置在每个单位时间内的变化，确定该数据队列在每个单位时间内被读取的数据量。可选地，所述对实时计算任务的数据处理能力进行监测包括：获取实时计算任务当前正在处理的数据量；当实时计算任务当前正在处理的数据量大于第四预设阈值时，确定实时计算任务的运行过程出现异常。可选地，所述对实时计算任务的运行状态进行监测包括：在将实时计算任务提交到计算平台时，获取实时计算任务对应的进程标识；每隔预设时间间隔，检查实时计算任务对应的进程标识是否在计算平台的进程列表中，是则确定实时计算任务处于运行状态，否则确定实时计算任务处于非运行状态；当监测到实时计算任务处于非运行状态时，确定实时计算任务的运行过程出现异常。可选地，所述对实时计算任务在运行过程中产生的运行日志进行监测包括：当监测到实时计算任务在运行过程中产生的运行日志中记录指示第一指定类型异常的信息时，确定实时计算任务的运行过程出现异常；所述第一指定类型异常包括：单条日志异常，和/或，集群节点丢失异常。可选地，所述对实时计算任务在运行过程中是否发生特定事件进行监测包括：对实时计算任务在运行过程中产生的运行日志进行监测；当监测到所述运行日志中记录指示第二指定类型异常的信息时，确定实时计算任务在运行过程中发生特定事件；当监测到实时计算任务在运行过程中发生特定事件时，确定实时计算任务的运行过程出现异常；所述特定事件为假死事件；所述第二指定类型异常包括：Jar包丢失异常，无输出异常，无输入异常，内存异常，和/或，找不到通道异常。可选地，计算平台包括：SparkStreaming计算平台或Storm计算平台；当实时计算任务在Storm计算平台上运行时，所述对实时计算任务的数据处理能力进行监测还包括：获取实时计算任务的数据处理失败率；当监测到实时计算任务的数据处理失败率大于第五预设阈值时，确定实时计算任务的运行过程出现异常。依据本专利技术的另一个方面，提供了一种对实时计算进行监控的装置，该装置包括：第一监测单元，适于对实时计算任务的输入源的运行过程进行监测；第二监测单元，适于对实时计算任务的运行过程进行监测；其中，实时计算任务运行在计算平台上，实时计算任务从输入源获取数据并进行计算处理；报警单元，适于当所述第一监测单元监测到实时计算任务的输入源的运行过程出现异常时，和/或，当第二监测单元监测到实时计算任务的运行过程出现异常时，向关联用户发送报警信息。可选地，实时计算任务的输入源中包括数据产生方和数据消费方；所述第一监测单元，适于对输入源中的数据产生方产生的数据量进行监测；和/或，对输入源中的数据消费方消费的数据量进行监测。可选地，所述第二监测单元，适于对实时计算任务的数据处理能力进行监测；对实时计算任务的运行状态进行监测；对实时计算任务在运行过程中产生的运行日志进行监测；和/或，对实时计算任务在运行过程中是否发生特定事件进行监测。可选地，所述第一监测单元，适于获取输入源中的数据产生方在每个单位时间内产生的数据量；将当前监测周期内产生的数据总量与前一监测周期内产生的数据总量进行比较，当二者的差异大于第一预设阈值时，和/或，将当前监测周期内的一个时间段内产生的数据总量与前一监测周期内的同一个时间段内产生的数据总量进行比较，当二者的差异大于第二预设阈值时，确本文档来自技高网...

【技术保护点】
一种对实时计算进行监控的方法，其中，该方法包括：对实时计算任务的输入源的运行过程进行监测；对实时计算任务的运行过程进行监测；其中，实时计算任务运行在计算平台上，实时计算任务从输入源获取数据并进行计算处理；当监测到实时计算任务的输入源的运行过程出现异常时，和/或，当监测到实时计算任务的运行过程出现异常时，向关联用户发送报警信息。

【技术特征摘要】
1.一种对实时计算进行监控的方法，其中，该方法包括：对实时计算任务的输入源的运行过程进行监测；对实时计算任务的运行过程进行监测；其中，实时计算任务运行在计算平台上，实时计算任务从输入源获取数据并进行计算处理；当监测到实时计算任务的输入源的运行过程出现异常时，和/或，当监测到实时计算任务的运行过程出现异常时，向关联用户发送报警信息。2.如权利要求1所述的方法，其中，实时计算任务的输入源中包括数据产生方和数据消费方；所述对实时计算任务的输入源的运行过程进行监测包括：对输入源中的数据产生方产生的数据量进行监测；和/或，对输入源中的数据消费方消费的数据量进行监测。3.如权利要求1所述的方法，其中，所述对实时计算任务的运行过程进行监控包括：对实时计算任务的数据处理能力进行监测；对实时计算任务的运行状态进行监测；对实时计算任务在运行过程中产生的运行日志进行监测；和/或，对实时计算任务在运行过程中是否发生特定事件进行监测。4.如权利要求2所述的方法，其中，所述对输入源中的数据产生方产生的数据量进行监测包括：获取输入源中的数据产生方在每个单位时间内产生的数据量；将当前监测周期内产生的数据总量与前一监测周期内产生的数据总量进行比较，当二者的差异大于第一预设阈值时，和/或，将当前监测周期内的一个时间段内产生的数据总量与前一监测周期内的同一个时间段内产生的数据总量进行比较，当二者的差异大于第二预设阈值时，确定实时计算任务的输入源的运行过程出现异常。5.如权利要求2所述的方法，其中，所述对输入源中的数据产生方产生的数据量进行监测包括：获取输入源中的数据产生方在每个单位时间内产生的数据量；当监测到数据产生方在第一预设时间长度内产生的数据量为零时，确定实时计算任务的输入源的运行过程出现异常。6.如权利要求2所述的方法，其中，所述对输入源中的数据消费方消费的数据量进行监测包括：获取输入源中的数据消费方在每个单位时间内消费的数据量；当监测到数据消费方在第二预设时间长度内...

【专利技术属性】
技术研发人员：沈迪，王义辉，王素梅，徐胜国，李铮，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：北京;11