任务监控方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及数据处理技术领域，提供一种任务监控方法、装置、电子设备及存储介质。该方法同步任务系统中的待监控任务的相关信息至任务监控平台，实现对任务数据的统一处理，并在所述任务监控平台中基于Spark Streaming框架对所述信息进行实时处理，得到任务数据，显示并存储所述任务数据，实现任务的实时监控及可视化，从所述待监控任务的监控指令中获取待监控任务的参数信息以在所述任务数据中进行查询，得到待监控任务的当前运行数据及历史运行数据，根据所述当前运行数据与所述历史运行数据的差异值确定所述待监控任务是否异常，进而根据需要对任务的运行情况进行比对，便于对任务进行异常检测，提升了任务的执行效率，也间接提高了任务的完成质量。

【技术实现步骤摘要】
任务监控方法、装置、电子设备及存储介质
本专利技术涉及数据处理
，尤其涉及一种任务监控方法、装置、电子设备及存储介质。
技术介绍
一个项目的任务往往涉及到很多数据，例如：系统的运行数据或者其他任务数据等，这些数据往往被分散且无规律的存储在各个数据库中。由于任务的多样性及复杂性，目前很难实现对相关任务的统一存储及实时监控，也就无法及时检测到每个任务的运行状态，那么当遇到异常情况时，也就无法实现对异常的及时处理，影响了整个项目的正常执行。
技术实现思路
鉴于以上内容，有必要提供一种任务监控方法、装置、电子设备及存储介质，能够集成与任务相关联的所有数据，并对这些数据进行实时监控及显示，便于及时发现异常并处理，提升了任务的执行效率，也间接提高了任务的完成质量。一种任务监控方法，所述方法包括：当接收到待监控任务时，将所述待监控任务输入至任务系统；同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台；在所述项目任务监控平台，基于SparkStreaming框架对所述信息进行实时处理，得到任务数据，显示并存储所述任务数据；当接收到对所述待监控任务的监控指令时，从所述监控指令中获取所述待监控任务的参数信息；根据所述参数信息在所述任务数据中进行查询，得到所述待监控任务的当前运行数据及历史运行数据；计算所述当前运行数据与所述历史运行数据的差异值；当所述差异值大于配置阈值时，确定所述待监控任务异常。根据本专利技术优选实施例，所述同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台，包括：当所述信息为指定任务的运行信息时，利用哈希函数计算所述运行信息的分片号；基于所述分片号将所述运行信息同步至Kafka消息队列。根据本专利技术优选实施例，所述利用哈希函数计算所述运行信息的分片号包括：通过分片函数的计算结果对预设的哈希桶取模，得到所述分片号，其中，所述分片函数如下：其中，HashBucket为所述预设的哈希桶，sliceid是指所述运行信息的分片号，是指按照名称分布时所述运行信息的量化函数，daytime(time)是指按照时间分布时所述运行信息的量化函数，b1是指按照名称分布时相邻信息间的分散程度，b2是指按照时间分布时相邻信息间的分散程度，w1是指按照名称分布时的未标准化权重，w2是指按照时间分布时的未标准化权重。根据本专利技术优选实施例，所述方法还包括：设置w2为0，以按照名称将所述运行信息同步至所述Kafka消息队列；或者设置w1为0，以按照时间将所述运行信息同步至所述Kafka消息队列。根据本专利技术优选实施例，所述同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台，还包括：采用Elasticsearch从所述任务系统中查询Java微服务的日志信息；基于Logstash对所述日志信息进行分析及过滤；采用Kibana对分析及过滤后的日志信息进行可视化处理；基于Logstash同步可视化处理后的日志信息至所述项目任务监控平台。根据本专利技术优选实施例，所述根据所述参数信息在所述任务数据中进行查询，得到所述待监控任务的当前运行数据及历史运行数据，包括：当所述任务数据存储在数据库中时，基于预设词典构建ES搜索引擎；基于所述ES搜索引擎，根据所述参数信息在所述数据库中进行查询，得到所述待监控任务的当前运行数据及历史运行数据。根据本专利技术优选实施例，所述基于所述ES搜索引擎，根据所述参数信息在所述数据库中进行查询，得到所述待监控任务的当前运行数据及历史运行数据，包括：在所述ES搜索引擎下的多个配置字典中遍历所述参数信息，得到索引信息；根据所述索引信息在所述数据库中进行查询，得到所述待监控任务的当前运行数据及历史运行数据。一种任务监控装置，所述装置包括：对接单元，用于当接收到待监控任务时，将所述待监控任务输入至任务系统；同步单元，用于同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台；处理单元，用于在所述项目任务监控平台，基于SparkStreaming框架对所述信息进行实时处理，得到任务数据；存储单元，用于显示并存储所述任务数据；获取单元，用于当接收到对所述待监控任务的监控指令时，从所述监控指令中获取所述待监控任务的参数信息；查询单元，用于根据所述参数信息在所述任务数据中进行查询，得到所述待监控任务的当前运行数据及历史运行数据；计算单元，用于计算所述当前运行数据与所述历史运行数据的差异值；确定单元，用于当所述差异值大于配置阈值时，确定所述待监控任务异常。根据本专利技术优选实施例，所述同步单元同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台，包括：当所述信息为指定任务的运行信息时，利用哈希函数计算所述运行信息的分片号；基于所述分片号将所述运行信息同步至Kafka消息队列。根据本专利技术优选实施例，所述同步单元利用哈希函数计算所述运行信息的分片号，包括：通过分片函数的计算结果对预设的哈希桶取模，得到所述分片号，其中，所述分片函数如下：其中，HashBucket为所述预设的哈希桶，sliceid是指所述运行信息的分片号，是指按照名称分布时所述运行信息的量化函数，daytime(time)是指按照时间分布时所述运行信息的量化函数，b1是指按照名称分布时相邻信息间的分散程度，b2是指按照时间分布时相邻信息间的分散程度，w1是指按照名称分布时的未标准化权重，w2是指按照时间分布时的未标准化权重。根据本专利技术优选实施例，所述确定单元，还用于当w2为0时，确定按照名称将所述运行信息同步至所述Kafka消息队列；或者所述确定单元，还用于当w1为0时，确定按照时间将所述运行信息同步至所述Kafka消息队列。根据本专利技术优选实施例，所述同步单元同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台，还包括：采用Elasticsearch从所述任务系统中查询Java微服务的日志信息；基于Logstash对所述日志信息进行分析及过滤；采用Kibana对分析及过滤后的日志信息进行可视化处理；基于Logstash同步可视化处理后的日志信息至所述项目任务监控平台。根据本专利技术优选实施例，所述查询单元根据所述参数信息在所述任务数据中进行查询，得到所述待监控任务的当前运行数据及历史运行数据，包括：当所述任务数据存储在数据库中时，基于预设词典构建ES搜索引擎；基于所述ES搜索引擎，根据所述参数信息在所述数据库中进行查询，得到所述待监控任务的当前运行数据及历史运行数据。根据本专利技术优选实施例，所述查询单元基于所述ES搜索引擎，根据所述参数信息在所述数据库中进行本文档来自技高网...

【技术保护点】
1.一种任务监控方法，其特征在于，所述方法包括：/n当接收到待监控任务时，将所述待监控任务输入至任务系统；/n同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台；/n在所述项目任务监控平台，基于Spark Streaming框架对所述信息进行实时处理，得到任务数据，显示并存储所述任务数据；/n当接收到对所述待监控任务的监控指令时，从所述监控指令中获取所述待监控任务的参数信息；/n根据所述参数信息在所述任务数据中进行查询，得到所述待监控任务的当前运行数据及历史运行数据；/n计算所述当前运行数据与所述历史运行数据的差异值；/n当所述差异值大于配置阈值时，确定所述待监控任务异常。/n

【技术特征摘要】
1.一种任务监控方法，其特征在于，所述方法包括：
当接收到待监控任务时，将所述待监控任务输入至任务系统；
同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台；
在所述项目任务监控平台，基于SparkStreaming框架对所述信息进行实时处理，得到任务数据，显示并存储所述任务数据；
当接收到对所述待监控任务的监控指令时，从所述监控指令中获取所述待监控任务的参数信息；
根据所述参数信息在所述任务数据中进行查询，得到所述待监控任务的当前运行数据及历史运行数据；
计算所述当前运行数据与所述历史运行数据的差异值；
当所述差异值大于配置阈值时，确定所述待监控任务异常。


2.如权利要求1所述的任务监控方法，其特征在于，所述同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台，包括：
当所述信息为指定任务的运行信息时，利用哈希函数计算所述运行信息的分片号；
基于所述分片号将所述运行信息同步至Kafka消息队列。


3.如权利要求2所述的任务监控方法，其特征在于，所述利用哈希函数计算所述运行信息的分片号，包括：
通过分片函数的计算结果对预设的哈希桶取模，得到所述分片号，其中，所述分片函数如下：



其中，HashBucket为所述预设的哈希桶，sliceid是指所述运行信息的分片号，是指按照名称分布时所述运行信息的量化函数，daytime(time)是指按照时间分布时所述运行信息的量化函数，b1是指按照名称分布时相邻信息间的分散程度，b2是指按照时间分布时相邻信息间的分散程度，w1是指按照名称分布时的未标准化权重，w2是指按照时间分布时的未标准化权重。


4.如权利要求3所述的任务监控方法，其特征在于，所述方法还包括：
设置w2为0，以按照名称将所述运行信息同步至所述Kafka消息队列；或者
设置w1为0，以按照时间将所述运行信息同步至所述Kafka消息队列。


5.如权利要求1所述的任务监控方法，其特征在于，所述同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台，还包括：
采用Elasticsearch从所述任务系统中查询Java微服务的日志信息；
基于Logstash对所述日志信息...

【专利技术属性】
技术研发人员：戴文鹏，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44