设备状态信息的获取方法技术

本申请公开了一种设备状态信息的获取方法

【技术实现步骤摘要】
设备状态信息的获取方法、装置、设备和可读存储介质


[0001]本申请涉及数据处理
，具体涉及一种设备状态信息的获取方法
、
装置
、
设备和可读存储介质
。

技术介绍

[0002]设备日志数据作为一种应用产生的实时数据，随着业务应用规模发展而紧跟着扩大
。
日志系统必须在具备高吞吐量的同时，也要具备较高的实时性要求
。ES(Elasticsearch
，搜索服务器
)
由于分词等特性，在写吞吐量上有着明显的瓶颈，分词耗
CPU
且难以解决热点问题
。
如果资源冗余不足，就容易导致稳定性下降，日志摄入发生延迟，日志的延迟会对排障产生极大负面影响
。
其次，设备日志数据的压缩率不高，
ES
的存储成本也较高，对内存有着较高的要求
。
这些因素导致设备日志数据必须进行常态化的采样和限流，对用户使用上造成了困扰，限制了排障的场景
。
再者，
Kibana(
可视化平台
)
整体代码复杂，二次开发困难
。
且每次升级
ES
必须升级到对应的
Kibana
版本，增加了用户迁移的成本
。
并且
Kibana
查询虽然语法较为简单，但对于初次接触的相关工作人员，还需要一定学习成本的
。

技术实现思路

[0003]本申请实施例提供一种设备状态信息的获取方法
、
装置
、
系统
、
电子设备和计算机存储介质，通过
ClickHouse
数据平台对日志数据进行分析，制定设备使用中的动态画像，从而获得设备状态信息
。
[0004]本申请实施例第一方面提供一种设备状态信息的获取方法，所述方法包括：
[0005]通过域套接字接口获取待分析设备上的日志数据；
[0006]按时间维度和元数据维度对所述日志数据进行拆分，以生成多个队列数据；
[0007]将所述多个队列数据进行聚合生成日志聚合数据，并将所述日志聚合数据攒批存储至数据库管理系统
ClickHouse
中；
[0008]响应于日志查询模块中接收到的日志查询数据，根据所述日志查询数据从所述
ClickHouse
中获取目标聚合数据；
[0009]根据预设可视化分析平台对所述目标聚合数据进行分析，以生成设备状态信息
。
[0010]可选地，所述将所述日志聚合数据攒批存储至数据库管理系统
ClickHouse
中，包括：
[0011]识别所述日志聚合数据的日志生命周期；
[0012]根据所述日志生命周期，确定所述日志聚合数据的存储速度，其中，所述日志生命周期越短，对应的所述存储速度越快；
[0013]基于所述存储速度，将所述日志聚合数据攒批存储至所述
ClickHouse
中
。
[0014]可选地，所述将所述日志聚合数据攒批存储至所述
ClickHouse
中，包括：
[0015]识别所述日志聚合数据的数据类型；
[0016]根据所述数据类型确定所述日志聚合数据的隐式列字段；
[0017]基于预设公共字段和所述隐式列字段，将所述日志聚合数据存储值所述
ClickHouse
中
。
[0018]可选地，所述根据所述日志查询数据从所述
ClickHouse
中获取目标聚合数据，包括：
[0019]对所述日志查询数据进行简化处理，以生成目标查询语句；其中，所述简化处理至少包括路由处理
、
负载均衡处理
、
缓存处理和限流处理中的至少一种；
[0020]从所述
ClickHouse
中获取与所述目标查询语句相匹配的所述目标聚合数据
。
[0021]可选地，所述从所述
ClickHouse
中获取与所述目标查询语句相匹配的所述目标聚合数据，包括：
[0022]基于预设查询网关对所述目标查询语句进行聚合，生成全文检索数据；
[0023]对所述全文检索数据进行数据转化，以生成
SQL
查询语句；
[0024]从所述
ClickHouse
中获取与所述
SQL
查询语句匹配的所述目标聚合数据
。
[0025]可选地，所述方法还包括：
[0026]对所述
ClickHouse
中的所述日志聚合数据进行告警分析；
[0027]若所述日志聚合数据与预设日志告警规则匹配，则生成日志告警信号；
[0028]将所述日志告警信号发送至用户设备
。
[0029]可选地，所述日志告警信号包括日志名称
、
日志数据源
、
日志查询时间
、
日志计算间隔
、
日志计算函数
、
日志过滤规则
、
报警触发条件
、
告警间隔时间和连续触发规则中的至少一种
。
[0030]相应地，本申请实施例第二方面提供一种设备状态信息的获取装置，所述装置包括：
[0031]第一获取模块，用于通过域套接字接口获取待分析设备上的日志数据；
[0032]第一生成模块，用于按时间维度和元数据维度对所述日志数据进行拆分，以生成多个队列数据；
[0033]存储模块，用于将所述多个队列数据进行聚合生成日志聚合数据，并将所述日志聚合数据攒批存储至数据库管理系统
ClickHouse
中；
[0034]第二获取模块，用于响应于日志查询模块中接收到的日志查询数据，根据所述日志查询数据从所述
ClickHouse
中获取目标聚合数据；
[0035]第二生成模块，用于根据预设可视化分析平台对所述目标聚合数据进行分析，以生成设备状态信息
。
[0036]本申请实施例第三方面提供的一种电子设备，包括：
[0037]处理器和存储介质；
[0038]所述处理器，用于实现各个指令；
[0039]所述存储介质用于储存多条指令，所述指令用于由处理器加载并执行以上第一方面中任一项所述设备状态信息的获取方法
。
[0040]本申请实施例第四方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行上述第一方面中任一项所述设备状态信息的获取方法中的步骤
。
[0041]本申请实施例第五方面还提供一种计算机程序产品，包括计算机程序或指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种设备状态信息的获取方法，其特征在于，所述方法包括：通过域套接字接口获取待分析设备上的日志数据；按时间维度和元数据维度对所述日志数据进行拆分，以生成多个队列数据；将所述多个队列数据进行聚合生成日志聚合数据，并将所述日志聚合数据攒批存储至数据库管理系统
ClickHouse
中；响应于日志查询模块中接收到的日志查询数据，根据所述日志查询数据从所述
ClickHouse
中获取目标聚合数据；根据预设可视化分析平台对所述目标聚合数据进行分析，以生成设备状态信息
。2.
根据权利要求1所述的获取方法，其特征在于，所述将所述日志聚合数据攒批存储至数据库管理系统
ClickHouse
中，包括：识别所述日志聚合数据的日志生命周期；根据所述日志生命周期，确定所述日志聚合数据的存储速度，其中，所述日志生命周期越短，对应的所述存储速度越快；基于所述存储速度，将所述日志聚合数据攒批存储至所述
ClickHouse
中
。3.
根据权利要求2所述的获取方法，其特征在于，所述将所述日志聚合数据攒批存储至所述
ClickHouse
中，包括：识别所述日志聚合数据的数据类型；根据所述数据类型确定所述日志聚合数据的隐式列字段；基于预设公共字段和所述隐式列字段，将所述日志聚合数据存储值所述
ClickHouse
中
。4.
根据权利要求1所述的获取方法，其特征在于，所述根据所述日志查询数据从所述
ClickHouse
中获取目标聚合数据，包括：对所述日志查询数据进行简化处理，以生成目标查询语句；其中，所述简化处理至少包括路由处理
、
负载均衡处理
、
缓存处理和限流处理中的至少一种；从所述
ClickHouse
中获取与所述目标查询语句相匹配的所述目标聚合数据
。5.
根据权利要求4所述的获取方法，其特征在于，所述从所述
ClickHouse
中获取与所述目标查询语句相匹配的所述目标聚合数据，包括：基于预设查询网关对所述...

【专利技术属性】
技术研发人员：王峰焰，刘家俊，王娅妮，
申请(专利权)人：西安力传智能技术有限公司，
类型：发明
国别省市：