【技术实现步骤摘要】
一种大数据评分系统稳定性监控方法
本专利技术涉及监控
,特别涉及一种大数据评分系统稳定性监控方法。
技术介绍
大数据评分系统较常采用的一种智能评分方式,并且为了保证大数据评分系统运行的可靠性,一般会对大数据评分系统进行监控,但是对其进行监控的过程中一般存在如下问题:1、在监控过程中,会对监控数据和指标的存储,业界通常做法是对原始数据进行存储,长此以往会产生大量数据,占用海量存储空间,造成存储成本居高不下。2、随着时间的推移监控的历史数据本身价值已经微乎其微,通常会对历史数据定期清理,这样做也会增加IT的维护成本。3、对监控指标按照时间维度进行计算后压缩存储,如果计算的时间维度发生变化无法进行重新计算,易用性也会受到影响。4、当存在数值类型的敏感数据时无法明文存储,如果该敏感值有统计分析类的需求则需要进行批量解密后才可进行统计。基于上述存在的问题,使得存储成本高、查询速度慢,进而降低监控效率。因此,本专利技术提出一种大数据评分系统稳定性监控方法。
技术实现思路
...
【技术保护点】
1.一种大数据评分系统稳定性监控方法,其特征在于,包括:/n采集大数据评分系统的评分日志;/n将采集的评分日志通过预设消息队列进行解耦传输到监控中心;/n所述监控中心对接收到的评分日志进行预处理和预转化;/n将预处理和预转化后的评分日志导入查询数据库,同时,所述监控中心通过轮循查询数据的方式对导入后的查询数据库进行监控。/n
【技术特征摘要】
1.一种大数据评分系统稳定性监控方法,其特征在于,包括:
采集大数据评分系统的评分日志;
将采集的评分日志通过预设消息队列进行解耦传输到监控中心;
所述监控中心对接收到的评分日志进行预处理和预转化;
将预处理和预转化后的评分日志导入查询数据库,同时,所述监控中心通过轮循查询数据的方式对导入后的查询数据库进行监控。
2.如权利要求1所述的稳定性监控方法,其特征在于,所述监控中心通过轮循查询数据的方式对导入后的查询数据库进行监控之前,包括:
查询与所述监控中心监控获得的监控样本相关的样本数据指标;
获取所述样本数据指标的指标结果,基于所述指标结果判断所述样本数据指标是否异常;
若异常,基于所述监控中心,向预先配置好的目标员工的警示端发送第一警示指令,所述警示端执行与第一警示指令相关的第一警示提醒;
否则,基于所述样本数据指标,提取监控指标。
3.如权利要求1所述的稳定性监控方法,其特征在于,采集大数据评分系统的评分日志的过程中包括:
基于时间戳,实时监测所述大数据评分系统产生的评分日志;
对所述评分日志的数据容量进行判断,当所述数据容量到达预设容量范围时,将对应的评分日志存储传输到监控中心;
当所述数据容量小于预设容量范围对应的最小容量时,基于所述时间戳,继续实时监测所述大数据评分系统产生的评分日志;
当所述数据容量大于预设容量范围对应的最大容量时,判定传输失败,并向预先配置好的目标员工的警示端发送第二警示指令,所述警示端执行与第二警示指令相关的第二警示提醒。
4.如权利要求1所述的稳定性监控方法,其特征在于,所述监控中心通过轮循查询数据的方式对导入后的查询数据库进行监控之前,还包括:
向所述监控中心进行监控规则配置,且监控规则配置步骤包括:
配置监控名称到待监控数据库,并将名称配置信息传输到所述监控中心,所述名称配置信息包括:监控数据库以及与待监控数据库对应的待监控名称;
向配置有监控名称的待监控数据库配置监控维度,并根据所述监控维度从对应的评分日志中提取维度字段,并构成维度分组;
确定所述维度分组对应的基准数据量,当所述基准数据量大于预设数据量时,所述监控中心基于预设计算方式,对所述维度分组进行监控计算;
当基于预设计算方式,对所述维度分组进行监控计算时,计算获得所述维度分组的基准值,并根据所述基准值,配置相关的基准指标,并对配置的所述基准指标进行存储;
其中,所述待监控数据库中存储的数据源与大数据评分系统的评分日志相关。
5.如权利要求4所述的稳定性监控方法,其特征在于,
所述预设数据量是基于历史监控数据库确定的。
6.如权利要求4所述的稳定性监控方法,其特征在于,所述监控计算是基于自定义与所述待监控数据库相关的直方图的分位数和自定义区间占比两种方式进行自定义基准分析来实现的;
在...
【专利技术属性】
技术研发人员:陈建,苏明富,王树伦,
申请(专利权)人:北京睿知图远科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。