【技术实现步骤摘要】
日志数据处理方法、装置、设备及计算机可读存储介质
本专利技术涉及金融科技(Fintech)
，尤其涉及一种日志数据处理方法、装置、设备及计算机可读存储介质。
技术介绍
随着金融科技(Fintech)，尤其是互联网科技金融的不断发展，越来越多的技术(如大数据、云存储、分布式系统等)应用在金融领域，但金融业也对各类技术提出了更高的要求，如要求对存储在分布式系统中各个设备上的各类日志数据进行统一处理。当前为了支持对各设备上不同类型日志数据的统一处理，通常借助诸如Filebeat(日志收集)、Logstash(日志收集处理)、ElasticSearch(日志存储)此类的开源工具来搭建系统架构。这种系统架构带来的问题之一是难以支撑异构系统下的多类型日志数据源输入，若分布式系统中有普通日志，消息，远程服务等异构日志数据需要处理，则需要部署多套系统架构来处理不同类型的日志数据，导致系统复杂度增加，且运维成本升高。
技术实现思路
本专利技术的主要目的在于提供一种日志数据处理方法、装置、设备及计算机可...
【技术保护点】
1.一种日志数据处理方法，其特征在于，所述日志数据处理方法包括以下步骤：/n采集多个系统的业务日志数据，并根据多个所述系统的日志数据类型，对各项所述业务日志数据进行解析，生成标准日志数据；/n将各项所述标准日志数据进行聚合，生成聚合数据，并对所述聚合数据进行时区标准化处理和数据补齐处理，得到聚合时序数据；/n统计所述聚合时序数据中的异常关键字，并根据预设监控类型，对所述异常关键字进行预警。/n
【技术特征摘要】
1.一种日志数据处理方法，其特征在于，所述日志数据处理方法包括以下步骤：
采集多个系统的业务日志数据，并根据多个所述系统的日志数据类型，对各项所述业务日志数据进行解析，生成标准日志数据；
将各项所述标准日志数据进行聚合，生成聚合数据，并对所述聚合数据进行时区标准化处理和数据补齐处理，得到聚合时序数据；
统计所述聚合时序数据中的异常关键字，并根据预设监控类型，对所述异常关键字进行预警。
2.如权利要求1所述的日志数据处理方法，其特征在于，所述根据预设监控类型，对所述异常关键字进行预警的步骤包括：
若所述预设监控类型为关键字监控，则将所述异常关键字生成为预警信息进行预警；
若所述预设监控类型为频率监控，则判断在预设时间区间内统计的所述异常关键字的数量是否大于预设阈值；
若所述异常关键字的数量大于预设阈值，则将所述异常关键字生成为预警信息进行预警。
3.如权利要求1所述的日志数据处理方法，其特征在于，所述对所述聚合数据进行时区标准化处理和数据补齐处理，得到聚合时序数据的步骤包括：
获取各项所述业务日志数据的生成时间，并根据各所述生成时间将所述聚合数据划分为第一数据和第二数据，其中各所述第一数据对应的所述生成时间为空值，各所述第二数据对应的所述生成时间为非空值；
获取将各项所述标准日志数据进行聚合的聚合时间，并根据各所述第二数据对应的所述生成时间，对与各所述第二数据对应的所述聚合时间进行调整，以对所述聚合数据进行时区标准化处理；
根据所述当前时间，对与各所述第一数据对应的所述生成时间进行补全，以对所述聚合数据进行数据补全处理，并将与各所述第一数据对应的所述聚合时间调整为补全后的所述生成时间；
将经调整的各所述第一数据和各所述第二数据生成为所述聚合时序数据。
4.如权利要求3所述的日志数据处理方法，其特征在于，所述将经调整的各所述第一数据和各所述第二数据生成为所述聚合时序数据的步骤之后包括：
将生成所述聚合时序数据的各所述第一数据和各所述第二数据按照调整后的时间先后顺序进行存储；
当接收到时序检索请求时，读取所述时序检索请求中携带的时间段，并根据所述时间段，检索所述聚合时序数据中的目标数据；
将所述目标数据输出。
5.如权利要求1所述的日志数据处理方法，其特征在于，所述根据多个所述系统的日志数据类型，对...
【专利技术属性】
技术研发人员：魏帅超，郑明华，钟志明，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。