【技术实现步骤摘要】
日志数据添加方法、系统、计算机设备和存储介质
本专利技术涉及数据处理
，尤其涉及一种日志数据添加方法、系统、计算机设备和存储介质。
技术介绍
目前的日志管理平台都是直接将采集到的原始日志进行存储，或是通过正则解析、分隔符的方式对日志消息进行简单的预处理，但是无法从外部的数据源添加相关的信息到原始的日志。如果日志事件的发生依赖于外部的数据源信息，这样的日志事件在分析原因的时候会显得有些捉襟见肘。如果想要通过子系统的条目来分类日志，由于原始日志中一般只包含可区分的登录服务器的用户名虽然用户名可以映射到不同的子系统，但只存储原始日志的话会难以实现对子系统根据日志进行分类。
技术实现思路
有鉴于此，有必要针对日志事件的发生依赖于外部的数据源信息时，无法从外部的数据源添加相关的信息到原始日志的问题，提供一种日志数据添加方法、系统、计算机设备和存储介质。一种日志数据添加方法，包括：对存储在分布式日志处理平台中的原始日志进行字段解析，提取出多项有效字段信息；获取查找表转换器，所述查找表转换器是一包含有每项所述有效字段信息和外部数据源之间的映射关系的字段映射信息表，所述外部数据...
【技术保护点】
1.一种日志数据添加方法，其特征在于，包括：对存储在分布式日志处理平台中的原始日志进行字段解析，提取出多项有效字段信息；获取查找表转换器，所述查找表转换器是一包含有每项所述有效字段信息和外部数据源之间的映射关系的字段映射信息表，所述外部数据源存储在所述分布式日志处理平台的数据库中；将所述有效字段信息与所述查找表转换器依次进行匹配，当所述查找表转换器中含有所述有效字段信息时，将所述有效字段信息映射的所述外部数据源中的数据信息添加到所述原始日志中，将添加有所述数据信息的原始日志存储在所述分布式日志处理平台的数据库中。
【技术特征摘要】
1.一种日志数据添加方法，其特征在于，包括：对存储在分布式日志处理平台中的原始日志进行字段解析，提取出多项有效字段信息；获取查找表转换器，所述查找表转换器是一包含有每项所述有效字段信息和外部数据源之间的映射关系的字段映射信息表，所述外部数据源存储在所述分布式日志处理平台的数据库中；将所述有效字段信息与所述查找表转换器依次进行匹配，当所述查找表转换器中含有所述有效字段信息时，将所述有效字段信息映射的所述外部数据源中的数据信息添加到所述原始日志中，将添加有所述数据信息的原始日志存储在所述分布式日志处理平台的数据库中。2.根据权利要求1所述的日志数据添加方法，其特征在于，所述对存储在分布式日志处理平台中的原始日志进行字段解析，包括：当所述原始日志为结构化日志类型时，采用正则表达式、分隔符的方式或json提取器对所述原始日志进行字段解析；当所述原始日志为非结构化日志类型时，采用grok表达式对所述原始日志进行字段解析。3.根据权利要求1所述的日志数据添加方法，其特征在于，所述有效字段信息包括IP地址、主机名信息、登录服务器的用户名、员工编号、API数据接口信息、URL网址信息或返回状态码中的至少一项信息；所述外部数据源是多项csv格式的查找信息表，所述外部数据源包括IP地理位置信息表、IP对应公司信息表、资产信息表、员工信息表、接口用户信息、网站信息或状态码查询表中的至少一张查找信息表；所述有效字段信息中的所述IP地址与所述外部数据源中的所述IP地理位置信息表、所述IP对应公司信息表均具有映射关系，所述有效字段信息中的所述主机名信息与所述外部数据源中的所述资产信息表具有映射关系，所述有效字段信息中的登录服务器的用户名和员工编号与所述外部数据源中的所述员工信息表均具有映射关系，所述有效字段信息中的所述API数据接口信息与所述外部数据源中的所述接口用户信息具有映射关系，所述有效字段信息中的所述URL网址信息与所述外部数据源中的所述网站信息具有映射关系，所述有效字段信息中的所述返回状态码与所述外部数据源中的所述状态码查询表具有映射关系。4.根据权利要求1所述的日志数据添加方法，其特征在于，所述获取查找表转换器前，还包括对所述查找表转换器和所述外部数据源之间建立映射关系：通过配置界面上的输入字段获取配置信息，所述配置界面预设在所述分布式日志处理平台上，所述输入字段预设在所述配置界面上，所述配置信息包括有效字段信息、查找表ID信息、需添加字段信息，将获取的所述配置信息存储在所述字段映射信息表中；通过所述配置界面上的上传接口获取外部数据源，并存储在所述数据库中，所述上传接...
【专利技术属性】
技术研发人员：曹越，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。