【技术实现步骤摘要】
本申请涉及日志数据处理领域，具体而言，涉及一种日志数据处理方法、系统、装置及非易失性存储介质。
技术介绍
1、目前在通信业务中，网络告警及全流量监控是维护数据安全及系统安全不可或缺的一个环节。但是目前网络传输的日志文本多为非结构化形式的数据，此类数据不适合由数据库二维表来表现，即使通过flume收集落库，也远远达不到可整合分析的要求。另外在对日志数据进行分析的业务场景中，适合存储在iceberg等支持对大规模数据进行较为复杂的联机分析处理的olap数据库中，但目前flume不支持对olap数据库的直接写入，需要借助kafka中间件，导致数据的写入流程失败概率提高且效率降低。
2、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种日志数据处理方法、系统、装置及非易失性存储介质，以至少解决由于相关技术中无法对非结构化的日志文本进行高效处理导致的无法对日志文本进行整合分析的技术问题。
2、根据本申请实施例的一个方面，提供了一种日志数据处...
【技术保护点】
1.一种日志数据处理方法，其特征在于，包括：
2.根据权利要求1所述的日志数据处理方法，其特征在于，所述日志类型包括JSON日志，按照所述日志类型对应的解析方式处理所述非结构化日志数据，得到结构化日志数据的步骤包括：
3.根据权利要求1所述的日志数据处理方法，其特征在于，所述日志类型包括字串日志，按照所述日志类型对应的解析方式处理所述非结构化日志数据，得到结构化日志数据的步骤包括：
4.根据权利要求1所述的日志数据处理方法，其特征在于，所述按照所述日志类型对应的解析方式处理所述非结构化日志数据的步骤包括：
5.根据权利要...
【技术特征摘要】
1.一种日志数据处理方法，其特征在于，包括：
2.根据权利要求1所述的日志数据处理方法，其特征在于，所述日志类型包括json日志，按照所述日志类型对应的解析方式处理所述非结构化日志数据，得到结构化日志数据的步骤包括：
3.根据权利要求1所述的日志数据处理方法，其特征在于，所述日志类型包括字串日志，按照所述日志类型对应的解析方式处理所述非结构化日志数据，得到结构化日志数据的步骤包括：
4.根据权利要求1所述的日志数据处理方法，其特征在于，所述按照所述日志类型对应的解析方式处理所述非结构化日志数据的步骤包括：
5.根据权利要求1所述的日志数据处理方法，其特征在于，将所述结构化数据存入目标数据表格中包括：
6.根据权利要求1所述的日志数据处理方法，其特征在于，所述日志数据处理方法还包括：
7.根据权利要求6所述的日志数据处理方法，其特征在于，所述日志数据处理方法还包括：
8.一种日志数据处理系统，...
【专利技术属性】
技术研发人员：俞琰，宋波，郭伟锋，韦亦迟，胡佳家，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。