一种日志数据的清洗方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例涉及一种日志数据的清洗方法、装置、电子设备和存储介质，包括：获取待清洗的日志数据；对日志数据进行切分，获得第一类型数据和第二类型数据；分别对第一类型数据和第二类型数据进行清洗，以获得日志清洗字段；将日志清洗字段存储到数据库中；本发明专利技术实施例对待清洗的日志数据进行切分，得到不同类型的日志数据；对不同类型的日志数据采用不同的方法进行清洗，得到日志清洗字段；不仅提高了日志数据清洗的准确性，并且将日志清洗字段存储到数据库中，为用户在后续使用过程中对清洗字段进行查询、分析提供了方便。

A cleaning method, device, electronic equipment and storage medium for log data

【技术实现步骤摘要】
一种日志数据的清洗方法、装置、电子设备和存储介质
本专利技术实施例涉及数据清洗
，具体涉及一种日志数据的清洗方法、装置、电子设备和存储介质。
技术介绍
现有技术中，在对日志数据清洗的过程中，考虑到用json直接来取，在这个过程中专利技术人发现：日志数据并不仅仅是标准的json，可能包括多种类型的日志数据，若采用json对日志数据进行取，会导致清洗出来的数据不准确。
技术实现思路
本专利技术的至少一个实施例提供了一种日志数据的清洗方法、装置、电子设备和存储介质，解决了现有技术中清洗不准确的技术问题。第一方面，本专利技术实施例提出一种日志数据的清洗方法，包括：获取待清洗的日志数据；对日志数据进行切分，获得第一类型数据和第二类型数据；分别对第一类型数据和第二类型数据进行清洗，以获得日志清洗字段；将日志清洗字段存储到数据库中。在一些实施例中，上述方法中分别对第一类型数据和第二类型数据进行清洗，以获得日志清洗字段包括：将第一类型数据构建成至少一个数组，以及从第二类型本文档来自技高网...

【技术保护点】
1.一种日志数据的清洗方法，其特征在于，所述方法包括：/n获取待清洗的日志数据；/n对所述日志数据进行切分，获得第一类型数据和第二类型数据；/n分别对所述第一类型数据和第二类型数据进行清洗，以获得日志清洗字段；/n将所述日志清洗字段存储到数据库中。/n

【技术特征摘要】
1.一种日志数据的清洗方法，其特征在于，所述方法包括：
获取待清洗的日志数据；
对所述日志数据进行切分，获得第一类型数据和第二类型数据；
分别对所述第一类型数据和第二类型数据进行清洗，以获得日志清洗字段；
将所述日志清洗字段存储到数据库中。


2.根据权利要求1所述的清洗方法，其特征在于，所述分别对所述第一类型数据和第二类型数据进行清洗，以获得日志清洗字段包括：
将所述第一类型数据构建成至少一个数组，以及从所述第二类型数据中提取至少一个关键字对。


3.根据权利要求2所述的清洗方法，其特征在于，所述从第二类型数据中提取至少一个关键字对包括：
根据第二类型数据中的标点符号，从第二类型数据中提取至少一个关键字段，以及与所述关键字段对应的关键值，所述关键字段与所述关键值构成一个关键字对。


4.根据权利要求2所述的清洗方法，其特征在于，所述从所述第二类型数据中提取至少一个关键字对具体为：
通过哈希命令从第二类型数据中提取至少一个关键字对，并将所述关键字对存储到哈希图中。


5.一种日志数据的清洗装置，其特征在于，所述装置包括：
获取模块，用于获取待清洗的日志数据；
切分模块：用于对所述日志数据进行切分，获得第一类型数据和第二类型数据；
清洗模块：用于分...

【专利技术属性】
技术研发人员：姜昆，尹子杰，王可攀，彭喜喜，
申请(专利权)人：加和北京信息科技有限公司，
类型：发明
国别省市：北京;11