【技术实现步骤摘要】
本公开涉及数据处理，尤其涉及一种日志数据处理方法及装置、电子设备和存储介质。
技术介绍
1、大数据技术是指使用各种工具和技术来收集、处理、分析和可视化大量结构化和非结构化数据的学科和过程,通常涉及从多个来源收集数据、清洗和集成数据、进行统计分析、挖掘数据模式和趋势以及将结果呈现为易于理解的可视化界面。大数据技术的应用领域非常广泛,包括金融、医疗保健、零售、制造、交通等等。通过使用大数据技术,企业和组织可以更好地了解他们的客户和用户,优化业务流程、改进产品和服务,并发现新的商业机会。
2、在经济数字化高速发展的进程中，大数据应用于挖掘分析工作已经成为不可避免的趋势。为了提升挖掘分析工作质量与效率，我们需要有效控制和提高数据的质量。目前，许多企业都认识到了数据的重要性，并尝试通过数据治理方法来有效的控制数据流，但由于缺乏有效的管理机制和技术手段等因素，在数据接入的过程中，产生了大量的垃圾数据。数据管理和使用流程不清晰，是造成数据质量问题的重要因素。
3、综上所述，如何通过提升数据质量从而实现提升工作质量和效率是急需解决的问题。
技术实现思路
1、有鉴于此，本公开实施例提供了一种日志数据处理方法，以解决现有技术中，数据质量差、分析效率低等问题。
2、第一方面，本公开实施例提供了一种日志数据处理方法，采用如下技术方案：
3、获取日志数据；
4、对所述日志数据中的字段进行预处理；
5、对预处理后的日志数据中待转换的字段进
6、对数据转换后的日志数据中的关键字段信息进行扩展，得到扩展后的日志数据；
7、保存扩展后的日志数据至数据库，以供数据分析使用。
8、作为可选的实施方式，所述获取日志数据包括：
9、定时在预设的缓存数据库获取最近时间段内的实时日志数据，或从集群数据库获取历史日志数据。
10、作为可选的实施方式，对所述日志数据中的字段进行预处理包括以下方式中的一种或多种：
11、判断所述日志数据中的字段是否合规，并将不合规的字段丢弃；
12、对所述日志数据中的字段进行去重；
13、对所述日志数据中的字段进行截取获得需要的字符串；
14、通过逻辑判断对所述日志数据中的字段进行过滤。
15、作为可选的实施方式，对预处理后的日志数据中待转换的字段进行数据转换包括：
16、根据提取规则提取待转换的字段；
17、使用内置函数对待转换的字段中的通用字段进行转换。
18、作为可选的实施方式，对预处理后的日志数据中待转换的字段进行数据转换还包括：
19、根据业务转换关键字自定义函数，使用自定义函数对待转换的字段中的特殊字段进行转换。
20、作为可选的实施方式，对数据转换后的日志数据中的关键字段信息进行扩展包括：
21、根据业务种类创建维度表，所述维度表包含多个扩展字段信息；
22、根据所述日志数据的业务种类，确定对应的维度表，并将所述日志数据与所述维度表关联；
23、根据从所述日志数据提取到的关键字段信息以及关联的维度表，得到扩展字段信息；
24、根据所述扩展字段信息，对所述日志数据中的字段信息进行扩展，得到最终字段信息。
25、作为可选的实施方式，所述保存扩展后的日志数据至数据库包括：
26、将扩展后的日志数据存储至缓存数据库或集群数据库。
27、第二方面，本公开实施例的还提供了一种日志数据处理装置，包括：
28、获取单元，用于获取日志数据；
29、预处理单元，用于对所述日志数据中的字段进行预处理；
30、数据转换单元，用于对预处理后的日志数据中待转换的字段进行数据转换；
31、扩展单元，用于对数据转换后的日志数据中的关键字段信息进行扩展，得到扩展后的日志数据；
32、保存单元，用于保存扩展后的日志数据至数据库，以供数据分析使用。
33、第三方面，本公开实施例还提供了一种电子设备，采用如下技术方案：
34、所述电子设备包括：
35、至少一个处理器；以及，
36、与所述至少一个处理器通信连接的存储器；其中，
37、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上任一所述的日志数据处理方法。
38、第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行以上任一所述的日志数据处理方法。
39、综上所述，本公开实施例提供的日志数据处理方法，针对日志数据进行异常值处理、数据特征转换、智能模型关联和数据结果处理，从而实现对数据质量的有效提升，最终输出结果不仅增强了数据的可读性，也提升了分析结果的准确性。
40、通过对数据进行质量检查，已确保数据质量的可靠性。采用异常值检查技术，对数据进行预处理。
41、根据数据具备的不同特征，采用不同的数据特征转换方式，可以根据实际需求灵活调整模型的转换参数，从而达到数据准确转换。
42、根据数据特征和相关业务，采取不同的处理方式，通过智能模型关联技术，数据内容中的字段信息与维度表中的字段进行匹配，得到表中扩转字段信息。
43、将最终处理的数据结果记录下来，以便进行数据的定期更新和改进。
44、上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
本文档来自技高网...【技术保护点】
1.一种日志数据处理方法，其特征在于，包括：
2.根据权利要求1所述的日志数据处理方法，其特征在于，所述获取日志数据包括：
3.根据权利要求1所述的日志数据处理方法，其特征在于，对所述日志数据中的字段进行预处理包括以下方式中的一种或多种：
4.根据权利要求1所述的日志数据处理方法，其特征在于，对预处理后的日志数据中待转换的字段进行数据转换包括：
5.根据权利要求4所述的日志数据处理方法，其特征在于，对预处理后的日志数据中待转换的字段进行数据转换还包括：
6.根据权利要求1所述的日志数据处理方法，其特征在于，对数据转换后的日志数据中的关键字段信息进行扩展包括：
7.根据权利要求1所述的日志数据处理方法，其特征在于，所述保存扩展后的日志数据至数据库包括：
8.一种日志数据处理装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1-7任意一项所
...【技术特征摘要】
1.一种日志数据处理方法，其特征在于，包括：
2.根据权利要求1所述的日志数据处理方法，其特征在于，所述获取日志数据包括：
3.根据权利要求1所述的日志数据处理方法，其特征在于，对所述日志数据中的字段进行预处理包括以下方式中的一种或多种：
4.根据权利要求1所述的日志数据处理方法，其特征在于，对预处理后的日志数据中待转换的字段进行数据转换包括：
5.根据权利要求4所述的日志数据处理方法，其特征在于，对预处理后的日志数据中待转换的字段进行数据转换还包括：
【专利技术属性】
技术研发人员：林皓，毕永东，马圣，邓智，王能，
申请(专利权)人：北京北信源软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。