一种数据预处理方法、装置、设备和计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据预处理方法、装置、设备和计算机可读存储介质，包括：采集日志数据；所述日志数据包括网络安全设备日志数据、数据库日志数据、操作系统日志数据和应用系统日志数据；对所述日志数据进行拆解，得到结构化数据；所述结构化数据包含对象特征；根据预设关联信息库对所述对象特征进行筛选，得到审计数据。本发明专利技术通过对不同类型的日志数据进行数据采集，解决了现有数据预处理方法对数据采集不够全面的问题。以及通过将日志数据拆解为结构化数据，从中获取对象特征，通过对对象特征的筛选，保留了审计数据，剔除了无用数据，解决了无用数据堆积的技术问题。

【技术实现步骤摘要】
一种数据预处理方法、装置、设备和计算机可读存储介质
本专利技术涉及数据处理
，尤其涉及一种数据预处理方法、装置、设备和计算机可读存储介质。
技术介绍
目前，随着数据安全问题的日渐凸显和数据安全相关法律法规的接连出台，数据安全正成为企业安全体系中的关键一环，越来越得到企业决策层的高度重视。在保护企业数据安全过程中，数据安全审计则起到着重要的作用。数据安全审计通过收集企业运营过程中的重要数据和敏感数据的相关操作信息来对数据安全风险进行预警、研判和分析。但是现有阶段的数据安全审计系统在数据收集和处理上却存在如下不足：对数据采集不够全面，难以覆盖到重要数据和敏感数据的所有留存载体，包括：网络、终端、数据库和应用系统，存在采集盲区；对于采集到的数据一般都有进行数据清洗和数据转换等数据预处理操作，但是却没有对数据开展价值分析与预选操作，导致无用数据的堆积，给审计系统造成较大的数据处理压力。
技术实现思路
本专利技术提供了一种数据预处理方法、装置、设备和计算机可读存储介质，用于解决现有数据预处理方法对数据采集不够全面，没有对本文档来自技高网...

【技术保护点】
1.一种数据预处理方法，其特征在于，包括：/n采集日志数据；所述日志数据包括网络安全设备日志数据、数据库日志数据、操作系统日志数据和应用系统日志数据；/n对所述日志数据进行拆解，得到结构化数据；所述结构化数据包含对象特征；/n根据预设关联信息库对所述对象特征进行筛选，得到审计数据。/n

【技术特征摘要】
1.一种数据预处理方法，其特征在于，包括：
采集日志数据；所述日志数据包括网络安全设备日志数据、数据库日志数据、操作系统日志数据和应用系统日志数据；
对所述日志数据进行拆解，得到结构化数据；所述结构化数据包含对象特征；
根据预设关联信息库对所述对象特征进行筛选，得到审计数据。


2.根据权利要求1所述的方法，其特征在于，所述采集日志数据的步骤，包括：
基于预设系统日志syslog协议接收预设网络安全设备发送的所述网络安全设备日志数据。


3.根据权利要求2所述的方法，其特征在于，所述采集日志数据的步骤，还包括：
接收预设软件探针发送的所述数据库日志数据、所述操作系统日志数据和所述应用系统日志数据。


4.根据权利要求1所述的方法，其特征在于，所述对所述日志数据进行拆解，得到结构化数据的步骤，包括：
对所述日志数据进行数据清洗，从所述日志数据中提取空值和无效值，并删除所述空值和无效值，得到已清洗日志数据；
对所述已清洗日志数据进行拆解，得到结构化数据。


5.一种数据预处理装置，其特征在于，包括：
日志数据采集模块，用于采集日志数据；所述日志数据包括网络安全设备日志数据、数据库日志数据、操作系统日志数据和应用系统日志数据；
拆解模块，用于对所述日志数据进行拆解，得到结构化数据；所...

【专利技术属性】
技术研发人员：陈昊，丘惠军，孙强强，连耿雄，陈霖，许爱东，匡晓云，
申请(专利权)人：深圳供电局有限公司，南方电网科学研究院有限责任公司，
类型：发明
国别省市：广东;44