一种数据预分析方法及装置制造方法及图纸

一种数据预分析方法及装置，包括：实时获取流处理模块中数据源主题消息站的目标流数据；并对目标流数据进行富化泛化处理，得到处理数据；然后通过预先构建的审计模型对处理数据进行审计处理，得到审计结果；再根据审计结果判断处理数据是否包括触发告警的数据；如果是，则将触发告警的数据发送到流处理模块的告警数据主题消息站；最后发送包括触发告警的数据的告警提示信息，能够实时进行数据预分析并进行告警反馈，及时解决侵害网络安全的数据，从而保证网络数据安全。从而保证网络数据安全。从而保证网络数据安全。

【技术实现步骤摘要】
一种数据预分析方法及装置


[0001]本申请涉及数据处理
，具体而言，涉及一种数据预分析方法及装置。

技术介绍

[0002]目前，随着计算机和网络应用的日益广泛，在实际使用海量数据(即大数据)之前对其进行预分析变得越来越重要。现有的数据与分析方法，通常按照天粒度进行数据预分析，当存在需要及时处理的数据时，例如涉敏类违规等数据，按天粒度进行的数据预分析会出现时间差，从而无法及时解决侵害网络安全的数据，进而影响网络数据安全。

技术实现思路

[0003]本申请实施例的目的在于提供一种数据预分析方法及装置，能够实时进行数据预分析并进行告警反馈，及时解决侵害网络安全的数据，从而保证网络数据安全。
[0004]本申请实施例第一方面提供了一种数据预分析方法，包括：
[0005]实时获取流处理模块中数据源主题消息站的目标流数据；
[0006]对所述目标流数据进行富化泛化处理，得到处理数据；
[0007]通过预先构建的审计模型对所述处理数据进行审计处理，得到审计结果；
[0008]根据所述审计结果判断本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据预分析方法，其特征在于，包括：实时获取流处理模块中数据源主题消息站的目标流数据；对所述目标流数据进行富化泛化处理，得到处理数据；通过预先构建的审计模型对所述处理数据进行审计处理，得到审计结果；根据所述审计结果判断所述处理数据是否包括触发告警的数据；如果是，则将所述触发告警的数据发送到所述流处理模块的告警数据主题消息站，并将所述触发告警的数据存储至目标数据库的告警索引中；发送包括所述触发告警的数据的告警提示信息。2.根据权利要求1所述的数据预分析方法，其特征在于，所述实时获取流处理模块中数据源主题消息站的目标流数据，包括：实时获取待处理的日志数据；对所述日志数据进行规范化处理，得到数据源；采集所述数据源到流处理模块的数据源主题消息站，得到目标流数据。3.根据权利要求2所述的数据预分析方法，其特征在于，所述对所述日志数据进行规范化处理，得到数据源，包括：通过第一预设算子将所述日志数据分割成为多条，得到多条分割数据；通过第二预设算子对所述多条分割数据分别进行标准化处理，得到多个标准化分割数据；通过第三预设算子将所述多个标准化分割数据进行合并处理，得到合并数据；通过第四预设算子对所述合并数据进行属性修改配置处理，得到数据源，并通过第五预设算子将所述数据源存储到预先配置的目标路径下。4.根据权利要求1所述的数据预分析方法，其特征在于，在所述实时获取流处理模块中数据源主题消息站的目标流数据之前，所述方法还包括：获取用于动态配置模型的配置参数和模型算子集；根据所述配置参数生成参数文件；根据所述参数文件和预设的人工智能算法把所述模型算子集中的各个算子串成一个工作流，得到审计模型。5.根据权利要求1所述的数据预分析方法，其特征在于，在所述发送包括所述触发告警的数据的告警提示信息之后，还包括：监听所述告警数据主题消息站是否存在告警数据；如果是，则实时读取所述触发告警的数据；触发结果反馈机制将所述触发告警的数据发送到所述流处理模块的特定主体消息...

【专利技术属性】
技术研发人员：柳静，
申请(专利权)人：北京天融信网络安全技术有限公司北京天融信科技有限公司北京天融信软件有限公司，
类型：发明
国别省市：