离线统计安全数据的方法、系统、存储介质和电子设备技术方案

技术编号:43200903 阅读:28 留言:0更新日期:2024-11-01 20:19
本发明专利技术涉及离线统计安全数据的方法、系统、存储介质和电子设备,包括以下步骤:收集源数据;源数据包括:日志类数据、流量类数据以及业务类数据中的任意一种或者多种;采用预设工具对源数据进行批处理;将处理后的数据导入列式数据库中;对列式数据库中的数据进行分层处理,获得分层数据;对分层数据建立物化视图并存储。本发明专利技术通过采用列式数据库对数据进行存储,同时建立物化视图,可以实现高效的数据存储和查询,同时还具有灵活的数据处理和分析能力,通过列式数据库的分布式架构,可以轻松地扩展以处理更大的数据量,同时使用物化视图还可以简化数据处理和分析的过程,提高了系统的可维护性。

【技术实现步骤摘要】

本专利技术涉及流量数据处理的,更具体地说,涉及一种离线统计安全数据的方法、系统、存储介质和电子设备


技术介绍

1、随着网络安全威胁的日益增加,对流量类安全日志的处理和分析变得越来越重要。传统的处理办法主要包括:

2、实时分析法:通过使用网络流量分析工具,实时捕获和分析网络流量,以识别潜在的安全威胁。这种方法虽然能够快速响应,但对于大量数据的处理能力有限,且实时性会影响系统性能。

3、日志管理系统法:使用日志管理系统收集、存储和分析日志数据。这些系统可以对日志数据进行实时分析,也可以进行离线分析,以提供更深入的安全洞察。然而,这些系统的处理能力受限于其配置和资源,且可能需要大量的存储空间。

4、数据库审计和api(application programming interface,代表各类预先定义的函数接口)审计法:通过数据库审计和api审计工具,记录和分析数据库操作和api调用的日志。这些工具可以帮助识别异常行为和潜在的安全漏洞。然而,这些工具通常需要与应用程序紧密集成,且可能会增加系统的复杂性和资源消耗。

...

【技术保护点】

1.一种离线统计安全数据的方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的离线统计安全数据的方法,其特征在于,所述预设工具包括:Apache Flink数据处理工具或者Apache Spark数据处理工具。

3.根据权利要求2所述的离线统计安全数据的方法,其特征在于,所述采用预设工具对所述源数据进行批处理包括:

4.根据权利要求1所述的离线统计安全数据的方法,其特征在于,所述对所述分层数据建立物化视图并存储包括:

5.根据权利要求1所述的离线统计安全数据的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的离线...

【技术特征摘要】

1.一种离线统计安全数据的方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的离线统计安全数据的方法,其特征在于,所述预设工具包括:apache flink数据处理工具或者apache spark数据处理工具。

3.根据权利要求2所述的离线统计安全数据的方法,其特征在于,所述采用预设工具对所述源数据进行批处理包括:

4.根据权利要求1所述的离线统计安全数据的方法,其特征在于,所述对所述分层数据建立物化视图并存储包括:

5.根据权利要求1所述的离线统计安全数据的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的离线统计安全数据的方法,其特征在于,所述对所述...

【专利技术属性】
技术研发人员:王春霖朱旭东冯伟垚梁云松朱晓欣
申请(专利权)人:中广核智能科技深圳有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1