【技术实现步骤摘要】
本专利技术涉及实时数据处理，具体涉及一种基于flink的工业互联网安全日志处理系统及方法。
技术介绍
1、工业互联网的发展使得工业控制系统日志数据的生成数量和复杂性不断增加。这些日志数据包含了对工业设备和生产过程的重要信息，但也可能包含潜在的安全威胁。因此，对工业互联网日志数据的实时处理和分析变得至关重要。
2、由于工业互联网安全日志数据产生量大，传统的处理方式无法对所产生的日志数据进行及时的计算以及存储，会使告警时间变久，增加安全隐患造成的风险。因此，如何能缩短获取到日志数据之后及时生成告警的时间变得尤为重要。
3、为了解决这一问题，需要一套实时数据处理系统来及时处理日志数据，以便在最短的时间内判断该条日志行为是否存在安全隐患并及时进行消息推送。
技术实现思路
1、本专利技术的目的在于，针对上述现有技术的不足，提供一种基于flink的工业互联网安全日志处理系统及方法，以解决工业互联网安全日志数据的处理问题。
2、为实现上述目的，本专利技术采用的技术方案如下：
3、第一方面，本专利技术提供了一种基于flink的工业互联网安全日志处理系统，该系统包括：数据采集模块，etl数据预处理模块，数据分析模块以及数据存储模块，
4、数据采集模块用于实时采集不同来源的数据流，并将其传递给下游的etl数据预处理模块；
5、etl数据预处理模块用于将采集到的不同的格式和结构的数据流转化为预设的统一格式；
6、数据分析
7、数据存储模块用于存储系统的数据。
8、可选地，数据采集模块，具体用于：使用分布式实时数据流采集工具flume，定义数据流组件source以及channel；配置数据源和目标关联，在flume配置文件中指定数据来源以及发送目标，并发送至kafka消息队列中。
9、可选地，etl数据预处理模块，具体用于：使用flink连接消息队列中间件kafka，从kafka中获取原始日志数据流，使用map算子对获取到的数据进行归一化结构化处理，将日志数据按照指定格式及字段转换为标准json格式数据并再次写入kafka指定topic1中；使用flink连接所述topic1，获取归一化结构化后的json数据流，使用map、filter算子根据指定要求对数据进行过滤、替换、解密、补全操作，并将处理后的数据写入kafka指定topic2中；使用flink连接所述topic2，获取处理后的数据流，使用map、sink算子对数据进行字段富化并写入elasticsearch进行持久化存储，处理后的数据写入kafka指定topic3。
10、可选地，数据分析模块，具体用于：
11、使用flink连接topic3，获取经过etl数据预处理模块处理后的数据流；
12、利用flink的状态编程机制和checkpoints机制，查询redis将策略表达式保存于mapstate中，并利用checkpoints检查点机制定时查询redis更新有变更或新添加的策略表达式；
13、使用aviator表达式引擎将从连接kafka数据流获取到的etl数据预处理模块处理后的数据与正在使用的策略表达式进行匹配，如匹配成功则表示该数据存在安全隐患；
14、将未匹配成功的数据进行过滤，匹配成功的数据则根据该策略表达式中所需要的输出字段进行赋值操作，并按照字段标准生成告警数据；
15、处理完成的数据继续写入新的topic4，并持久化到elasticsearch数据库用于后续查询分析；
16、对于需要结合历史日志或已生成的告警数据进行分析才能判断是否存在安全隐患的日志数据，使用flink任务进行处理，连接kafka获取日志数据流，根据判断条件查询elasticsearch是否存在满足时间及频次的数据，如存在则进行特殊标记并生成告警数据推送至topic5，同时进行持久化处理。
17、第二方面，本专利技术还提供了一种基于flink的工业互联网安全日志处理方法，该方法用于根据第一方面所述的基于flink的工业互联网安全日志处理系统，该方法包括：
18、使用分布式实时数据流采集工具flume，定义数据流组件source以及channel；
19、配置数据源和目标关联，在flume配置文件中指定数据来源以及发送目标，并发送至kafka消息队列中；
20、使用flink连接消息队列中间件kafka，从kafka中获取原始日志数据流，使用map算子对获取到的数据进行归一化结构化处理，将日志数据按照指定格式及字段转换为标准json格式数据并再次写入kafka指定topic1中；
21、使用flink连接topic1，获取归一化结构化后的json数据流，使用map、filter算子根据指定要求对数据进行过滤、替换、解密、补全操作，并将处理后的数据写入kafka指定topic2中。
22、使用flink连接topic2，获取处理后的数据流，使用map、sink算子对数据进行字段富化并写入elasticsearch进行持久化存储，处理后的数据写入kafka指定topic3；
23、使用flink连接topic3，获取经过etl数据预处理模块处理后的数据流；
24、利用flink的状态编程机制和checkpoints机制，查询redis将策略表达式保存于mapstate中，并利用checkpoints检查点机制定时查询redis更新有变更或新添加的策略表达式；
25、使用aviator表达式引擎将从连接kafka数据流获取到的etl数据预处理模块处理后的数据与正在使用的策略表达式进行匹配，如匹配成功则表示该数据存在安全隐患；
26、将未匹配成功的数据进行过滤，匹配成功的数据则根据该策略表达式中所需要的输出字段进行赋值操作，并按照字段标准生成告警数据；
27、处理完成的数据继续写入新的topic4，并持久化到elasticsearch数据库用于后续查询分析；
28、对于需要结合历史日志或已生成的告警数据进行分析才能判断是否存在安全隐患的日志数据，使用flink任务进行处理，连接kafka获取日志数据流，根据判断条件查询elasticsearch是否存在满足时间及频次的数据，如存在则进行特殊标记并生成告警数据推送至topic5，同时进行持久化处理。
29、本专利技术的有益效果包括：
30、本专利技术提供的基于flink的工业互联网安全日志处理系统数据采集模块，etl数据预处理模块，数据分析模块以及数据存储模块，数据采集模块用于实时采集不同来源的数据流，并将其传递给下游的etl数据预处理模块；etl数据预处理模块用于将采集到的不同的格式和结构的数据流转化为预设的统一格式；数据分析模块用于对经etl数据预处理模块处理本文档来自技高网...
【技术保护点】
1.一种基于Flink的工业互联网安全日志处理系统，其特征在于，
2.根据权利要求1所述的基于Flink的工业互联网安全日志处理系统，其特征在于，所述数据采集模块具体用于：使用分布式实时数据流采集工具flume，定义数据流组件source以及channel；配置数据源和目标关联，在flume配置文件中指定数据来源以及发送目标，并发送至kafka消息队列中。
3.根据权利要求2所述的基于Flink的工业互联网安全日志处理系统，其特征在于，所述etl数据预处理模块，具体用于：使用Flink连接消息队列中间件kafka，从kafka中获取原始日志数据流，使用map算子对获取到的数据进行归一化结构化处理，将日志数据按照指定格式及字段转换为标准json格式数据并再次写入kafka指定topic1中；使用Flink连接所述topic1，获取归一化结构化后的json数据流，使用map、filter算子根据指定要求对数据进行过滤、替换、解密、补全操作，并将处理后的数据写入kafka指定topic2中；使用Flink连接所述topic2，获取处理后的数据流，使用map、si
4.根据权利要求3所述的基于Flink的工业互联网安全日志处理系统，其特征在于，所述数据分析模块，具体用于：
5.一种基于Flink的工业互联网安全日志处理方法，其特征在于，所述方法用于根据权利要求1至4中任一项所述的基于Flink的工业互联网安全日志处理系统，所述方法包括：
...【技术特征摘要】
1.一种基于flink的工业互联网安全日志处理系统，其特征在于，
2.根据权利要求1所述的基于flink的工业互联网安全日志处理系统，其特征在于，所述数据采集模块具体用于：使用分布式实时数据流采集工具flume，定义数据流组件source以及channel；配置数据源和目标关联，在flume配置文件中指定数据来源以及发送目标，并发送至kafka消息队列中。
3.根据权利要求2所述的基于flink的工业互联网安全日志处理系统，其特征在于，所述etl数据预处理模块，具体用于：使用flink连接消息队列中间件kafka，从kafka中获取原始日志数据流，使用map算子对获取到的数据进行归一化结构化处理，将日志数据按照指定格式及字段转换为标准json格式数据并再次写入kafka指定t...
【专利技术属性】
技术研发人员：付子，
申请(专利权)人：上海工业自动化仪表研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。