【技术实现步骤摘要】
一种基于响应式的网络流量高速分析方法及系统
[0001]本专利技术涉及网络数据分析
，尤其是涉及一种基于响应式的网络流量高速分析方法及系统。
技术介绍
[0002]随着信息化进程、数字化经济的高速发展，网络流量数据量呈井喷式增长，已经具备海量规模、多样数据类型、低价值密度等特征。从资源方面来看，网络流量是企业和社会关注的重要战略资源，网络流量中蕴含的信息对于数据安全、网络安全、企业发展至关重要，因此有必要对网络流量进行全面分析，确保海量的网络流量成为宝贵的数据资产。
[0003]网络流量分析可以使用Flink、Spark等热门的大数据分析引擎，但是使用此类工具存在两个弊端。第一方面，编程模型过于复杂，难以制定编程规范规则，对数据分析人员有较高要求，需要具备Java、Scala或Python等语言编程基础、熟悉乃至精通相关框架、具备代码调优等能力。其次，Flink、Spark等框架是重量级的架构，对硬件要求高，且对网络流量分析而言，存在功能冗余。
技术实现思路
[0004]本专利技术主要是解决现有...
【技术保护点】
【技术特征摘要】
1.一种基于响应式的网络流量高速分析方法，其特征在于：包括以下步骤：S1.预先设置各种数据类型的算子，根据对数据的处理逻辑建立映射规则和计算规则，所述映射规则和计算规则分别包括存储指定数据处理逻辑的第一操作元集和第二操作元集；S2.从网络流量中读取设定类型的数据，对每个类型数据加载相应映射规则，根据第一操作元集调用相应的算子对数据进行规范化转换，输出映射数据结果；S3.根据映射规则加载与之相匹配的计算规则，根据算子类型对第二操作元集进行数据缓存、分组排序和顺序优化，生成策略集；S4.根据策略集调用相应的算子对映射数据结果进行分析处理，分析处理结果进行过滤、类型转换，并合并为键值对；S5.数据入库，根据分析处理结果进行敏感数据报警。2.根据权利要求1所述的一种基于响应式的网络流量高速分析方法，其特征是所述的预先设置各种数据类型的算子，包括：根据数据操作的不同方式，对算子进行分类，并通过映射规则和计算规则的字段进行标识。3.根据权利要求1所述的一种基于响应式的网络流量高速分析方法，其特征是所述的根据对数据的处理逻辑建立映射规则和计算规则，包括：为每种类型数据建立映射规则和计算规则，映射规则和计算规则都包括有通用字段和数据操作字段，数据操作字段分别对应第一操作元集和第二操作元集；第一操作元由多个构成具体操作逻辑的字段构成，包括选择指定数据，对数据进行分类标识，选择与数据分类对应的算子，结合数据分类和算子设定阈值，处理后命名，处理后保存类型；第二操作元由多个构成具体操作逻辑的字段构成，包括选择指定数据，对数据进行分类标识，选择与数据分类对应的算子，结合数据分类和算子设定阈值，选择操作步骤次序，处理后命名，处理后赋值。4.根据权利要求1或2或3所述的一种基于响应式的网络流量高速分析方法，其特征是所述的从网络流量中读取设定类型的数据，包括：根据预设的读取数据类型，从消息队列读取相应的格式化数据，将读取到的数据解析成键值对；所述的对每个类型数据加载相应映射规则，包括：对加载的映射规则字段进行判断，判断映射规则状态是否不为下线，以及操作数据类型是否与读取数据类型匹配，若都满足则将读取的数据加载该映射规则，生成目标映射数据，目标映射数据与映射规则为一对一关系。5.根据权利要求3所述的一种基于响应式的网络流量高速分析方法，其特征是所述的根据第一操作元对数据进行规范化转换，输出映射数据结果，包括：根据第一操作元选择指定数据，对数据进行分类标识，选择与数据分类对应的操作方法，根据数据分类和操作方法调用底层函数对指定数据进行处理，处理后数据重命名并根据设定输出数据类型放到键值域或值域，最终得到包括键值域和值域的二元元组。6.根据权利要求3所述的一种基于响应式的网络流量高速分析方法，其特征是所述的
根据映射规则加载与之相匹配的计算规则，包括：对加载的计算规则字段进行判断，判断计算规则数据版本与映射规则数据版本是否相等，以及计算规则状态是否不为下线...
【专利技术属性】
技术研发人员：章建聪，侯祖旭，董平，巩勋，董恩泽，王思，
申请(专利权)人：华信咨询设计研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。