基于Spark Streaming的异常流量检测方法技术

本发明专利技术公开了一种基于Spark Streaming的异常流量检测方法，包括：由数据采集清洗单元采集线上流量、预处理，将处理后的数据发送到分布式消息系统；由数据转移存储单元将分布式消息系统中的数据存储到指定的分布式数据存储单元；由访问参数训练单元建立各请求参数以及参数顺序的参数访问模型；使用参数访问模型进行异常流量检测。本发明专利技术对服务器端的流量进行收集、标准化清洗，将标准化数据传递给kafka消息系统，Spark Streaming通过隐马尔可夫模型建立业务的参数访问模型，由参数访问模型检测异常请求流量，与业务关联紧密，易于扩展。

【技术实现步骤摘要】
基于SparkStreaming的异常流量检测方法
本专利技术涉及信息安全
，具体的说，是一种基于SparkStreaming的异常流量检测方法。
技术介绍
网络的开放性在方便大众的同时带来了恶意访问、恶意攻击。这是各开放网站都面临的问题，怎样防止这些问题，降低服务器恶意载荷，增强服务器的安全是各开放网站的研究重点。当下的处理技术，一般是通过基于规则的WAF进行过滤拦截，这样的处理技术可扩展性不强，与业务相关性不紧密。
技术实现思路
本专利技术的目的在于提供一种基于SparkStreaming的异常流量检测方法，用于解决现有技术中基于WAF进行过滤拦截，可扩展性不强，与业务相关性不紧密的问题。本专利技术通过下述技术方案解决上述问题：一种基于SparkStreaming的异常流量检测方法，包括：步骤A，根据分布式数据存储中的数据创建参数访问模型；步骤B，使用参数访问模型对分布式消息系统中的数据进行异常流量检测。进一步地，所述步骤A具体包括：步骤A1，由数据采集清洗单元采集线上流量，并对采集的流量进行预处理，然后将处理后的数据发送到分布式消息系统；步骤A2，由数据转移存储单元将分布式消本文档来自技高网...

【技术保护点】
1.一种基于Spark Streaming的异常流量检测方法，其特征在于，包括：步骤A，根据分布式数据存储中的数据创建参数访问模型；步骤B，使用参数访问模型对分布式消息系统中的数据进行异常流量检测。

【技术特征摘要】
1.一种基于SparkStreaming的异常流量检测方法，其特征在于，包括：步骤A，根据分布式数据存储中的数据创建参数访问模型；步骤B，使用参数访问模型对分布式消息系统中的数据进行异常流量检测。2.根据权利要求1所述的基于SparkStreaming的异常流量检测方法，其特征在于，所述步骤A具体包括：步骤A1，由数据采集清洗单元采集线上流量，并对采集的流量进行预处理，然后将处理后的数据发送到分布式消息系统；步骤A2，由数据转移存储单元将分布式消息系统中的数据存储到指定的分布式数据存储单元；步骤A3，由访问参数训练单元将分布式数据存储单元的数据使用隐马尔可夫模型建立各请求参数以及参数顺序的参数访问模型。3.根据权利...

【专利技术属性】
技术研发人员：付强，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川,51