一种基于大数据计算的网络保护的系统技术方案

本实用新型专利技术公开了一种基于大数据计算的网络保护的系统，括数据采集模块、数据分析模块、动态规则生成模块、规则推送模块，该系统可以智能的、动态的生成安全防护规则，可以快速面对日益复杂的网络安全状况，减少人工干预和人工错误，减少网络安全防御成本，并且能发现人工不容易的异常(0 day攻击)，提高安全防御效果。

【技术实现步骤摘要】

本技术涉及计算机网络安全领域，尤其是涉及一种基于大数据计算的网络保护的系统。
技术介绍
随着互联网越来越深入到社会经济、生活的方面，计算机的网络安全问题显得愈发突出。目前在计算机网络安全领域，大都采取基于安全规则的网络保护方法。基于安全规则的网络保护方法通常针对每一种已有的安全威胁类型制定具体的安全规则，并使用这些安全规则的组合来防范各种网络攻击。但这种基于安全规则的网络保护方法存在着明显的缺陷。首先，这些安全规则都是相对静态的，不能随着攻击手段的变化而自动进行调整，而是需要管理人员手动进行规则的更新和维护;其次，安全规则的制定只能依据已知的攻击方式和漏洞，而对于未知的攻击方式和还没有补丁的漏洞进行的攻击(Oday攻击)则完全没有办法防御;第三，随着攻击和漏洞的类型的不断增加，安全规则的组合则越来越复杂，手动进行安全规则的维护不仅费时费力，并且极容易出错而导致安全策略失效。
技术实现思路
针对上述缺陷和不足，本技术的目的在于提供一种基于大数据计算的网络保护的系统，可以动态的发现各种攻击方式和漏洞，即时进行防护。所述的基于大数据计算的网络保护的系统包括如下步骤:(I)从用户服务器实例云中采集大量服务器(各种服务程序)访问数据，这里的大量是指比如1000台以上各种服务程序服务器所收集的数据，包括包头部、应用程序头部、请求的负载部分。优选的数据有目标地址和请求的负载参数值部分。(2)将收集到的各种服务程序访问数据规则化，移除噪音数据，规则化的内容包括以键值对的方式格式化请求的负载部分，并按照服务程序协议要求剔除不合法头部，移除噪音数据，达到提高数据异常处理效率和准确性的目的。(3)对采集的数据做异常分析，找到其中的异常数据集合，并生成安全规则。异常数据是指访问的数据的安全特征明显和其他数据不一致，安全规则是指能匹配这种安全特征安全配置，它能被以入侵阻拦系统(IPS)或者入侵监测系统(IDS)使用的方式生成。异常分析的的结果和数据量的大小有直接的关系，随着数据量的增加异常的准确率也增加。使用大数据对异常分析的准确性有明显的提高。优选的异常分析的方法有K-近邻算法和/或局部离群因子算法。(4)对新生成的规则找到使用的服务器实例，并推送到目标服务器。使用查表遍历或者哈希特征值的方法找到所需的服务器实例，并采用自动化集中机制进行推送。优选的可以采用基于http(s)的基于XML的远程过程调用(xmlrpc)协议来实现推送。基于大数据计算的网络保护的系统包含四个模块:数据采集模块、数据分析模块、动态规则生成模块、规则推送模块。数据采集模块从用户服务器实例用云中采集服务器(各种服务程序)访问数据，包括服务程序应用头部和请求负载参数部分;数据加工分析模块将收集到的各种服务程序访问数据规则化，移除噪音数据;动态规则生成模块对采集的数据做异常分析，找到其中的异常数据集合，并生成安全规则;规则推送模块对新生成的规则找到使用的服务器实例，并推送到目标服务器。本技术的优势在于自动化，智能的，动态的，生成安全防护规则，可以快速面对日益复杂的网络安全状况，减少人工干预和人工错误，减少网络安全防御成本，并且能发现人工不容易的异常(O day攻击)，提高安全防御效果。【附图说明】图1是本技术实施例的基于大数据计算的网络保护系统的结构框图。【具体实施方式】为了使本技术的技术方案更加清楚，下面将结合实施例对本技术进行进一步的描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术的保护范围。所述的基于大数据计算的网络保护系统，包括数据采集模块、数据分析模块、动态规则生成模块、规则推送模块。用户服务器实例云连接数据采集模块，然后依次连接数据分析模块、动态规则生成模块、规则推送模块，规则推送模块再与目标用户服务器实例连接。数据采集模块从用户服务器实例云的各种服务程序访问数据中提取访问特征并储存，提取服务器访问的特征包括头部、目标、大小、时间戳、参数等，并将该特征采用分布式文件系统保存，以便让数据加工分析模块使用。数据加工分析模块接收到采集模块传递的特征码数据集，采用降噪(剔除非相关性请求，不完整请求)算法整理和规则化特征数据集，该集然后被送入动态规则生成模块。动态规程生成模块使用K-近邻算法和/或局部离群因子算法，找出异常特征集，并使用该异常特征集生成新的防护规则，并添加到防护规则集。规则推送模块使用防护规则集，该模块检测目标服务器状态，包括文件系统、月艮务、应用配置、数据库等等，推送相关的规则集到用户服务器实例，管理系统实现自动安全维护。虽然本技术的内容包含四个步骤及相应模块，但将其中任何二个或者多个步骤进行合并或组合后的系统均在本技术的保护范围以内。【主权项】1.一种基于大数据计算的网络保护的系统，其特征在于:包括， 数据采集模块，用于从用户服务器实例云中采集多个服务器实例的各种服务程序的访问数据，包括包头部、应用程序头部和请求的负载部分； 数据加工分析模块，用于将收集到的访问数据规则化，包括以键值对的方式格式化请求的负载部分，并按照服务程序协议要求剔除不合法头部； 动态规则生成模块，用于对规则化的数据做异常分析，找到安全特征明显和其他数据不一致的异常数据集合，并生成安全规则，安全规则是指能匹配这种安全特征安全配置； 规则推送模块，用于使用查表遍历或者哈希特征值的方法找到所需的服务器实例，并将上述安全规则采用自动化集中机制推送到目标服务器。2.如权利要求1所述的一种基于大数据计算的网络保护的系统，其特征在于:所述的访问数据还包括目标地址和请求的负载参数值部分。3.如权利要求1所述的一种基于大数据计算的网络保护的系统，其特征在于:所述的异常分析采用K-近邻算法和/或局部离群因子算法。4.如权利要求1所述的一种基于大数据计算的网络保护的系统，其特征在于:将所述的安全规则推送到目标服务器时采用基于http(s)的XML远程过程调用(xmlrpc)协议。5.如权利要求1所述的一种基于大数据计算的网络保护的系统，其特征在于:采集的服务器实例数量超过100个。6.如权利要求5所述的一种基于大数据计算的网络保护的系统，其特征在于:将访问数据的安全特征采用分布式文件系统保存。7.如权利要求1所述的一种基于大数据计算的网络保护的系统，其特征在于:该系统还包括检测目标服务器状态的功能。【专利摘要】本技术公开了一种基于大数据计算的网络保护的系统，括数据采集模块、数据分析模块、动态规则生成模块、规则推送模块，该系统可以智能的、动态的生成安全防护规则，可以快速面对日益复杂的网络安全状况，减少人工干预和人工错误，减少网络安全防御成本，并且能发现人工不容易的异常(0 day攻击)，提高安全防御效果。【IPC分类】H04L29/08, H04L29/06【公开号】CN205377931【申请号】CN201620158256【专利技术人】夏杰 【申请人】夏杰, 邓卫华【公开日】2016年7月6日【申请日】2016年3月2日本文档来自技高网...

【技术保护点】
一种基于大数据计算的网络保护的系统，其特征在于：包括，数据采集模块，用于从用户服务器实例云中采集多个服务器实例的各种服务程序的访问数据，包括包头部、应用程序头部和请求的负载部分；数据加工分析模块，用于将收集到的访问数据规则化，包括以键值对的方式格式化请求的负载部分，并按照服务程序协议要求剔除不合法头部；动态规则生成模块，用于对规则化的数据做异常分析，找到安全特征明显和其他数据不一致的异常数据集合，并生成安全规则，安全规则是指能匹配这种安全特征安全配置；规则推送模块，用于使用查表遍历或者哈希特征值的方法找到所需的服务器实例，并将上述安全规则采用自动化集中机制推送到目标服务器。

【技术特征摘要】

【专利技术属性】
技术研发人员：夏杰，
申请(专利权)人：夏杰，邓卫华，
类型：新型
国别省市：广东;44