基于Hadoop架构的网络病毒和威胁监测系统技术方案

本实用新型专利技术公开了一种基于Hadoop架构的网络病毒和威胁监测系统，包括：病毒及威胁统计分析装置，将网络中海量数据包自动分割成数据块，并且分配到计算机集群的各个节点中进行数据特征分析，分析出含有网络病毒特征和含有入侵行为的数据块；病毒检测装置，对接收的含有网络病毒特征的数据块进行病毒扫描、分类以及查杀；网络威胁检测装置，对接收的含有入侵行为的数据块进行检测，检测到含有入侵行为时报警。病毒检测装置和网络威胁检测装置分别与病毒及威胁统计分析装置连接；通过本实用新型专利技术实现在高带宽、大容量数据环境下对网络上的病毒和威胁进行监测，提升海量数据的处理能力和效率，满足电信级别骨干网络病毒和威胁的实时监测。

【技术实现步骤摘要】

本技术涉及一种网络病毒和威胁的监测技术，特别涉及一种基于Hadoop架构的网络病毒和威胁监测系统。
技术介绍
计算机病毒是指在计算机程序中编制或插入的破坏计算机功能和数据，能够影响计算机的使用并拥有自我复制功能的一组计算机指令或者程序代码。它具有传染性、复制性和破坏性，它潜伏在计算机的存储设备里，等达到一定的外部条件时就会激活，复制自身到其他程序中，感染其他文件，破坏计算机资源。网络性病毒是威胁计算机网络安全的重要原因之一，因此，做好计算机网络病毒的防范，可以有效提高计算机网络的安全水兵。随着互联网的发展，计算机病毒进化的速度越来越快，为了更好的对付这些病毒，保证计算机的安全，系统的云安全成为未来的发展方向，现在许多杀毒厂商都推出了云墙、云杀毒等网络安全产品。另外除计算机病毒会影响网络安全之外，还有一些对计算机和网络资源的恶意使用行为，例如来自外部的入侵行为和来自内部用户的非授权行为等均会威胁到网络的安全。目前，国外安全厂家的病毒与网络威胁监测分析技术主要侧重在杀毒软件开发及安全服务，通过服务器端加客户端模式，从中央控制中心对整个网络进行监控，该模式通常是在主服务器上安装杀毒软件服务端，客户PC安装客户端，以此实现对整个网络的统一监测及结果处理。国内病毒及网络威胁监测分析技术主要侧重病毒监测防护及威胁监测防护方面，通过使用一主一备的网络设备工作模式，将病毒扫描、威胁检测及网络检测功能集合于一体。这类产品一般是单套设备对整个网络进行安全防护，对数据流量不是很大的环境，基本上能满足日常的安全要求，但是对于电信运营商、银行、电力、大型企业等高带宽、大容量数据环境下，便会出现数据分析遗漏而产生误差的情况。由于受设备自身吞吐量的限制，无法做到对大容量数据的完全监测，如此出现的误差的情况也极大。
技术实现思路
本技术的目的在于克服现有技术的缺点与不足，提供一种基于Hadoop架构的网络病毒和威胁监测系统，该系统能够在高带宽、大容量数据环境下对网络上的病毒和威胁进行监测，提升海量数据的处理能力和效率，满足电信级别骨干网络病毒和威胁的实时监测。本技术的目的通过下述技术方案实现:一种基于Hadoop架构的网络病毒和威胁监测系统，包括:病毒及威胁统计分析装置、病毒检测装置和网络威胁检测装置，所述病毒检测装置和网络威胁检测装置分别与病毒及威胁统计分析装置连接。优选的，还包括与病毒及威胁统计分析装置连接的可扩展接口模块，用于与第三方网络设备或4A系统连接，使得网络病毒和威胁监测系统配合第三方网络设备或4A系统联动处理网络病毒和威胁。更进一步的，所述可扩展接口模块包括防火墙、交换机、流量控制设备和防DDos设备接口。更进一步的，与可扩展接口模块连接的第三方网络设备为防火墙、交换机、流量控制设备或防DDos设备中的其中一种或多种。优选的，所述病毒及威胁统计分析装置包括数据分割模块和数据分析模块，数据分割模块的输出端和数据分析模块的输入端连接。优选的，所述病毒检测装置包括依次连接的病毒扫描模块、信息分类模块、病毒查杀模块以及病毒特征更新模块，其中病毒扫描模块的输入端连接病毒及威胁统计分析装置的输出端。优选的，所述网络威胁检测装置包括依次连接的信息收集模块、入侵迹象分析引擎模块以及主动协同学习功能模块，信息收集模块的输入端连接病毒及威胁统计分析装置的输出端。本技术相对于现有技术具有如下的优点及效果:(I)本技术监测系统病毒及威胁统计分析装置采用云计算环境下Hadoop架构中的MapReduce技术将网络中海量数据包自动分割成若干个Map任务，即若干个数据块，然后将各数据块分配到计算机集群中的各个节点中，在各个节点中同时对各数据块进行分布式分析处理，将含有网络病毒特征以及入侵行为的数据块分别传送到病毒检测装置和网络威胁检测装置进行病毒检测和网络威胁检测，检测出含有网络病毒的数据块以及含有网络威胁的数据，并且进行病毒查杀，和入侵行为的阻截，实现了病毒扫描、入侵检测和网络监视的功能。本技术将病毒及威胁统计分析装置将网络海量数据分割成数据块后分配到计算机集群的各个节点进行并行分布式处理，大大提高了海量数据的处理能力和效率，可满足电信级别骨干网络病毒及威胁的分析监测要求，并可平滑扩展到更高带宽的链路环境。采用云环境下这种Hadoop虚拟话架构，大大节省了由于要处理海量信息所花费的成本，同时也避免了由于单系统节点处理出现信息遗漏的问题。(2)本技术监测系统中设置有与第三方网络设备或4A系统连接的可扩展接口模块，网络病毒和威胁监测系统能够配合第三方网络设备或4A系统实现联动处理网络病毒和威胁的功能。第三方网络设备可为防火墙、交换机、流量控制设备或防DDos设备中的其中一种或多种，通过第三方网络设备实现对电信级别的海量数据环境下的网络病和毒威胁做到了精确定位。【附图说明】图1是本技术监测系统结构组成框图。【具体实施方式】下面结合实施例及附图对本技术作进一步详细的描述，但本技术的实施方式不限于此。实施例如图1所示，本实施例公开了一种基于Hadoop架构的网络病毒和威胁监测系统，包括病毒及威胁统计分析装置、病毒检测装置、网络威胁检测装置以及可扩展接口模块，其中病毒检测装置、网络威胁检测装置和可扩展接口模块分别与病毒及威胁统计分析装置连接。病毒及威胁统计分析装置，采用云计算环境下Hadoop架构中的MapReduce技术，利用分光器将网络海量数据包分光复制出一份，再将网络海量数据包自动分割成若干个Map任务，即若干个数据块，实现对TCP/IP数据报文进行高速的拆封，并且将这些数据块分配到计算机集群的各个节点中进行数据特征分析，分析出含有网络病毒特征和含有入侵行为即网络威胁的数据块；被分割的数据块能够通过Map函数在计算机集群各节点中进行分布式并行的分析处理。解决了在电信级别等网络环境下大规模数据处理的特定需求，大大提高了海量数据的处理能力和效率。在本实施例中病毒及威胁统计分析装置包括数据分割模块和数据分析模块，其中数据分割模块的输出端连接数据分析模块的输入端:数据分割模块，采用Hadoop架构中的MapReduce技术将网络中海量数据包自动分割成数据块，即将网络中海量数据包拆分成若干个Map任务，这些Map任务被分配到计算机集群的各个节点上去执行，每个Map任务处理输入数据中的一部分；以及数据分析模块，对分配到计算机集群各个节点的数据块进行数据特征分析，分析出含有网络病毒特征和含有入侵行为的数据块；并且将含有网络被病毒特征的数据块转入到病毒检测装置，将含有入侵行为的数块据转让到网络威胁检测装置。病毒检测装置，接收病毒及威胁统计分析装置发送的含有网络病毒特征的数据块，并且对接收到的数据进行病毒扫描、分类以及查杀；其中本实施中病毒检测装置包括依次连接的病毒扫描(Virus scan)模块、信息分类(INFO classify)模块、病毒查杀(Killvirus)模块和病毒特征更新(Live update)模块，其中病毒扫描模块的输入端连接病毒及威胁统计分析装置的输出端；病毒扫描(Virus scan)模块，对分配到计算机集群各节点中含有网络病毒特征的数据块进行病毒扫描，检测出数据中是否存在病本文档来自技高网...

【技术保护点】
一种基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，包括：病毒及威胁统计分析装置、病毒检测装置和网络威胁检测装置，所述病毒检测装置和网络威胁检测装置分别与病毒及威胁统计分析装置连接。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘伟雄，郑东曦，蒋昆池，
申请(专利权)人：广州万方计算机科技有限公司，
类型：新型
国别省市：广东;44