一种基于流的异常通联行为检测方法和系统技术方案

本发明专利技术提供了一种基于流的异常通联行为检测方法和系统，属于网络安全异常事件被动发现领域。本发明专利技术的检测系统包括：配置白名单IP、重点目标IP和一般目标IP的配置管理模块，获取和存储网络流数据信息的数据采集模块和存储模块，分别对重点目标和一般目标进行检测的重点目标异常检测模块和一般目标异常检测模块以及异常评估模块。本发明专利技术检测方法对重要网络节点和普通网络节点采用不同的方法进行流量模型构建，分别进行网络异常检测，再关联重要目标和普通目标的网络事件，挖掘出具备一定危害的网络入侵行为和异常通联行为。本发明专利技术对各种类型的流量异常行为具备良好的发现能力，对流量数据的计算复杂度小，并且异常发现实时性强。

A Detection Method and System of Abnormal Connection Behavior Based on Flow

【技术实现步骤摘要】
一种基于流的异常通联行为检测方法和系统
本专利技术涉及网络安全异常事件被动发现领域，是一种基于全量流数据的、针对内部网络通联外部IP地址系统、对全量通联行为进行异常检测的方法及系统。
技术介绍
随着计算机与网络技术的迅猛发展，互联网用户规模日益增长，中国互联网络信息中心(CNNIC)发布的报告显示，截至2015年12月，我国网民规模已达6.88亿，互联网普及率为50.3％，同时，全国使用互联网办公的企业达89.0％。互联网已成为人们生产生活中不可或缺的重要基础设施。与此同时，网络安全问题日益突出，频繁发生的网络安全事件给互联网带来了巨大威胁。其中，网络攻击和网络窃密是信息系统的重要威胁。2009年5月9日发生的DDoS(分布式拒绝服务)攻击暴风影音的断网事件，导致南方六省运营商服务器全部崩溃，电信在南方六省的网络基本瘫痪；同在2009年,韩国主要政府网站遭新型DDoS攻击，包括青瓦台在内的25家韩国政府机构、银行和媒体的网站瘫痪；2013年著名的Spamhaus事件，攻击流量达到了空前的300Git/s，整个欧洲网络状态都受之影响；2015年12月31日，由于严重的DDoS攻击，英国广播公司(BBC)网站和iPlayer服务被迫下线，网站瘫痪数个小时；2016年1月29日，英国汇丰银行的香港及上海两个分行的网上银行系统，同时遭受了一系列的DDoS攻击，恰好当天是系统的结算日，给整个系统的服务造成了严重的影响。根据著名安全机构卡巴斯基实验室发表的2016年第一季度DDoS攻击报告，74个国家的资源遭到DDoS攻击，其中中国、韩国和美国受影响最为严重。通过大量被控制的主机或僵尸网络向攻击目标发起DDoS攻击，会对被攻击者的信息系统造成严重损害，并极可能影响到其他互联网用户的正常网络活动，产生重大的网络安全事件。我国互联网规模庞大，存在着大量被木马或僵尸程序控制的主机，中国国家互联网应急中心(CNCERT/CC)发布的互联网安全威胁报告显示，2016年3月，我国境内196万余个IP地址对应的主机被木马或僵尸程序控制，因此，我国面临严重的潜在网络攻击威胁。造成网络安全事件的异常网络行为，如网络攻击与窃密等，往往涉及到网络流量的异常，因此可通过异常检测，发现网络异常行为，结合相关技术进行异常响应处理，保障网络正常，维护网络安全，因此，网络流量异常检测具有十分重要的意义。现有的采用基于NetFlow做网络异常行为检测的相关技术主要包括：(1)基于数据挖掘的方法。为了应用数据挖掘技术对用户行为进行异常检测，就要应用数据挖掘中的关联分析和序列挖掘，提取出正常情况下用户所执行命令中存在的相关性，建立每个用户的历史行为模式，为实际检测过程中用户行为的判别提供比较的依据。通过对正常的用户训练数据和当前用户操作数据进行挖掘，分别得出用户的历史行为模式和当前行为模式之后，就可以通过模式比较来判断用户行为是否异常。(2)基于神经网络的方法。神经网络(neuralnetworks)使用自适应学习技术来提取异常行为的特征，需要对训练数据集进行学习以得出正常的行为模式，训练数据标志为正常数据和入侵数据两类，训练后的神经网络可以把事件识别为正常或入侵。(3)基于机器学习的方法。这种异常检测方法通过机器学习实现异常检测，将异常检测归结为对离散数据临时序列进行学习来获得个体、系统和网络的行为特征。在以上的技术中，均无法满足异常检测实时性和通用型的要求，针对真实的网络环境中，流量的随机性和变化的周期特点，对各种存在的网络异常入侵行为，针对性的开发异常检测方法，实现异常发现快速发现和追踪。
技术实现思路
针对目前内部网络的异常检测实时性不足，检测的通用型差的问题，本专利技术提出了一种基于流的异常通联行为检测方法和系统，依托于流(flow)数据，对内部网络中重要网络节点和普通网络节点采用不同的方法进行流量模型构建，分别进行网络异常检测，再关联重要目标和普通目标的网络事件，挖掘出具备一定危害的网络入侵行为和异常通联行为。本专利技术针对企业内部网络，公开了一种基于流的异常通联行为检测系统，包括配置管理模块、数据采集模块、数据存储模块、重点目标异常检测模块、一般目标异常检测模块以及异常评估模块。配置管理模块提供白名单IP配置，重点目标IP配置，一般目标IP配置，可能存在漏洞的端口号配置等，支持系统数据的静态配置功能，同时提供了异常检测模型训练任务配置和异常检测任务配置，实现异常检测过程可控。重点目标是内部网络中重要保护的IP地址，由用户报送或监测分析网络流数据获得，内部网络内除去重点目标的IP地址为一般目标。对目标访问的对端IP中，将合法的、稳定的、安全的对端IP加入系统白名单中，以在流量模型建立和流量异常检测的过程中直接忽略白名单中对端IP的流量。配置管理模块还根据已知的重点目标服务器上部署的服务和开放的端口，配置相应重点目标的稳定端口，以便在重点目标流量异常建模和检测时，不再需要对稳定端口进行计算和建模。白名单及稳定端口配置需要简单直接，方便用户实时修改配置，及时下发到对应的检测引擎。重点目标和一般目标流量异常检测引擎，会定期检查下发的配置文件，及时更新白名单和稳定端口，改变检测行为。数据采集模块对接路由器或者其他网络分流设备，接收来自路由器的netflow数据，将原始网络流量进行处理，经过解数据包和流量还原，从而得到流的四元组(源IP地址、目的IP地址，源端口、目的端口)、开始时间、结束时间、协议类型、TCP标志位、包数、字节数等信息，将多条流数据信息以kafka的方式，写入到数据存储模块。数据存储模块从kafka消息队列中读取流数据信息，对重点目标的每条流数据信息都进行存储，对一般目标以5分钟或1小时作为最小粒度，统计各个端口上的流量时间序列。流量时间序列中存储五元组(源IP地址、目的IP地址、源端口、目的端口、协议类型)以及包数、字节数。对于包数、字节数等流量特征，记录随时间变化的值，所记录的每个值是一个在最小粒度的统计值。重点目标异常检测模块用于：(1)从历史流数据信息中获取通信对象的通信时长与通信字节数，构建重点目标的稳定通信对象模型；(2)构建重点目标的多维特征向量，其中特征项包括流方向、流网络协议类型、服务端口号和流量指标，从历史流数据信息中统计各特征项的值；对各特征项的统计值进行正态分布与对数正态分布两种分布规律的假设检验，对于服从正态分布规律的特征项，计算均值和标准差作为统计阈值，对于服从对数正态分布规律的特征项，计算对数均值和对数标准差作为统计阈值，建立阈值模型；(3)利用阈值模型对带检测流量进行检测。在检测时，获得待检测流量中每个时间窗口内每个特征项的观测值，根据特征项的统计分布规律，计算其均值和标准差或者对数均值和对数标准差，然后与阈值模型中对应的统计阈值进行比对，计算偏离程度；偏离程度由待检测流量的均值/对数均值与阈值模型的均值/对数均值间的差值，比上阈值模型中标准差/对数标准差，所获得的倍数来确定。一般目标异常检测模块用于：(1)利用基于时间序列的流量变化模型进行检测，包括：对端口流量的时间序列，减去其中的趋势性分量和周期性分量，获得随机波动特征，随机波动特征符合正态分布的定义，根据置信度，应用正态分布假设检验计算随机波动本文档来自技高网...

【技术保护点】
1.一种基于流的异常通联行为检测系统，布置在企业内部网络的服务器上，其特征在于，该系统包括配置管理模块、数据采集模块、数据存储模块、重点目标异常检测模块以及一般目标异常检测模块；配置管理模块用于：(1)配置重点目标IP和一般目标IP；重点目标是由用户报送或监测分析网络流数据获得的内部网络内的IP地址，内部网络内除去重点目标的IP地址为一般目标；(2)配置白名单IP，白名单中记载访问内部网络的合法、安全的对端IP；(3)配置重点目标IP的稳定端口，根据已知的重点目标IP开发的服务和端口来配置稳定端口；数据采集模块对接内部网络的路由器或网络分流设备；接收路由器或网络分流设备配置netflow/netstream功能，采集网络流数据发送给数据采集模块；数据采集模块对获得的流数据进行解析，将解析得到的流数据信息以kafka的方式写入到数据存储模块；所述的流数据信息包括源IP地址、目的IP地址、源端口、目的端口、开始时间、结束时间、协议类型、TCP标志位、包数和字节数；数据存储模块从kafka消息队列中读取流数据信息，对重点目标的每条流数据信息都进行存储，对一般目标以5分钟或1小时作为最小粒度，统计各个端口的流量时间序列；所述的流量时间序列存储五元组(源IP地址、目的IP地址、源端口、目的端口、协议类型)以及包数、字节数，所记录的包数和字节数是随时间变化的值，所记录的每个值是一个在最小粒度的统计值；重点目标异常检测模块用于：(1)从历史流数据信息中获取通信对象的通信时长与通信字节数，构建重点目标的稳定通信对象模型；(2)构建重点目标的多维特征向量，其中特征项包括流方向、流网络协议类型、服务端口号和流量指标，从历史流数据信息中统计各特征项的值；对各特征项的统计值进行正态分布与对数正态分布两种分布规律的假设检验，对于服从正态分布规律的特征项，计算均值和标准差作为统计阈值，对于服从对数正态分布规律的特征项，计算对数均值和对数标准差作为统计阈值，建立阈值模型；(3)利用阈值模型对带检测流量进行检测；在检测时，获得待检测流量中每个时间窗口内每个特征项的观测值，根据特征项的统计分布规律，计算其均值和标准差或者对数均值和对数标准差，然后与阈值模型中对应的统计阈值进行比对，计算偏离程度；偏离程度由待检测流量的均值/对数均值与阈值模型的均值/对数均值间的差值，比上阈值模型中标准差/对数标准差，所获得的倍数来确定；一般目标异常检测模块用于：(1)利用基于时间序列的流量变化模型进行检测，包括：对端口流量的时间序列，减去其中的趋势性分量和周期性分量，获得随机波动特征，随机波动特征符合正态分布的定义，根据置信度，应用正态分布假设检验计算随机波动特征偏离标准差的系数，找到流量突增点；(2)利用流数据聚合模型进行检测，所述的流数据聚合模型从五元组中选取不同分组进行不同粒度的构建，根据所选粒度对流数据信息进行分组，再对字节数和包数进行聚合操作，通过排序找到异常行为。...

【技术特征摘要】
1.一种基于流的异常通联行为检测系统，布置在企业内部网络的服务器上，其特征在于，该系统包括配置管理模块、数据采集模块、数据存储模块、重点目标异常检测模块以及一般目标异常检测模块；配置管理模块用于：(1)配置重点目标IP和一般目标IP；重点目标是由用户报送或监测分析网络流数据获得的内部网络内的IP地址，内部网络内除去重点目标的IP地址为一般目标；(2)配置白名单IP，白名单中记载访问内部网络的合法、安全的对端IP；(3)配置重点目标IP的稳定端口，根据已知的重点目标IP开发的服务和端口来配置稳定端口；数据采集模块对接内部网络的路由器或网络分流设备；接收路由器或网络分流设备配置netflow/netstream功能，采集网络流数据发送给数据采集模块；数据采集模块对获得的流数据进行解析，将解析得到的流数据信息以kafka的方式写入到数据存储模块；所述的流数据信息包括源IP地址、目的IP地址、源端口、目的端口、开始时间、结束时间、协议类型、TCP标志位、包数和字节数；数据存储模块从kafka消息队列中读取流数据信息，对重点目标的每条流数据信息都进行存储，对一般目标以5分钟或1小时作为最小粒度，统计各个端口的流量时间序列；所述的流量时间序列存储五元组(源IP地址、目的IP地址、源端口、目的端口、协议类型)以及包数、字节数，所记录的包数和字节数是随时间变化的值，所记录的每个值是一个在最小粒度的统计值；重点目标异常检测模块用于：(1)从历史流数据信息中获取通信对象的通信时长与通信字节数，构建重点目标的稳定通信对象模型；(2)构建重点目标的多维特征向量，其中特征项包括流方向、流网络协议类型、服务端口号和流量指标，从历史流数据信息中统计各特征项的值；对各特征项的统计值进行正态分布与对数正态分布两种分布规律的假设检验，对于服从正态分布规律的特征项，计算均值和标准差作为统计阈值，对于服从对数正态分布规律的特征项，计算对数均值和对数标准差作为统计阈值，建立阈值模型；(3)利用阈值模型对带检测流量进行检测；在检测时，获得待检测流量中每个时间窗口内每个特征项的观测值，根据特征项的统计分布规律，计算其均值和标准差或者对数均值和对数标准差，然后与阈值模型中对应的统计阈值进行比对，计算偏离程度；偏离程度由待检测流量的均值/对数均值与阈值模型的均值/对数均值间的差值，比上阈值模型中标准差/对数标准差，所获得的倍数来确定；一般目标异常检测模块用于：(1)利用基于时间序列的流量变化模型进行检测，包括：对端口流量的时间序列，减去其中的趋势性分量和周期性分量，获得随机波动特征，随机波动特征符合正态分布的定义，根据置信度，应用正态分布假设检验计算随机波动特征偏离标准差的系数，找到流量突增点；(2)利用流数据聚合模型进行检测，所述的流数据聚合模型从五元组中选取不同分组进行不同粒度的构建，根据所选粒度对流数据信息进行分组，再对字节数和包数进行聚合操作，通过排序找到异常行为。2.根据权利要求1所述的检测系统，其特征在于，所述的数据存储模块提供基于IP地址的数据检索方式，还基于白名单对流数据信息进行过滤。3.根据权利要求1或2所述的检测系统，其特征在于，所述的系统还包括异常评估模块，异常评估模块综合重点目标异常检测结果和一般目标异常检测结果，对异常发生时的各项特征进行加权求和，综合评估异常等级和异常类型，生成异常检测报告。4.一种基于流的异常通联行为检测方法，针对企业内部网络，其特征在于，包括：步骤1：根据用户报送或监测分析网络流数据配置内部网络的重点目标和一般目标，配置白名单IP和重点目标IP的稳定端口；其中，重点目标是内部网络中需要重点监测的IP地址节点，将内部网络中除去重点目标的IP节点作为一般目标；白名单中的IP是合法安全的外部网络中的IP地址；重点目标IP的稳定端口是根据对应IP节点开放的服务和端口来配置的；步骤2：内部网络的关口路由器或网络分流设备，利用netflow/netstream功能采集网络流数据并发送给数据采集模块所在的服务器，数据采集模块实时抓取网络流数据包并进行解析，获取流数据信息，并kafka的方式写入到数据存储模块；所述的流数据信息包括源IP地址、目的IP地址、源端口、目的端口、开始时间、结束时间、协议类型、TCP标志位、包数和字节数；；步骤3：对步骤2获取的流数据信息，根据白名单IP进行过滤，对于重点目标IP，存储每条流数据信息；步骤4：对于每个重点目标，从历史流数据信息中获得不同端口和对端IP对于该重点目标的通信时长和通信字节数，采用聚类算法，获取稳定端口和稳定对端IP地址；步骤5：对每个重点目标，对流数据信息中提取流量特征，包括流方向、流网络协议类型、服务端口号和流量指标；利用所提取的流量特征以及通信对端是否是稳定端口或稳定对端IP组合形成重点目标的不同维度的特征向量；根据重点目标的历史流数据信息，对特征向量的每个特征值进行统计；其中，流方向是指，当重点目标作为连接发起的源地址时，该条数据流的方向为流出，反之，该条数据流的方向为流入；流网络协议类型是指，重点目标与对端通信的流数据在网络层上所运行的协议；服务端口号是指，重点目标与对端进行通信时，重点目标方的端口号；流量指标是指，重点目标与对端的流量大小，包括的属性有字节数、网络包数和对端IP数；步骤6：对每个重点目标，判断各流量特征的分布规律，计算各流量特征的统计阈值，建立阈值模型；对流量特征上的统计值进行正态分布与对数正态分布两种分布规律的假设检验，对于服从正态分布规律的流量特征，计算其均值和标准差作为统计阈值，对于服从对数正态分布规律的流量特征，计算其对数均值和对数标准差作为统计阈值；步骤7：利用建立的重点目标的流量特征的阈值模型，对待检测流量进行偏离度计算，进而判断待...

【专利技术属性】
技术研发人员：李志辉，严寒冰，丁丽，温森浩，姚力，朱芸茜，王小群，陈阳，李世淙，徐剑，王适文，肖崇蕙，贾子骁，张帅，吕志泉，韩志辉，马莉雅，雷君，周彧，周昊，高川，楼书逸，文静，吕卓航，杜飞，
申请(专利权)人：国家计算机网络与信息安全管理中心，北京锐驰信安技术有限公司，
类型：发明
国别省市：北京,11