一种僵尸网络分布式实时检测方法和系统技术方案

本发明专利技术公开了一种僵尸网络分布式实时检测方法和系统，包括：数据生成组件生成网络流量元数据Netflow信息，并发送给数据检测组件；数据检测组件的检测模型训练单元从经过标注的训练数据中提取多个训练检测特征，建立作为实时检测单元的检测标准的检测模型；数据检测组件的实时检测单元接收实时发送的Netflow信息，并提取多个检测特征，与上述检测模型进行比较，当比较结果匹配时，得出包括检测对象标识符的告警信息，将所述告警信息与主机黑白名单比较，得出确认受控僵尸主机和可疑受控僵尸主机。本发明专利技术的方案既可以应用在千兆流量的企业网，又可以应用到ISPs网络中；提高了僵尸网络检测的总体检测性能。

【技术实现步骤摘要】
一种僵尸网络分布式实时检测方法和系统
本专利技术涉及通讯领域，尤其涉及一种僵尸网络分布式实时检测方法和系统。
技术介绍
当前，全球互联网安全威胁正处于深远变革阶段，攻击者的攻击目的从针对网络架构本身，使其不能够正常使用，转移到以普通用户和相关组织为目标。这类新型攻击直接影响了全球网络用户的日常生活，威胁到了企业用户和政府网络的安全。例如，计算机用户正在遭受间谍软件窥探其敏感信息、垃圾邮件对其邮箱账户进行洪泛攻击、钓鱼网站偷窃认证数据等。这些攻击的核心就是大量被控制的计算机，这些机器可能位于世界各地的家庭、学校、公司或政府。攻击者使用这些受控主机作为匿名代理去隐藏其真实身份和意图，同时放大攻击能力。僵尸恶意程序能够使操作者远程控制受控主机，并将这些主机组织成僵尸网络。僵尸网络问题的范围很难定义，由于其受控主机高度的可转换特性(由受控主机转变为正常主机)，僵尸网络很难检测，甚至很难评估。不过，截止2013年底，CERT已经报道最大的僵尸网络包含近500,000受控主机，而且已经报告的受控主机数目接近300万。目前，传统的基于主机的僵尸恶意软件检测方法，例如反病毒扫描器，对于检测僵尸网络具有一定的局限性。为了辅助检测，基于网络的僵尸网络检测方法已经被提出来，并开始被广泛研究。当前，对于僵尸网络的检测多采用事后处理机制，即类CERT机构在发现某个大型网站或重要网络受到DDoS攻击或垃圾邮件攻击时，才开始协调相关部门和安全企业进行调查，其调查结果多数情况是不能够定位僵尸网络控制节点和攻击发起人，甚至不能够发现实施攻击的僵尸网络受控主机。这个过程中，攻击所造成的损失以及调查的代价非常大，所以研究和实现一种有效的、能够实用于各类网络环境(企业网，互联网服务提供商(ISP))的、分布式的实时僵尸网络检测方法是非常必要的。对当前僵尸网络检测技术调研，主流的技术例如BotSniffer、BotMiner或TAMD等系统通常采用关联网络中多个主机的行为，而且依赖僵尸网络产生的噪音进行检测，例如垃圾邮件和DoS行为，而这类行为妨碍了偷窃类僵尸恶意软件的检测。尽管，当前存在的许多系统都允许检测主机僵尸恶意软件感染，但该类检测产品通常使用的是深度包解析方法。这类方法特征提取阶段时间代价较大，仅适用于企业千兆网络环境，难以应用到万兆企业环境(丢包严重)，更难以应用于ISPs客户环境。
技术实现思路
为了解决上述问题，本专利技术提出了一种僵尸网络分布式实时检测方法和系统，能够既可以应用在千兆流量的企业网，又可以应用到ISPs网络中；提高了僵尸网络检测的总体检测性能。为了达到上述目的，本专利技术提出了一种僵尸网络分布式实时检测方法，该方法包括：数据生成组件接收网络流量生成网络流量元数据Netflow信息，并将Netflow信息发送给数据检测组件。数据检测组件的检测模型训练单元，从经过标注的训练数据中提取多个训练检测特征，基于该训练检测特征，建立作为实时检测单元的检测标准的检测模型。数据检测组件的实时检测单元，接收数据生成组件实时发送的Netflow信息，基于该Netflow信息提取多个检测特征，将检测特征与检测模型进行比较，当比较结果匹配时，得出包括检测对象标识符的告警信息，将该告警信息与主机黑白名单相比较，得出确认受控僵尸主机和可疑受控僵尸主机。优选地，数据生成组件接收网络流量生成网络流量元数据Netflow信息是指：数据生成组件的网络设备接收网络流量生成标准的Netflow信息；或，数据生成组件的安全设备或软件接收网络流量生成自定义的Netflow信息。优选地，训练数据是指：数据检测组件的僵尸恶意样本处理单元根据僵尸恶意样本家族的分类结果，在可控的虚拟机或沙箱环境下执行同一个家族的恶意代码，捕获和存储所有的原始网络流量，安全设备或软件对原始网络流量进行包重组为原始流并从原始流中提取的自定义Netflow信息。优选地，检测模型的建立包括以下步骤：构建主机关系链训练子单元基于火花流SparkStream分布式流处理引擎和训练数据，建立训练多级主机访问关系链。构建主机Netflow图谱训练子单元基于SparkStream分布式流处理引擎和训练数据，建立训练主机Netflow图谱。基于统计的特征提取训练子单元分析训练主机访问关系链、训练主机Netflow图谱和Netflow信息，提取多个训练检测特征，形成训练检测特征向量。建立检测模型子单元基于训练检测特征向量建立检测模型。优选地，多个训练检测特征包括：主机访问关系链、平均间隔、平均流持续时长、平均流大小、对于流起始时间的傅里叶变换、IP地址熵、上下行流量比、流量负载熵。优选地，建立检测模型子单元建立检测模型的过程包括：使用聚类算法分别对多个训练检测特征向量的各个分量进行聚类，删除不符合聚类评估函数的聚类簇，基于剩余的所述聚类簇建立所述检测模型。优选地，得出确认受控僵尸主机和可疑受控僵尸主机的步骤包括；构建主机关系链实时子单元基于SparkStream分布式流处理引擎和实时的Netflow信息建立实时多级主机访问关系链。构建主机Netflow图谱实时子单元基于SparkStream分布式流处理引擎和实时Netflow信息，建立实时主机Netflow图谱。基于统计的特征提取实时子单元分析实时主机访问关系链、实时主机Netflow图谱和实时Netflow信息，提取多个检测特征，组成检测特征向量。僵尸主机检测单元将获取的待检测的检测特征向量的每个分量与检测模型进行比较，并根据每个分量对检测精度的影响不同给予不同的权重，根据比较结果命中的分量和权重计算检测特征向量的总体评分；判断总体评分是否超过预定的阈值，如果超过阈值，发出包括检测对象标识符的告警信息；否则，标注正常，进行下一轮的检测。黑白名单子单元将所述告警信息中的检测对象标识符与白名单进行比较，删除与白名单相匹配的主机，过滤误报主机；还用于将告警信息中的检测对象标识符与黑名单进行比较，检测出与黑名单相匹配的主机，确认为受控僵尸主机；将与白名单和所述黑名单都不匹配的主机确认为可疑受控僵尸主机；并且根据确认结果，更新黑名单和所述白名单的内容。本专利技术还提出一种僵尸网络分布式实时检测系统，该系统包括：数据生成组件和数据检测组件。数据生成组件，用于接收网络流量生成网络流量元数据Netflow信息，并将所述Netflow信息发送给所述数据检测组件。数据检测组件，包括检测模型训练单元和实时检测单元。检测模型训练单元，用于从经过标注的训练数据中提取多个训练检测特征，基于该训练检测特征，建立作为实时检测单元的检测标准的检测模型。实时检测单元，用于接收数据生成组件实时发送的Netflow信息，基于该Netflow信息提取多个检测特征，将检测特征与检测模型进行比较，当比较结果匹配时，得出包括检测对象标识符的告警信息，将该告警信息与主机黑白名单相比较，得出确认受控僵尸主机和可疑受控僵尸主机。优选地，数据生成组件包括网络设备、安全设备和软件。网络设备，用于接收网络流量生成标准的Netflow信息。安全设备和软件，用于接收网络流量生成自定义的Netflow信息。优选地，数据检测组件还包括僵尸恶意样本处理单元，用于根据僵尸恶意样本家族的分类结果，在可控的虚拟机或沙箱环境下执本文档来自技高网...

【技术保护点】
一种僵尸网络分布式实时检测方法，其特征在于，所述方法包括：数据生成组件接收网络流量生成网络流量元数据Netflow信息，并将所述Netflow信息发送给数据检测组件；所述数据检测组件的检测模型训练单元，从经过标注的训练数据中提取多个训练检测特征，基于所述训练检测特征，建立作为所述实时检测单元的检测标准的检测模型；所述数据检测组件的实时检测单元，接收所述数据生成组件实时发送的所述Netflow信息，基于所述Netflow信息提取多个检测特征，将所述检测特征与所述检测模型进行比较，当比较结果匹配时，得出包括检测对象标识符的告警信息，将所述告警信息与主机黑白名单相比较，得出确认受控僵尸主机和可疑受控僵尸主机。

【技术特征摘要】
1.一种僵尸网络分布式实时检测方法，其特征在于，所述方法包括：数据生成组件接收网络流量生成网络流量元数据Netflow信息，并将所述Netflow信息发送给数据检测组件；所述数据检测组件的检测模型训练单元，从经过标注的训练数据中提取多个训练检测特征，基于所述训练检测特征，建立作为实时检测单元的检测标准的检测模型；所述数据检测组件的实时检测单元，接收所述数据生成组件实时发送的所述Netflow信息，基于所述Netflow信息提取多个检测特征，将所述检测特征与所述检测模型进行比较，当比较结果匹配时，得出包括检测对象标识符的告警信息，将所述告警信息与主机黑白名单相比较，得出确认受控僵尸主机和可疑受控僵尸主机；其中，所述检测模型的建立包括以下步骤：构建主机关系链训练子单元基于火花流SparkStream分布式流处理引擎和所述训练数据，建立训练多级主机访问关系链；构建主机Netflow图谱训练子单元基于所述SparkStream分布式流处理引擎和所述训练数据，建立训练主机Netflow图谱；基于统计的特征提取训练子单元分析所述训练主机访问关系链、所述训练主机Netflow图谱和所述Netflow信息，提取多个所述训练检测特征，形成多个训练检测特征向量；建立检测模型子单元基于所述多个训练检测特征向量建立所述检测模型。2.如权利要求1所述的方法，其特征在于，所述数据生成组件接收网络流量生成网络流量元数据Netflow信息是指：所述数据生成组件的网络设备接收所述网络流量生成标准的Netflow信息；或，所述数据生成组件的安全设备或软件接收所述网络流量生成自定义的Netflow信息。3.如权利要求2所述的方法，其特征在于，所述训练数据是指：所述数据检测组件的僵尸恶意样本处理单元根据僵尸恶意样本家族的分类结果，在可控的虚拟机或沙箱环境下执行同一个家族的恶意代码，捕获和存储所有的原始网络流量，所述安全设备或软件对所述原始网络流量进行包重组为原始流并从所述原始流中提取的所述自定义的Netflow信息。4.如权利要求1所述的方法，其特征在于，多个所述训练检测特征包括：主机访问关系链、平均间隔、平均流持续时长、平均流大小、对于流起始时间的傅里叶变换、IP地址熵、上下行流量比、流量负载熵。5.如权利要求1所述的方法，其特征在于，所述建立检测模型子单元建立所述检测模型的过程包括：使用聚类算法分别对所述多个训练检测特征向量的各个分量进行聚类，删除不符合聚类评估函数的聚类簇，基于剩余的所述聚类簇建立所述检测模型。6.如权利要求1所述的方法，其特征在于，所述得出确认受控僵尸主机和可疑受控僵尸主机的步骤包括；构建主机关系链实时子单元基于SparkStream分布式流处理引擎和实时的Netflow信息建立实时多级主机访问关系链；构建主机Netflow图谱实时子单元基于所述SparkStream分布式流处理引擎和所述实时的Netflow信息，建立实时主机Netflow图谱；基于统计的特征提取实时子单元分析所述实时主机访问关系链、所述实时主机Netflow图谱和所述实时的Netflow信息，提取多个所述检测特征，组成检测特征向量；僵尸主机检测单元将获取的待检测的所述检测特征向量的每个分量与所述检测模型进行比较，并根据所述每个分量对检测精度的影响不同给予不同的权重，根据比较结果命中的分量和所述权重计算所述检测特征向量的总体评分；判断所述总体评分是否超过预定的阈值，如果超过所述阈值，发出包括所述检测对象标识符的告警信息；否则，标注正常，进行下一轮的检测；黑白名单子单元将所述告警信息中的所述检测对象标识符与白名单进行比较，删除与所述白名单相匹配的主机，过滤误报主机；还用于将所述告警信息中的所述检测对象标识符与黑名单进行比较，检测出与所述黑名单相匹配的主机，确认为所述受控僵尸主机；将与所述白名单和所述黑名单都不匹配的主机确认为所述可疑受控僵尸主机；并且根据确认结果，更新所述黑名单和所述白名单的内容。7.一种僵尸网络分布式实时检测系统，其特征在于，所述系统包括：数据生成组件和数据检测组件；所述数据生成组件，用于接收网络流量生成网络流量元数据Netflow信息，并将所述Netf...

【专利技术属性】
技术研发人员：胡卫华，班晓芳，曲武，张利，孟祥杰，刘锡峰，梁杰，
申请(专利权)人：中国信息安全测评中心，北京启明星辰信息安全技术有限公司，北京启明星辰信息技术股份有限公司，
类型：发明
国别省市：北京;11