网络流量检测方法和装置制造方法及图纸

本申请公开了一种网络流量检测方法和装置，涉及互联网领域，以解决现有技术导致网络流量数据处理的稳定性较低的技术问题。所述网络流量检测方法包括：获取来自于流量采集设备的流量集合；从所述流量集合中分离出HTTP数据流量；对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；对所述目标格式流量数据进行检测，得到流量检测结果。本申请用于网络流量检测。流量检测。流量检测。

【技术实现步骤摘要】
网络流量检测方法和装置


[0001]本申请涉及互联网领域，尤其涉及一种网络流量检测方法和装置。

技术介绍

[0002]在信息飞速发展的时代，互联网已经成为了人们日常生活中密切相关的新产物，用户在上网冲浪的同时，其中存在的信息安全问题不容忽视，为了提高广大用户的网络信息安全性，必须重视对网络实时流量的威胁分析。
[0003]现有的网络流量威胁检测，需要在网站业务服务器上部署代理服务软件，通过代理服务软件对网络流量进行实时处理。
[0004]但是，这种对网络流量数据的处理方式需要保证软件运行环境的安全性以及更新软件配置，从而会耗费大量额外的机器资源，进而导致网络流量数据处理的稳定性较低。

技术实现思路

[0005]本申请实施例提供一种网络流量检测方法和装置，以解决现有技术导致网络流量数据处理的稳定性较低的问题。
[0006]为了解决上述技术问题，本申请是这样实现的：
[0007]第一方面，本申请实施例提供一种网络流量检测方法，所述网络流量检测方法包括：
[0008]获取来自于流量采集设备的流量集合；
[0009]从所述流量集合中分离出超文本传输协议HTTP数据流量；
[0010]对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；
[0011]对所述目标格式流量数据进行检测，得到流量检测结果。
[0012]可选地，在一个实施例中，所述获取来自于流量采集设备的流量集合包括：对经由所述交换机传输的网络流量进行镜像复制，并对镜像复制后的网络流量进行汇聚集中，得到流量集合。
[0013]可选地，在一个实施例中，所述流量采集设备为交换机，所述获取来自于流量采集设备的流量集合包括：通过千兆网卡或万兆网卡接收来自于所述交换机的流量集合。
[0014]可选地，在一个实施例中，所述从所述流量集合中分离出HTTP数据流量包括：基于HTTP协议分析，从所述流量集合中分离出HTTP数据流量。
[0015]可选地，在一个实施例中，所述HTTP数据流量包括HTTP日志，所述对所述HTTP数据流量进行格式化处理，得到目标格式流量数据包括：通过对所述HTTP日志中的文本数据进行字段拆分，得到指定HTTP日志；所述指定HTTP日志的格式为：【域名】【访问者源IP】【访问目的IP】【URI】【时间戳】。
[0016]可选地，在一个实施例中，在所述从所述流量集合中分离出HTTP数据流量之后，所述网络流量检测方法还包括：将所述HTTP日志推送到指定队列进行存储；从所述指定队列中读取所述HTTP日志。
[0017]可选地，在一个实施例中，所述流量检测结果包括目标日志检测结果，所述对所述目标格式流量数据进行检测，得到流量检测结果包括：基于查询条件，从所述指定HTTP日志中获取至少一条目标日志；基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果；其中，所述目标日志的格式元素包括：域名、访问者源IP、访问目的IP、URI以及时间戳中的至少一种。
[0018]可选地，在一个实施例中，所述威胁特征库包括第一威胁特征库和第二威胁特征库；所述基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果包括：针对任一条目标日志：在第一威胁特征库中查询当前目标日志的访问者源IP和/或访问目的IP；在所述第一威胁特征库中存在当前目标日志的访问者源IP和/或访问目的IP的情况下，在第二威胁特征库中查询当前目标日志的域名；在所述第二威胁特征库中存在当前目标日志的域名的情况下，对当前目标日志的URI进行语义分析，得到语义分析结果；在所述语义分析结果指示属于攻击类型的情况下，将当前目标日志的域名、URI、访问者源IP、访问目的IP组成一条存在安全威胁的目标日志；将检测出的所有存在安全威胁的目标日志组成目标日志检测结果并输出。
[0019]可选地，在一个实施例中，所述目标日志中存在与所述威胁特征库中的元素相关联的第一格式元素；所述基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果包括：针对任一条目标日志：将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配；在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的至少一个元素，将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志；将检测出的所有存在安全威胁的目标日志组成目标日志检测结果并输出。
[0020]可选地，在一个实施例中，所述第一格式元素包括域名、访问者源IP以及访问目的IP中的任一格式元素；所述威胁特征库中的元素包括威胁行为、威胁种类、威胁域名和威胁IP；所述将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配包括：在所述第一格式元素包括域名的情况下，将当前目标日志的域名与所述威胁特征库中的威胁域名进行匹配；在所述第一格式元素包括访问者源IP或访问目的IP的情况下，将当前目标日志的访问者源IP或访问目的IP与所述威胁特征库中的威胁IP进行匹配；所述在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的至少一个元素包括：在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的所述威胁行为和所述威胁种类；所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志包括：将当前目标日志的所述第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述威胁行为和所述威胁种类组成一条存在安全威胁的目标日志。
[0021]可选地，在一个实施例中，所述第一格式元素为URI，所述将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配包括：根据语义分析算法，将当前目标日志的所述URI转换成字符串特征序列；将所述字符串特征序列与所述威胁特征库中的元素进行匹配；所述在匹配成功的情况下，获取所述威胁特征库中的至少一个元素包括：在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的威胁IP；所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一
条存在安全威胁的目标日志包括：将当前目标日志的所述第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述威胁IP组成一条存在安全威胁的目标日志。
[0022]可选地，在一个实施例中，所述目标日志中存在与配置管理库中的元素相关联的第二格式元素；所述网络流量检测方法还包括：在匹配成功的情况下，将当前目标日志的第二格式元素与所述配置管理库中的元素进行匹配；在匹配成功的情况下，获取所述配置管理库中与当前目标日志相匹配的至少一个元素；所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志包括：将当前目标日志的所述第一格式元素、所述第二格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素以及所述配置管理库本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络流量检测方法，其特征在于，所述网络流量检测方法包括：获取来自于流量采集设备的流量集合；从所述流量集合中分离出超文本传输协议HTTP数据流量；对所述HTTP数据流量进行格式化处理，得到目标格式流量数据；对所述目标格式流量数据进行检测，得到流量检测结果。2.根据权利要求1所述的网络流量检测方法，其特征在于，所述流量采集设备为交换机，所述获取来自于流量采集设备的流量集合包括：对经由所述交换机传输的网络流量进行镜像复制，并对镜像复制后的网络流量进行汇聚集中，得到流量集合；或者，通过千兆网卡或万兆网卡接收来自于所述交换机的流量集合。3.根据权利要求1所述的网络流量检测方法，其特征在于，所述HTTP数据流量包括HTTP日志，所述对所述HTTP数据流量进行格式化处理，得到目标格式流量数据包括：通过对所述HTTP日志中的文本数据进行字段拆分，得到指定HTTP日志；所述指定HTTP日志的格式为：【域名】【访问者源IP】【访问目的IP】【统一资源标识符URI】【时间戳】；所述流量检测结果包括目标日志检测结果，相应地，所述对所述目标格式流量数据进行检测，得到流量检测结果包括：基于查询条件，从所述指定HTTP日志中获取至少一条目标日志；基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果；其中，所述目标日志的格式元素包括：域名、访问者源IP、访问目的IP、URI以及时间戳中的至少一种。4.根据权利要求3所述的网络流量检测方法，其特征在于，所述目标日志中存在与所述威胁特征库中的元素相关联的第一格式元素；所述基于所述目标日志的格式元素以及威胁特征库，对所述目标日志进行检测，得到目标日志检测结果包括：针对任一条目标日志：将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配；在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的至少一个元素，将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志；将检测出的所有存在安全威胁的目标日志组成目标日志检测结果并输出。5.根据权利要求4所述的网络流量检测方法，其特征在于，所述第一格式元素包括域名、访问者源IP以及访问目的IP中的任一格式元素；所述威胁特征库中的元素包括威胁行为、威胁种类、威胁域名和威胁IP；所述将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配包括：在所述第一格式元素包括域名的情况下，将当前目标日志的域名与所述威胁特征库中的威胁域名进行匹配；在所述第一格式元素包括访问者源IP或访问目的IP的情况下，将当前目标日志的访问者源IP或访问目的IP与所述威胁特征库中的威胁IP进行匹配；
所述在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的至少一个元素包括：在匹配成功的情况下，获取所述威胁特征库中与当前目标日志相匹配的所述威胁行为和所述威胁种类；所述将当前目标日志的第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述至少一个元素组成一条存在安全威胁的目标日志包括：将当前目标日志的所述第一格式元素、所述威胁特征库中与当前目标日志相匹配的所述威胁行为和所述威胁种类组成一条存在安全威胁的目标日志。6.根据权利要求4所述的网络流量检测方法，其特征在于，所述第一格式元素为URI，所述将当前目标日志的第一格式元素与所述威胁特征库中的元素进行匹配包括：根据语义分析算法，将当前目标日志的所述URI转换成字符串特征序列；将所述字符串特征序列与所述威...

【专利技术属性】
技术研发人员：盛洋，
申请(专利权)人：新浪网技术中国有限公司，
类型：发明
国别省市：