一种周期性行为检测方法、系统及终端机技术方案

本发明专利技术提供一种周期性行为检测方法、系统及终端机，涉及数据聚类算法技术领域，将网络的流量数据进行整理，去重并按时间进行升序排列；查找周期序列和周期值，对周期序列和周期值进行筛选，留下含周期性的行为序列；计算每一个行为模式对应的行为序列的前两类均方差的平均值，按照平均值对行为模式进行排序，排序后输出行为模式以及周期值。通过对数据的筛选，剔除了大量实际流量中不包含周期行为的序列，提高了整体效率。通过均方差将行为模式进行排序，在保证了检测效率。在保证了检测效率。在保证了检测效率。

【技术实现步骤摘要】
一种周期性行为检测方法、系统及终端机


[0001]本专利技术涉及数据聚类算法
，尤其涉及一种基于DBSCAN的周期性行为检测方法、系统及终端机。

技术介绍

[0002]在用户行为分析中，个人周期性行为（如周期性访问、下载或操作等）是一类常见的现象，也是用户行为的重要组成部分。通过对个人周期性行为的识别可以挖掘出用户的行为规律，对于一些比较敏感的事件如果存在周期性或者半周期性，我们则需要加强监管，从而降低风险。
[0003]检测周期性行为的现有技术主要包括自相关方法和快速傅里叶变换等方法。基于自相关方法主要通过自相关函数或自相关系数的计算再结合特定的统计方式来判定时间戳序列的周期性；基于快速傅里叶变换的方法主要将时域信号转换到频域空间，继而在频域空间分析序列的周期性及可能的周期值大小。
[0004]在现有方法中，基于自相关的方法对不同的周期性序列有不同的合适阈值，而阈值的选取则较为困难，且在一些特定的情况下误报率较高，对周期值较小的序列效果一般较差。基于快速傅里叶变换的相关方法通常难以抑制噪声的影响，一般只适用于周期值为中短周期的序列。

技术实现思路

[0005]本专利技术提供一种基于DBSCAN的周期性行为检测方法，检测方法通过对数据的筛选，剔除了大量实际流量中不包含周期行为的序列，提高了整体效率。
[0006]方法包括：步骤一、将网络的流量数据进行整理，去重并按时间进行升序排列；步骤二、查找周期序列和周期值，对周期序列和周期值进行筛选，留下含周期性的行为序列；步骤三、计算每一个行为模式对应的行为序列的前两类均方差的平均值，按照平均值对行为模式进行排序，排序后输出行为模式以及周期值。
[0007]进一步需要说明的是，步骤一中的流量数据包括：源ip、目的ip、协议、目标端口以及时间的五元组。
[0008]进一步需要说明的是，步骤一中将流量数据划分成两层筛选。
[0009]进一步需要说明的是，第一层筛选方式包括：（1）对预设字段为特定值流量或已经备案的字段流量进行筛除；（2）将五元组中源ip、目的ip、协议、目标端口均相同的流量数据作为同一行为模式，再将同一行为模式数量小于等于3条，或大于30000条的流量进行筛除；筛除后再次将流量数据进行整理，整理成行为模式对应的时间戳序列。
[0010]进一步需要说明的是，第二层筛选方式包括：
设置一个时间轴，每隔一段时间设置一个时间刻度，将时间轴分成间隔长度相等的若干个间隔，间隔序号从0开始依次往后排；将时间戳序列中的所有时间点依次配置到相应的时间间隔中；依次统计时间间隔中存在时间点的序号，所有序号记为列表；计算中序列的间隔，计算方式为后一个减去前一个，得到新的间隔序列记为，统计中各间隔的数量，按数量的多少进行排序；前两项数量之和记为S，计算S与总间隔样本的比值；若比值大于设定阈值th则保存行为模式以及对应的比值。
[0011]进一步需要说明的是，步骤二还包括：步骤11、将时间序列换算成间隔序列T,其中；步骤12、对T使用 DBSCAN方法进行聚类；步骤13、对于每一簇，计算当前簇的均值p和标准差，如果落在的数量占中元素总数量的占比超设定阈值，则舍弃当前簇；否则保留；步骤14、对于保留下来的，按每一簇中元素的多少进行排序；步骤15、计算当前簇的卡方阈值；如果当前簇中元素的数量，则计算当前簇的平均值和均方差记录为步骤 16、将簇按照进行排序；步骤17、如果前两簇中元素的总数量大于预设阈值，且总类别数小于预设数量，则保留；其中均值作为输入序列的周期；步骤18、输出行为模式的周期。
[0012]进一步需要说明的是，步骤12还包括：若无法聚类则认为行为模式不具有周期性，所有过程结束；若聚类后形成K簇，计算噪音率nsr；若nsr 小于等于设定阈值, 去掉噪音数据进行步骤13；若nsr 大于设定阈值则认为所述间隔序列T不具有周期性，所有过程结束。
[0013]进一步需要说明的是，步骤三中通过如下公式计算平均值：
。
[0014]本专利技术还提供一种周期性行为检测系统，系统包括：数据筛选层、周期检测层以及排序层；数据筛选层，用于将网络的流量数据进行整理，去重并按时间进行升序排列；周期检测层，用于查找周期序列和周期值，对周期序列和周期值进行筛选，留下含周期性的行为序列；排序层，用于计算每一个行为模式对应的行为序列的前两类均方差的平均值，按照平均值对行为模式进行排序，排序后输出行为模式以及周期值。
[0015]本专利技术还提供一种终端机，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，处理器执行程序时实现周期性行为检测方法的步骤。
[0016]从以上技术方案可以看出，本专利技术具有以下优点：本专利技术的周期性行为检测方法通过对流量数据的筛选，剔除了大量流量数据中不包含周期行为的序列，提高了整体效率本专利技术还通过DBSCAN、卡方检验、设定多类阈值等方法检测出了序列是否具有周期性以及最可能的周期，最终通过均方差将行为模式进行排序，这样在保证了效率的同时，可以检测出周期值，而且对半周期行为，多周期行为（白天按周期晚上按周期进行访问）有出色的检测能力，并且克服周期访问数据量中的缺失，也就是流量检测器中无法检测记录全部流量、噪音和周期浮动等多种数据质量问题。
[0017]本专利技术的周期性行为检测方法解决了现有方法中，对不同的周期性序列有不同的合适阈值，且在一些特定的情况下误报率较高，对周期值较小的序列效果差的缺点。本专利技术避免了基于快速傅里叶变换的相关方法难以抑制噪声影响的问题，本专利技术可以适用于周期值为中短周期的序列。剔除了大量实际流量中不包含周期行为的序列，提高了整体检测效率。
附图说明
[0018]为了更清楚地说明本专利技术的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为周期性行为检测方法流程图；图2为整理后的序列图；图3为一个行为模式序列在时间轴上的分布图；图4为被排序后的行为序列图；图5为周期性行为检测系统示意图。
具体实施方式
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]如图1所示，本专利技术提供一种周期性行为检测方法中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的模块而非按照实际实施时的模块数目及功能，其实际实施时各模块的功能、数量及用途可为一种随意的改变，且其模块布局功能也可能更为复杂。
[0022]本专利技术的周期性行为检测方法可以基于人工智能技术对关联的数据进行获取和处理。其中，人工智能(Artif本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种周期性行为检测方法，其特征在于，方法包括：步骤一、将网络的流量数据进行整理，去重并按时间进行升序排列；步骤二、查找周期序列和周期值，对周期序列和周期值进行筛选，留下含周期性的行为序列；步骤三、计算每一个行为模式对应的行为序列的前两类均方差的平均值，按照平均值对行为模式进行排序，排序后输出行为模式以及周期值。2.根据权利要求1所述的周期性行为检测方法，其特征在于，步骤一中的流量数据包括：源ip、目的ip、协议、目标端口以及时间的五元组。3.根据权利要求2所述的周期性行为检测方法，其特征在于，步骤一中将流量数据划分成两层筛选。4.根据权利要求3所述的周期性行为检测方法，其特征在于，第一层筛选方式包括：（1）对预设字段为特定值流量或已经备案的字段流量进行筛除；（2）将五元组中源ip、目的ip、协议、目标端口均相同的流量数据作为同一行为模式，再将同一行为模式数量小于等于3条，或大于30000条的流量进行筛除；筛除后再次将流量数据进行整理，整理成行为模式对应的时间戳序列。5.根据权利要求4所述的周期性行为检测方法，其特征在于，第二层筛选方式包括：设置一个时间轴，每隔一段时间设置一个时间刻度，将时间轴分成间隔长度相等的若干个间隔，间隔序号从0开始依次往后排；将时间戳序列中的所有时间点依次配置到相应的时间间隔中；依次统计时间间隔中存在时间点的序号，所有序号记为列表；计算中序列的间隔，计算方式为后一个减去前一个，得到新的间隔序列记为，统计中各间隔的数量，按数量的多少进行排序；前两项数量之和记为S，计算S与总间隔样本的比值；若比值大于设定阈值th则保存行为模式以及对应的比值。6.根据权利要求5所述的周期性行为检测方法，其特征在于，方法还包括：步骤二还包括：步骤11、将时间序列换算成间隔序...

【专利技术属性】
技术研发人员：仝永杰，路冰，卢延科，孙琦，唐上，
申请(专利权)人：中孚安全技术有限公司，
类型：发明
国别省市：