一种异常访问检测方法及设备技术

本申请公开了一种异常访问检测方法，通过基于各个样本访问请求对应的时序数据特征的提取，获取对应的标签的取值，然后根据各个样本访问请求对应的标签的取值以及属性数据生成检测参数，故在获取待检测的访问请求的属性数据之后，根据属性数据以及检测参数生成与访问请求对应的异常概率，在判断异常概率是否大于预设的异常阈值之后，即可基于二者的大小确认访问请求是否为异常访问请求。从而能够在海量的访问请求中准确地针对异常访问请求进行识别处理，保证了网络的稳定性与安全性。

Abnormal access detection method and device

The invention discloses a method for detecting abnormal access, through the feature extraction based on time-series data of each sample access request corresponding to the value, to obtain the corresponding label, then according to the values of all samples corresponding to the access request tag and attribute data generation parameters, so after the data to be detected according to the access request. The probability of abnormal formation and access to the attribute data and detection parameters corresponding to the request, after the abnormal threshold anomaly probability is larger than a preset, the size of the two can be confirmed based on whether the access request for abnormal access request. Thus, it can accurately identify the abnormal access requests in the massive access requests, and ensure the stability and security of the network.

【技术实现步骤摘要】
一种异常访问检测方法及设备
本申请涉及互联网
，特别涉及一种异常访问检测方法。本申请同时还涉及一种异常访问检测设备。
技术介绍
数据挖掘是从大规模的数据集中提取潜在的、隐含的、有价值的知识、模式或规则的过程。从大规模的数据集中挖掘的模式一般可以分为五类：关联规则、分类和预测、聚类、演变分析以及异常点检测等。异常点数据的挖掘包括异常点数据检测和异常点数据分析两个部分。异常点数据是与数据的一般行为或模型不一致的数据，它们是数据集中与众不同的数据，这些数据并非随机偏差，而是产生于完全不同的机制。异常点数据挖掘有着广泛的应用，如欺诈检测，用异常点检测来探测不寻常的信用卡使用或者电信服务；预测市场动向；在市场分析中分析客户的流失等异常行为；或者在医疗分析中发现对多种治疗方式的不寻常的反应等等；通过对这些数据进行研究，发现不正常的行为和模式，实现异常数据挖掘功能。如图1所示，为现有的异常点监测技术手段解决服务响应问题的示意图，异常点监测技术手段目前有着广泛的应用。在该问题中，多个用户会向服务器提交相应的服务申请，在这些申请中，有的申请是正常申请，有的申请是异常申请。如果服务器接受了异常申请，那么将会严重影响服务器工作，也会对其他正常的申请造成一定的影响。为解决上述技术问题，现有技术中使系统根据用户的请求以及用户的信息记录决定是否响应用户请求。在判定过程中，会引入一些机器学习的算法进行学习，现在常用的方法包括根据用户属性构造马氏距离挖掘处于离群点的用户、以及根据用户提交请求的频率进行异常点判别等方法，具体判别过程如下：(1)在根据马氏距离进行异常点判别的过程中，首先计算用户属性间的协方差矩阵，其定义如下：Σ＝E{(X-E[X])(X-E[X])T}随后根据该协方差矩阵计算马氏距离，其定义如下：Ma＝(X-μ)TΣ-1(X-μ)最后根据该距离的大小进行判别，一些距离过大的点将被判定为离群点。(2)在根据用户提交请求的频率进行异常点判别的方法中，用户单位时间提交请求的次数超过一定阈值之后，将会直接被判定为异常点。因此如何利用已有的访问数据和用户信息，更加准确地鉴别出异常请求，并采取相应措施，切实关系到服务资源分配的稳定性和经济性，是服务响应策略中的一个非常重要的问题。然而，专利技术人在实现本申请的过程中发现，现有带时序数据的异常点检测算法或者只利用了访问用户本身的特征数据，进行聚类，只能反映访问用户属性上的特征；或者只利用了访问的时序数据，手动设置阈值来发现一些异常点(即确认当前的访问为异常)。这两种方式都没有充分发挥数据的价值，得出的结果往往并不十分的准确以及有效。
技术实现思路
本申请提供了一种异常方法检测方法，用以提高针对异常访问的检测效率以及准确性。该方法包括以下步骤：获取待检测的访问请求的属性数据；根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率，所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成；判断所述异常概率是否大于预设的异常阈值；若是，确认所述访问请求为异常访问请求；若否，确认所述访问请求为正常访问请求。优选地，在获取待检测的访问请求的属性数据之前，还包括：根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常；分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签；根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数；根据所述原始检测参数生成所述检测参数。优选地，所述访问频次信息包括所述样本访问请求对应的用户标识以及访问时间，根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常，具体为：根据所述用户标识获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量，以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量；判断所述第一数量与所述第二数量之和是否大于预设的次数阈值；若是，确认所述样本访问请求为异常样本访问请求；若否，确认所述样本访问请求为正常样本访问请求。优选地，具体根据以下公式生成原始检测参数：其中，为所述原始检测参数的取值函数，w为所述原始检测参数，且w为求和项对应的最小值，N为所述样本访问请求的个数，为各所述样本访问请求的标签的取值。优选地，所述异常阈值具体通过以下方式生成：获取异常样本访问请求占所有样本访问请求的百分比；根据所述检测参数获取与各所述样本访问请求对应的异常概率；将各所述样本访问请求对应的异常概率从小至大进行排序处理；根据所述排序结果确定与所述百分比对应的异常概率，并将所述异常概率作为所述异常阈值。相应地，本申请还提出了一种异常访问检测设备，其特征在于，包括：获取模块，获取待检测的访问请求的属性数据；第一生成模块，根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率，所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成；判断模块，判断所述异常概率是否大于预设的异常阈值；若是，所述判断模块确认所述访问请求为异常访问请求；若否，所述判断模块确认所述访问请求为正常访问请求。优选地，还包括：确定模块，根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常；分配模块，分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签；第二生成模块，根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数；第三生成模块，根据所述原始检测参数生成所述检测参数。优选地，所述访问频次信息包括所述样本访问请求对应的用户标识ID以及访问时间，所述确定模块具体用于：根据所述用户ID获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量，以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量；判断所述第一数量与所述第二数量之和是否大于预设的次数阈值；若是，确认所述样本访问请求为异常样本访问请求；若否，确认所述样本访问请求为正常样本访问请求。优选地，具体根据以下公式生成原始检测参数：其中，argminw为所述原始检测参数的取值函数，w为所述原始检测参数，且w为求和项对应的最小值，N为所述样本访问请求的个数，Vi为各所述样本访问请求的标签的取值。优选地，所述异常阈值具体通过以下方式生成：获取异常样本访问请求占所有样本访问请求的百分比；根据所述检测参数获取与各所述样本访问请求对应的异常概率；将各所述样本访问请求对应的异常概率从小至大进行排序处理；根据所述排序结果确定与所述百分比对应的异常概率，并将所述异常概率作为所述异常阈值。由此可见，通过应用本申请的技术方案，在获取待检测的访问请求的属性数据之后，根据属性数据以及检测参数生成与访问请求对应的异常概率，由于检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成，因此在判断异常概率是否大于预设的异常阈值之后，即可基于二者的大小确认访问请求是否为异常访问请求。从而能够在海量的访问请求中准确地针对异常访问请求进行识别处理，保证了网络的稳定性与安全性。附图说明图1为现有技术中异常检测在服务响应上的应用示意图；图2为本申请提出的一种异常访问检测方法的流程示意图；图3为本申请具体实施例中基于时序特征提取的异常点检测流程图；图4为本申请具体实施例中时序数据的本文档来自技高网...

【技术保护点】
一种异常访问检测方法，其特征在于，包括：获取待检测的访问请求的属性数据；根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率，所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成；判断所述异常概率是否大于预设的异常阈值；若是，确认所述访问请求为异常访问请求；若否，确认所述访问请求为正常访问请求。

【技术特征摘要】
1.一种异常访问检测方法，其特征在于，包括：获取待检测的访问请求的属性数据；根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率，所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成；判断所述异常概率是否大于预设的异常阈值；若是，确认所述访问请求为异常访问请求；若否，确认所述访问请求为正常访问请求。2.如权利要求1所述的方法，其特征在于，在获取待检测的访问请求的属性数据之前，还包括：根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常；分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签；根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数；根据所述原始检测参数生成所述检测参数。3.如权利要求2所述的方法，其特征在于，所述访问频次信息包括所述样本访问请求对应的用户标识以及访问时间，根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常，具体为：根据所述用户标识获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量，以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量；判断所述第一数量与所述第二数量之和是否大于预设的次数阈值；若是，确认所述样本访问请求为异常样本访问请求；若否，确认所述样本访问请求为正常样本访问请求。4.如权利要求2所述的方法，其特征在于，具体根据以下公式生成原始检测参数：其中，argminw为所述原始检测参数的取值函数，w为所述原始检测参数，且w为求和项对应的最小值，N为所述样本访问请求的个数，Vi为各所述样本访问请求的标签的取值。5.如权利要求1-4任一项所述的方法，其特征在于，所述异常阈值具体通过以下方式生成：获取异常样本访问请求占所有样本访问请求的百分比；根据所述检测参数获取与各所述样本访问请求对应的异常概率；将各所述样本访问请求对应的异常概率从小至大进行排序处理；根据所述排序结果确定与所述百分比对应的异常概率，并将所述异常概率作为所述异常阈值。6.一...

【专利技术属性】
技术研发人员：付子豪，张凯，蔡宁，杨旭，褚崴，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY