一种用于异常检测的否定选择方法技术

本发明专利技术属于异常检测技术领域，公开了一种用于异常检测的否定选择方法包括：对具体的异常检测问题进行形式化定义；定义异常检测问题的正常样本和自体集；使用集成假设检验的二次否定选择过程产生检测器；输入要检测的数据，如果与检测器匹配，则为异常数据，否则为正常数据。检测器的二次否定生成过程包括；与已有的检测器进行第一次否定选择，然后与自体进行第二次否定选择过程。通过二次否定过程生成检测器，并改变接受和拒绝零假设的条件来快速更新检测器集，减少了无效检测器的生成。本发明专利技术异常检测的误报率有所降低，检测器生成的数量有了明显地减少，提高了检测器效率，适合在线快速检测。

A negative selection method for anomaly detection

The invention belongs to the technical field of anomaly detection, comprising a negative selection method for anomaly detection: a formal definition of the specific problem of anomaly detection; normal samples and autologous anomaly detection set is defined; using integrated hypothesis testing two negative selection process detector; to detect the input data, if with the detector matching, for abnormal data, otherwise normal data. The two negative generation process of the detector includes the first negative selection with the existing detector and then the second negative selection process with the autologous. The detector is generated through the two negation process, and the condition of receiving and rejecting null hypothesis is changed to update the detector set rapidly, and the generation of invalid detectors is reduced. The false alarm rate of the anomaly detection is reduced, the number of detectors generated has been significantly reduced, the detector efficiency has been improved, and it is suitable for online fast detection.

【技术实现步骤摘要】
一种用于异常检测的否定选择方法
本专利技术属于异常检测
，尤其涉及一种用于异常检测的否定选择方法。
技术介绍
异常检测技术在网络安全、数据分析等方面有着广泛的应用。基于免疫的否定选择算法(又称阴性选择算法)是实现异常检测的一种有效方法，并在工程中得到了广泛应用。面向异常检测的否定选择算法中，检测器集的好坏和多少直接影响着检测性能，因此，如何有效的生成检测器是否定选择算法中的关键问题。按照数据表示方式，否定选择算法可以分为字符串(包含二进制)表示和实数值向量表示。由于实值比字符串更适合描述数值型数据在空间的分布和处理高维问题，更符合实际应用，得到了研究者更为广泛的关注。实值否定选择算法中，最为代表性的算法是V-Detector算法，后续的很多研究与应用都基于此展开。但这类算法的缺点之一是：没有及时对检测器集合进行更新，仍产生了大量无效的检测器，导致算法的效率降低，影响了在实际问题中的推广应用。综上所述，现有技术存在的问题是：现有的存在异常检测的否定选择没有及时更新检测器集合，导致了冗余检测器的生成，造成异常检测速度慢，误报率高。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种用于异常检测的否定选择方法。本专利技术是这样实现的，一种种用于异常检测的否定选择方法，所述用于异常检测的否定选择方法对具体的异常检测问题进行形式化定义；定义异常检测问题的正常样本和自体集，随机产生检测器，通过自体集训练随机产生的检测器集，与自体不匹配的检测器作为候选检测器；输入要检测的异常数据，如果与检测器匹配，则为异常数据，否则为正常数据。进一步，检测器生成中采用集成假设检验的生成算法具体包括：(1)随机生成一个候选检测器；(2)首先检测随机生成的检测器是否被已有的检测器覆盖；如果被覆盖，则转(1)重新随机生成；否则，进一步判断该检测器是否自体，如果是自体，则转(1)重新随机生成；否则，转(3)；(3)再次判断是否被检测器覆盖；如果被检测器覆盖，则判断是否达到结束条件(4)；(4)结束条件为：通过记录被覆盖的非自体的数量m和没被覆盖的非自体数量m’作为拒绝和接受零假设的条件(m+m’＝n)，且只要被覆盖的点的数量比其上限值(mmax)要更大，将接受零假设，结束算法，将检测器集自动地进行一次更新；否则，转(5)；设m为被覆盖的点的数量，m′为没被覆盖的点的数量，n为样本大小，则m+m′＝n。m＞mmax表示没被覆盖的点的数量比其上限值要更大；(5)判断m′＞n-mmax是否成立，如果成立，将其作为成熟检测器，否则转(1)。进一步，所述用于异常检测的否定选择方法具体包括：第一步，给定已有参数的值：期望覆盖率p,显著性水平a,样本大小n(n＞max(5/p,5/(1-p))，自体半径大小rs；初始检测器集合D为空；已知的自体集合为S；第二步，用t和m分别记录非自体点的数量和已经被检测器覆盖的非自体点的数量，初值均设置为0；第三步，随机在问题空间采样一个点x；第四步，计算点x是否被检测器集合D中的已有检测器覆盖；如果被覆盖，转第三步；否则，转第五步；第五步，判断点x是否为自体；如果是自体，则转第三步；否则，则表明x是非自体，转第六步；第六步，令t＝t+1；判断x是否被检测器覆盖；如果被检测器覆盖，则转第七步；否则，转第八步；第七步，令m＝m+1，计算m＞mmax是否成立；如果成立，说明检测器覆盖率已经足够，则转第十步，结束算法；否则，转第九步；第八步，将x作为候选检测器，对检测器中心和半径进行优化，生成新的检测器；第九步，判断m′＞n-mmax是否成立；如果成立，则候选检测器x成为成熟检测器并放入检测器集合D，转第二步；否则，则转第三步；第十步，输出检测器集D，算法结束。进一步，所述第四步和第六步中判断x是否已经被检测器覆盖的方法为：计算x与检测器集合D中已有的检测器di(i＝1,2,....n)的欧氏距离如果距离小于任一检测器di的半径r(di)，说明点x已经被检测器覆盖，否则，则没有被覆盖。进一步，所述第八步具体包括：计算点x与自体样本集合S中的自体点si的欧氏距离Li＝Euclidean(si,x)(i＝1,2,....n)，记录距离最近的两个自体点及其距离，分别记作(s1,L1),(s2,L2)，且L1≤L2,并计算r1＝L1-rs，r2＝L2-rs，rs为自体半径；移动检测器的位置到同时更改检测器的半径为则新的检测器为(x',rx')，将(x',rx')作为新的检测器加入到检测器集合D。本专利技术的另一目的在于提供一种应用所述用于异常检测的否定选择方法的检测器生成过程。本专利技术的优点及积极效果为：通过二次否定过程生成检测器，并改变接受和拒绝零假设的条件来快速更新检测器集，达到减少无效检测器的生成。本专利技术保证在有较高的异常检测算法较高的检测率的同时，降低了算法的误报率，减少了所需的检测器的数量，适合于在线异常检测。附图说明图1是本专利技术实施例提供的用于异常检测的否定选择方法流程图。图2是本专利技术实施例提供的相关算法检测率随自体半径变化示意图。图3是本专利技术实施例提供的误报率变化曲线示意图。图4是本专利技术实施例提供的所需的检测器个数示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。下面结合附图对本专利技术的应用原理作详细的描述。如图1所示，本专利技术实施例提供的用于异常检测的否定选择方法包括以下步骤：S101：对具体的异常检测问题进行形式化定义；S102：定义异常检测问题的正常样本和自体集；使用二次否定选择过程产生检测器；S103：输入要检测的异常数据，如果与检测器匹配，则为异常数据，否则为正常数据。在步骤S102的检测器生成中，采用集成假设检验的生成算法，具体如下：(1)随机生成一个候选检测器；(2)首先检测随机生成的检测器是否被已有的检测器覆盖；如果被覆盖，则转(1)重新随机生成；否则，进一步判断该检测器是否自体，如果是自体，则转(1)重新随机生成；否则，转(3)；(3)再次判断是否被检测器覆盖；如果被检测器覆盖，则判断是否达到结束条件(4)；(4)结束条件为：通过记录被覆盖的非自体的数量m和没被覆盖的非自体数量m’作为拒绝和接受零假设的条件(m+m’＝n)，且只要被覆盖的点的数量比其上限值(mmax)要更大，将接受零假设，结束算法，将检测器集自动地进行一次更新；否则，转(5)；设m为被覆盖的点的数量，m′为没被覆盖的点的数量，n为样本大小，则m+m′＝n。m＞mmax表示没被覆盖的点的数量比其上限值要更大；(5)判断m′＞n-mmax是否成立，如果成立，将其作为成熟检测器，否则转(1)。本专利技术实施例提供的用于异常检测的否定选择方法具体包括：第一步，给定已有参数的值：期望覆盖率p,显著性水平a,样本大小n(n＞max(5/p,5/(1-p))，自体半径大小rs。初始检测器集合D为空；已知的自体集合为S；第二步，用t和m分别记录非自体点的数量和已经被检测器覆盖的非自体点的数量，初值均设置为0；第三步，随机在问题空间采样一个点x；第四步，计算点x是否被检测器集合D中的已有检测器覆盖；如果被覆盖，转第三步；否本文档来自技高网...

【技术保护点】
一种用于异常检测的否定选择方法，其特征在于，所述用于异常检测的否定选择方法对具体的异常检测问题进行形式化定义；定义异常检测问题的正常样本和自体集，使用集成假设检验的二次否定选择过程产生检测器；检测器的二次否定生成过程包括；与已有的检测器进行第一次否定选择，然后与自体进行第二次否定选择过程；并通过改变接受和拒绝零假设的条件来快速更新检测器集；，输入要检测的数据，如果与检测器匹配，则为异常数据，否则为正常数据。

【技术特征摘要】
1.一种用于异常检测的否定选择方法，其特征在于，所述用于异常检测的否定选择方法对具体的异常检测问题进行形式化定义；定义异常检测问题的正常样本和自体集，使用集成假设检验的二次否定选择过程产生检测器；检测器的二次否定生成过程包括；与已有的检测器进行第一次否定选择，然后与自体进行第二次否定选择过程；并通过改变接受和拒绝零假设的条件来快速更新检测器集；，输入要检测的数据，如果与检测器匹配，则为异常数据，否则为正常数据。2.如权利要求1所述的用于异常检测的否定选择方法，其特征在于，检测器生成中采用集成假设检验的生成算法具体包括：(1)随机生成一个候选检测器；(2)首先检测随机生成的检测器是否被已有的检测器覆盖；如果被覆盖，则转(1)重新随机生成；否则，进一步判断该检测器是否自体，如果是自体，则转(1)重新随机生成；否则，转(3)；(3)再次判断是否被检测器覆盖；如果被检测器覆盖，则判断是否达到结束条件(4)；(4)结束条件为：通过记录被覆盖的非自体的数量m和没被覆盖的非自体数量m’作为拒绝和接受零假设的条件(m+m’＝n)，且只要被覆盖的点的数量比其上限值(mmax)要更大，将接受零假设，结束算法，将检测器集自动地进行一次更新；否则，转(5)；(5)判断m′＞n-mmax是否成立，如果成立，将其作为成熟检测器，否则转(1)。3.如权利要求1所述的用于异常检测的否定选择方法，其特征在于，所述用于异常检测的否定选择方法具体包括：第一...

【专利技术属性】
技术研发人员：柴争义，李亚伦，杨建辉，吴聪，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津,12