用于对从系统取得的测量值进行评级的方法和系统技术方案

本发明专利技术涉及一种用于对从可处于无错误状态或者错误状态的系统(S)取得的测量值进行评级的方法，其中系统(S)具有至少一个通信网络、通信系统的网络组件和/或通信网络的服务，该方法具有以下步骤，这些步骤优选地采用以下次序：形成来自系统(S)的未标记测量值v的集合(V)；通过使用基于随机的方法对来自集合(V)的测量值进行移除和/或加权来为学习系统(L)形成包含测量值(v')的经修改的学习集合(V')；由学习系统(L)从经修改的学习集合(V')形成用于对来自系统(S)的测量值进行评级的模型(M)；以及，通过评级系统(B)使用模型(M)对来自系统(S)的测量值进行评级。此外，本发明专利技术还涉及一种用于对从可处于无错误状态或者错误状态的系统(S)取得的测量值进行评级的系统，其中系统(S)具有至少一个通信网络、通信系统的网络组件和/或通信网络的服务，该系统具有：用于形成来自系统(S)的未标记测量值v的集合(V)的设备；用于通过使用基于随机的方法对来自集合(V)的测量值进行移除和/或加权来为学习系统(L)形成包含测量值(v')的经修改的学习集合(V')的设备；适用于从经修改的学习集合(V')形成用于对来自系统(S)的测量值进行评级的模型(M)的学习系统(L)；以及，适于使用模型(M)对来自系统(S)的测量值进行评级的评级系统(B)。

【技术实现步骤摘要】
【国外来华专利技术】用于对从系统取得的测量值进行评级的方法和系统本专利技术涉及用于对从可处于无错误或错误状态的系统S取得的测量值进行评级的方法和系统。该系统包括至少一个通信网络、通信系统的网络组件和/或通信网络的服务。在检测异常或非正常测量值(即所谓的异常值)的领域中，现有技术包括用于查找异常或非正常测量值的众多方法。查找非正常测量值被称为“异常值检测”或也被称为“异常检测”。例如，在[1]中，对异常值检测的使用被描述为数据挖掘领域中的主要步骤之一。在[1]中，特别注意被吸引到所使用的估计的稳健性，并且示出了基于距离测量的异常值检测、聚类方法以及空间方法的各种可能性。在[2]中，异常值检测的含义被讨论为各种应用领域以及科学领域的重要问题。首先，从现有技术中已知的各异常值检测方法在基本假设和要求方面存在不同。对于异常值检测，一些方法需要潜在分布及其参数，系统S借助这些潜在分布及其参数来生成经测量的值。此外，存在借助“局部异常值概率算法”(LoOP,[3])并结合“局部异常值因子算法”(LOF,[4])或相关的算法来计算概率值的方法。此外，[5]公开了一种用于基于作为异常值检测的任何期望分数函数的输出的分数值来获得涉及概率值(即在区间[0,1]内的值)的变换的方法。该概率值指示来自集合V的测量值是与潜在测量值集合有关的异常值的概率。这些概率用于构成包括非常可能的异常值的列表。公开[6]涉及用于进行数据过滤以减少功能和趋势线异常值偏差的系统和方法。在用于检测异常值的常规方法中，通常使用阈值或极限值。例如，有可能检测当高于或低于这样的阈值或极限值时，测量值可被认为是异常值或正常测量值。对阈值的使用是不利的，因为这样的阈值必须主要借助参与的测试和评估来检测。此外，集合V中与大部分测量值都偏离非常多但属于正常系统状态S的测量值通过使用阈值将被滤除，而没有可能根据用于确定系统的状态的所分配的概率使其也进入学习集合。参考[1]IradBen-Gal."Outlierdetection(异常值检测)",in:MaimonO.andRockachL.(Eds.),“DataMiningandKnowledgeDiscoveryHandbook:ACompleteGuideforPractitionersandResearchers(数据挖掘和知识发现手册：针对实践者和研究者的完全向导)"KluwerAcademicPublishers(克鲁维尔学术出版社),2005[2]VarunChandola,ArindamBanerjee,VipinKumar."OutlierDetection:ASurvey(异常值检测：纵览)",2007,(http://citeseerx.ist.psu.edu/viewdoc/summary？doi＝10.1.1.108.8502)[3]Hans-PeterKriegel,P.E.Schubert,A.Zimek."LoOP:LocalOutlierProbabilities(LoOP：局部异常值概率)",inProceedingsof18thACMConferenceonInformationandKnowledgeManagement(CIKM)(第18界ACM信息和知识管理(CIKM)会议论文集),2009(http://www.dbs.ifi.lmu.de/Publikationen/Papers/LoOP1649.pdf).[4]M.M.Breunig,Hans-PeterKriegel,R.T.Ng,J.Sander."LOF:IdentifyingDensity-basedLocalOutliers(LOF:标识基于密度的局部异常值)",inACMSIGMODRecord.No.29,2000,(http://www.dbs.ifi.lmu.de/Publikationen/Papers/LOF.pdf)[5]Hans-PeterKriegel,PeerErichSchubert,ArthurZimek."InterpretingandUnifyingOutlierScores(解释和统一异常值分数)",inProceedingsof11thSIAMInternationalConferenceonDataMining(第11界AIAM数据挖掘国际会议论文集).2011,(http://siam.omnibooksonline.com/2011datamining/data/papers/018.pdf).[6]US2013/046727A1本专利技术的目的是提供一种用于对从可处于无错误/正常状态或者错误/非正常状态的系统S取得的测量值进行评级的方法和系统。该目的通过独立权利要求中的特征来解决。从属权利要求涉及本专利技术的优选实施例。本专利技术始于以下基本概念：优选机器或静态学习系统L可以按自动化方式在来自要被监视的系统S的未标记测量值V的基础上对测量值进行评级。非正常测量值可指示系统S处于错误状态。未标记意味着鉴于该测量值，不存在系统S在该测量值被取得的时刻处于哪个状态—无错误/错误—的信息。提供一种在使用学习系统之前将非常可能由系统S的错误状态导致的测量值从测量值学习集合V中移除的随机化/基于随机的方法。由此，防止这样的测量值负面地影响学习系统L的学习过程以致经学习的模型M在对将来的新测量值W进行评级时将系统S的错误状态错误地评级为正常的后果。另一方面，考虑发现这样的值对于学习系统的学习过程是有价值的，并且在可能的情况下，不应当被(完全地)移除。通过此关系，本专利技术考虑V可能包括以下测量值：该测量值具有与V中的其他测量值相比是异常的值，但该测量值尚未在系统S的错误状态中被检测出，并且因此应当被考虑为正常。本专利技术涉及一种用于对从可处于无错误/正常状态或者错误/非正常状态的系统S取得的测量值进行评级的方法，其中系统S包括至少一个通信网络、通信系统的网络组件和/或通信网络的服务，该方法包括以下步骤，这些步骤优选地采用以下次序：(a)形成来自系统S的未标记测量值v的集合V；(b)通过使用基于随机的方法对来自集合V的测量值进行移除和/或加权来为学习系统L形成包括测量值v'的经修改的学习集合V'。(c)由学习系统L从经修改的学习集合V'形成用于对来自系统S的测量值进行评级的模型M；以及，(d)由评级系统B使用模型M对来自系统S的测量值进行评级。系统S可以是具有两种系统状态(无错误/正常以及错误/非正常)的系统然而，该方法也可适用于具有不同系统状态(例如，多种系统状态)的其他系统S。根据本专利技术，鉴于系统S的未标记测量值v，没有必要存在关于相应的测量值是在系统S处于错误状态还是处于无错误状态的时刻被测量的可信信息。测量值是在测量系统S处取得的，并且可以是系统状态的指示符。在存在不同类型的测量值的情况下，还可将关于测量值的类型的信息分配给相应的测量值。在测量值是时间序列的情况下，可另外地针对各个体测量值v将关于测量的时间点的信息分配给集合V。根据本专利技术的一实施例，步骤(b)包括以下步骤，这些步骤优选地采用以下次序：(b1)通过至少一个分数函数F:V→Q,从集合V形成包括分数值q的分数值集合Q；(b2)通过至少一本文档来自技高网...

【技术保护点】
一种用于对从可处于无错误状态或者错误状态的系统S取得的测量值进行评级的方法，其中所述系统S包括至少一个通信网络、通信系统的网络组件或通信网络的服务，所述方法包括以下步骤，所述步骤优选地采用以下次序：(a)形成来自所述系统S的未标记测量值v的集合V；(b)通过使用基于随机的方法对来自所述集合V的测量值进行(i)移除或(ii)加权或(iii)移除和加权来为学习系统L形成包括测量值v'的经修改的学习集合V'；(c)由所述学习系统L从所述经修改的学习集合V'形成用于对来自所述系统S的测量值进行评级的模型M；以及(d)由评级系统B使用所述模型M对来自所述系统S的测量值进行评级。

【技术特征摘要】
【国外来华专利技术】2013.09.27 EP 13186464.71.一种用于对从可处于无错误状态或者错误状态的系统S取得的测量值进行评级的方法，其中所述系统S包括至少一个通信网络、通信系统的网络组件或通信网络的服务，所述方法包括以下步骤，所述步骤优选地采用以下次序：(a)形成来自所述系统S的未标记测量值v的集合V；(b)通过使用基于随机的方法对来自所述集合V的测量值进行(i)移除或(ii)加权或(iii)移除和加权来为学习系统L形成包括测量值v'的经修改的学习集合V'；(c)由所述学习系统L从所述经修改的学习集合V'形成用于对来自所述系统S的测量值进行评级的模型M；以及(d)由评级系统B使用所述模型M对来自所述系统S的测量值进行评级；其中在步骤(b)中，还在对来自所述集合V的测量值v进行(i)移除或(ii)加权或(iii)移除和加权的期间，将测量值v的至少一个最近近邻移除。2.根据权利要求1所述的方法，其特征在于，步骤(b)包括以下步骤：(b1)通过至少一个分数函数F：V→Q,从所述集合V形成包括分数值q的分数值集合Q；(b2)通过至少一个变换函数T：Q→P,从所述分数值集合Q形成包括概率p的概率集合P；(b3)从测量值形成所述经修改的学习集合V'，其中所述测量值v∈V与相应的概率1-p一起被包括在所述经修改的学习集合V'中，其中p＝T(F(v))；或者其中所述测量值v∈V通过至少一个加权函数G被给予相应的权重。3.根据权利要求1所述的方法，其特征在于，步骤(b)包括以下步骤：(b1)通过至少一个分数函数F:V→Q,从所述集合V形成包括分数值q的分数值集合Q；(b2)通过至少一个变换函数T：Q→P,从所述分数值集合Q形成包括概率p的概率集合P；(b3)从测量值形成所述经修改的学习集合V'，其中所述测量值v∈V与相应的概率1-p一起被包括在所述经修改的学习集合V'中，其中p＝T(F(v))；并且其中所述测量值v∈V通过至少一个加权函数G被给予相应的权重。4.根据权利要求2或3所述的方法，其特征在于，所述分数函数F可表示具有分数值的输出的独立的学习系统L'和评级系统B'。5.根据权利要求4所述的方法，其特征在于，所述分数函数F可表示具有分数值的输出的独立的机器学习系统L'和评级系统B'。6.根据权利要求2或3所述的方法，其特征在于，所述分数函数F是通过考虑所述测量值v的k个次近邻来形成的。7.根据权利要求2或3所述的方法，其特征在于，所述变换函数T是持续递增函数。8.根据权利要求7所述的方法，其特征在于，所述变换函数T是对所有具有0≤T(x)≤1的持续递增函数。9.根据权利要求7所述的方法，其特征在于，所述变换函数T是正态分布、韦伯分布、β分布或连续均布。10.根据权利要求2或3所述的方法，其特征在于，所述加权函数G被定义为G(p)＝1-p＝1-T(F(v))。11.根据权利要求2或3所述的方法，其特征在于，步骤(b1)到(b3)按迭代方式被相继地执行若干次。12.根据权利要求1所述的方法，其特征在于，其中在步骤(a)中，所述集合V被划分成子集V_1,…,V_N，其中并且其中在步骤(b)中，经修改的学习子集V_1',…,V_N'被形成，其中并且所述学习集合V'从所述经修改的学习子集V_1',…,V_N'组合而成。13.根据权利要求...

【专利技术属性】
技术研发人员：B·勒莱因，M·罗尚德尔，H·凯特博达，M·须斯勒，T·沙海恩，
申请(专利权)人：德国电信股份有限公司，
类型：发明
国别省市：德国;DE