【技术实现步骤摘要】
【国外来华专利技术】数据流中的异常检测
本专利技术涉及一种用于检测源自系统数据流中的异常的方法和装置。所述系统可为网络或任何其他复杂的系统或设备。
技术介绍
操作人员等对于大型复杂的关键基础结构在准实时操作方面的认知和理解的匮乏等，人为错误仍是服务提供商在复杂网络环境安全下面对的安全性和安全操作方面的主要风险。无法保护服务免受源自系统内部或外部的有意或无意的负面恶意影响，将导致收入和财产的损失，并且在一些极端的情况下，可能导致企业倒闭。现有的一种用于防御网络攻击的技术方案(例如分布式拒绝服务攻击，即dDoS攻击)依赖于系统中的数据集流器的部署。所述数据流收集器采样统计某网络段上的网络流量。并进一步处理流量，包括建立基线(即“正常”)信号，所述基线信号与日期和时间相关。当前算法通常使用傅里叶变换来建立基线。特别地，利用傅里叶变换来将时序信号转换为其组成频率分量。随机分量和异常现象通常由低能量频率分量来表示。因此，通过仅考虑傅里叶频域中的高频分量，可去除异常，留下基线信号。当监控系统检测到基线内有偏差，确定受扰者的目标互联网协议(IP-InternetProtocol)地址，并将去往所述...
【技术保护点】
1.一种用于在多个数据流中检测异常的方法，包括源自系统或系统网络的结构化的、非结构化的和/或混合的数据，所述方法包括：从一个所述系统或多个所述系统中收集所述数据流；将所收集的数据流划分成多个时间间隔；对于所述多个时间间隔内的每个时间间隔，确定与每个数据流相关联的参数的值；对于所述多个时间间隔内的每个时间间隔，为所述参数确定相应的预期值，其中所述预期值包括所述参数在相应时间段内的中值，其中每个时间段包括多个相邻的时间间隔；对于所述多个时间间隔内的每个时间间隔，计算与所述数据流相关联的所述参数已确定的值和所述参数的预期值之间的偏差；和如所计算出的偏差高于阈值，则检测所收集的数据流中的异常。
【技术特征摘要】
【国外来华专利技术】2015.10.29 NL 20156801.一种用于在多个数据流中检测异常的方法，包括源自系统或系统网络的结构化的、非结构化的和/或混合的数据，所述方法包括：从一个所述系统或多个所述系统中收集所述数据流；将所收集的数据流划分成多个时间间隔；对于所述多个时间间隔内的每个时间间隔，确定与每个数据流相关联的参数的值；对于所述多个时间间隔内的每个时间间隔，为所述参数确定相应的预期值，其中所述预期值包括所述参数在相应时间段内的中值，其中每个时间段包括多个相邻的时间间隔；对于所述多个时间间隔内的每个时间间隔，计算与所述数据流相关联的所述参数已确定的值和所述参数的预期值之间的偏差；和如所计算出的偏差高于阈值，则检测所收集的数据流中的异常。2.如权利要求1所述的方法，其特征在于，所述数据流包括实时数据或记录的数据。3.如权利要求1或2所述的方法，其特征在于所述阈值是手动设置或自动确定的。4.如上述权利要求中任一项所述的方法，其特征在于，确定与所述数据流相关联的参数的值包括：在所述时间间隔内检测零个或多个事件的发生；和基于检测到的在所述时间间隔内零个或多个事件的所述发生来分配严重性值，从而确定在所述时间间隔内与所述数据流关联的参数的值。5.如上述权利要求中任一项所述的方法，其特征在于，确定与所述数据流相关联的参数的值包括：在所述时间间隔内检测多个事件的发生；向所述多个事件中的每个事件分配严重性值；和通过计算所分配的严重性值的和来确定与所述时间间隔内的所述数据流相关联的参数的值。6.如上述权利要求中任一项所述的方法，其特征在于，确定与所述数据流相关联的参数的值包括：在所述时间间隔内检测多个事件的发生；基于对检测到的在所述时间间隔内的每秒发生的事件的次数和/或与所检测到的事件相关联的细节的数量进行计数，从而确定在所述时间间隔内与所述数据流相关联的参数的值。7.如上述权利要求中任一项所述的方法，其特征在于，确定与所述收集的数据流相关联的参数的值包括：在所述时间间隔内的多个时间戳处：分析包含在所述数据流中的数据以检测事件；和基于所检测到的事件分配严重性值；和通过计算在所述时间间隔内的所述多个时间戳处所分配的严重性值的和来确定与所收集的数据流相关联的参数的值。8.如权利要求4，5，6或7中任一项所述的方法，其特征在于，所述事件为触发词或值。9.如上述权利要求中任一项上述权利要求中任一项所述的方法，其特征在于，所述参数的预期值是从预期值数据库中获得的值。10.如上述权利要求中任一项所述的方法，其特征在于，所述参数的预期值是所述参数的已知值或基于至少一个先前检测到的异常所确定的值。11.如上述权利要求中任一项所述的方法，其特征在于，所述方法还包括：绘制与所述数据流相关联的参数的预期值，与所述数据流相关联的参数的已确定的值和所述已确定的值与所述预期值随时间而计算出的偏差。12.如上述权利要求中任一项所述的方法，其特征在于，所述方法还包括：当检测到异常时：将检测到的异常与存储在异常数据库中的至少一个异常进行比较。13.如权利要求12所述的方法，其特征在于，所述异常数据库包括，对于每个异常，用于多个数据流的参数值的存储模式，并且所述方法包括，对于所述检测到的异常，将用于所述多个数据流的参数值的模式与用于所述多个数据流的参数值的存储模式进行比较。14.如权利要求13所述的方法，其特征在于，所述异常数据库包括，对于每个异常，用于多个时间间隔内的多个数据流的参数值的存储模式，并且所述方法包括，对于所述检测到的异常，将用于多个时间间隔内的所述多个数据流的参数值的模式与用于多个时间间隔内的所述多个数据流的参数值的所述存储模式进行比较。15.如权利要求12-14中任一项所述的方法，其特征在于，异常数据库是通过机器学习先前检测到的异常，操作分类异常和/或用户输入异常而创建的数据库。16.如权利要求12-15中任一项所述的方法，其特征在于，将检测到的异常与存储在异常数据库中的至少一个先前检测到的异常进行比较包括：确定所述检测到的异常与存储在所述异常数据库中的至少一个异常之间的相似性度量。17.如权利要求16所述的方法，其特征在于，所述检测到的异常被确定为与存储在所述异常数据库中的所述至少一个异常相似，在所述异常数据库中，所述检测到的异常与存储在所述异常数据库中的所述至少一个异常之间的差异小于预定阈值。18.如权利要求17所述的方法，其特征在于，如果所述检测到的异常与存储在所述异常数据库中的所述至少一个异常之间的差异大于所述预定阈值，所述方法还包括：忽略所述检测到的异常。19.如上述权利要求中任一项所述的方法，其特征在于，检测到异常，所述方法还包括：确定所述检测到的异常的分类。20.如上述权利要求中任一项所述的方法，其特征在于，检测到异常，所述方法还包括：将所述检测到的异常存储在异常数据库中。21.如上述权利要求中任一项所述的方法，其特征在于，检测到异常，所述方法还包括：将指令分配给所述检测到的异常。22.如权利要求21所述的方法，其特征在于，所述指令为向所述系统的操作人员发送通知。23.如上述权利要求中任一项所述的方法，其特征在于，所述方法还包括：响应于检测异常，检查所收集的数据流以验证包含在所述数据流中的数据。24.如上述权利要求中任一项所述的方法，其特征在于，所述方法还包括：响应于检测异常，实施抑制技术以抑制异常源。25.如权利要求24所述的方法，其特征在于，所述抑制技术包括以下事项中的一项或多项：阻止源自异常源的访问；将所收集的数据流重新定向回异常源；和丢弃源自异常源的流量。26.一种用于检测源自系统的数据流中的异常的装置，所述装置包括：收集器模块，用于可操作地从至少一个系统收集多个数据流；分析器模块，用于可操作地将所收集的数据流划分为多个时间间隔，对于所述多个时间间隔内的每个时间间隔，确定与每个数据流相关联的参数的值，并计算与所述数据流相关联的所述参数已确定的值和所述参数的预期值之间的偏差，其中所述预期值包括所述参数在相应时间段内的中值，其中每个时间段包括多个相邻的时间间隔；和处理器，用于如所述计算出的偏差高于阈值，则可操作地检测所收集的数据流中的异常。27.如权利要求26所述的装置，其特征在于，所述数据流包括实时数据或记录的数据。28.如权利要求26-27中任一项所述的装置，其特征在于，所述阈值为手动设置或自动确定的。29.如权利要求26-28中任一项所述的装置，其特征在于，所述分析器模块通过以下操作而可操作地确定与所述数据流相关联的参数的值：检测所述时间间隔内的零个或多个事件的发生；和基于检测到的在所述时间间隔内的零个或多个事件的所述发生来分配严重性值，从而确定在所述时间间隔内与所述数据流关联的参数的值。30.如权利要求26-29中任一项所述的装置，其特征在于，所述分析器模块通过以下操作而可操作地确定与所述数据流相关联的参数的值：检测所述时间间隔内的多个事件的发生；向所述多个事件中的每个事件分配严重性值；和通过计算所分配的严重性值的和来确定与时间间隔内的数据流相关联的参数的值。31.如权利要求26-30中任一项所述的装置，其特征在于，所述分析器模块通过以下操作而可操作地确定与所述数据流相关联的参数的值：检测所述时间间隔内多个事件的发生；和基于对检测到的在所述时间间隔内的每秒发生的事件的次数和/或与所检测到的事件相关联的细节的数量进行计数，从而确定在所述时间间隔内与所述数据流相关联的参数的值。32.如权利要求26-31中任一项所述的装置，其特征在于，所述分析器模块通过以下操作而可操作地确定与所收集的数据流相关联的参数的值：在所述时间间隔内的多个时间戳处：分析包含在所述数据流中的数据以检测事件；和基于所检测到的事件分配严重性值；和通过计算在所述时间间隔内的所述多个时间戳处所分配的严重性值的和来确定与所收集的数据流相关联的参数的值。33.如权利要求29-32中任一项所述的装置，其特征在于，所述事件是触发词或值。34.如权利要求26-33中任一项所述的装置，其特征在于，所收集的数据流包括非结构化数据和/或结构化数据。35.如权利要求26-34中任一项所述的装置，其特征在于，所述参数的预期值是从预期值数据库中获得的值。36.如权利要求26-34中任一项所述的装置，其特征在于，所述参数的预期值是所述参数的已知值或基于至少一个先前检测到的异常所确定的值。37.如权利要求26-36中任一项所述的装置，其特征在于，所述分析器模块还可操作地绘制与所述数据流相关联的参数的预期值，与所述数据流相关联的参数的已确定的值和所述已确定的值与所述预期值随时间而计算出的偏差。38.如权利要求26-37中任一项所述的装置，其特征在于，当检测到异常时，所述检测器模块还可操作地将所检测到的异常与存储在异常数据库中的至少一个异常进行比较。39.如权利要求38所述的装置，其特征在于，所述异常数据库包括，对于每个异常，用于多个数据流的参数值的存储模式，和所述检测器模块可运行，对于所述检测到的异常，将用于所述多个数据流的参数值的模式与用于所述多个数据流的参数值的存储模式进行比较。40.如权利要求39所述的装置，其特征在于，所述异常数据库包括，对于每个异常，用于多个时间间隔内的多个数据流的参数值的存储模式，并且对于所述检测到的异常，所述检测器模块可操作地将用于多个时间间隔的所述多个数据流的参数值的模式与用于多个时间间隔的所述多个数据流的参数值的所述存储模式进行比较。41.如权利要求38-40中任一项所述的装置，其特征在于，所述异常数据库是通过机器学习先前检测到的异常，操作分类异常和/或用户输入异常而创建的数据库。42.如权利要求38-41中任一项所述的装置，其特征在于，所述检测器模块可操作地将所检测到的异常与存储在异常数据库中的至少一个先前检测到的异常进行比较：确定所述检测到的异常与存储在异常数据库中的至少一个异常之间的相似性度量。43.如权利要求42所述的装置，其特征在于，所述检测器模块可操作地确定所述检测到的异常与存储在所述异常数据库中的所述至少一个异常相似，在所述异常数据库中，所述检测到的异常与存储在所述异常数据库中的所述至少一个异常之间的差异小于预定阈值。44.如权利要求43所述的装置，其特征在于，如果所述检测到的异常与存储在所述异常数据库中的所述至少一个异常之间的差异大于所述预定阈值，所述检测器模块还可操作地忽略所述检测到的异常。45.如权利要求26-44中任一项所述的装置，其特征在于，检测到异常，所述检测器模块还可操作地确定所述检测到的异常的分类。46.如权利要求26-45中任一项所述的装置，其特征在于，检测到异常，所述检测器模块还被配置为将所述检测到的异常存储在异常数据库中。47.如权利要求26-46任一项所述的装置，其特征在于，检测到异常，所述检测器模块还可操作地向所述检测到的异常分配指令。48.如权...
【专利技术属性】
技术研发人员：塔拉斯·马塞尔尤克，
申请(专利权)人：欧普特网络私人有限公司，塔拉斯·马塞尔尤克，
类型：发明
国别省市：荷兰,NL
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。