日志分析系统技术方案

一种日志分析系统包括第一处理器单元、第二处理器单元、第三处理器单元和第四处理器单元。第一处理器单元标准化由获取器获取的检测日志，将所述检测日志分配到预定的监控目标单元中，并且输出监控目标单元。第二处理器单元基于预定规则将通用信息添加至从第一处理器单元输出的检测日志的每个监控目标单元，基于检测日志和通用信息的内容来布置监控目标单元的信息粒度，并输出监控目标单元作为分析单元信息。第三处理器单元收集从第二处理器单元输出的分析单元信息并基于预定规则来设置检测目标事件候选，基于预定规则确定检测目标事件候选是否是具有特定性质的检测目标处理，并输出检测目标事件候选和确定的结果。第四处理器单元输出以预定的输出格式输出从所述第三处理器单元输出的检测目标事件候选和确定的结果。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于获取并分析在目标系统中产生的日志的日志分析系统。本申请要求基于2014年3月31日提交的第JP 2014-074606号日本专利申请的优先权，该日本专利申请的内容通过引用包含于此。
技术介绍
在利用诸如因特网的信息通信网络(下文中简称为“网络”)的各种信息系统中，发生大量的数据通信和处理。然而，可能产生问题，例如在网络上操作的服务器或者诸如各种终端装置之类的设备的非授权访问的问题，或者从服务器泄漏非授权信息等问题。例如，期望实时地监控数据通信以阻止由于非授权通信造成的损害，而不需要事后调查通信日志。已经公开了用于这样做的传统技术。例如，JP2007-536646公开了从各个监控装置收集安全事件、存储安全事件、将存储的安全事件的子集作为事件流提供给管理员、并且使管理员发现事件流中的一个或更多个未知事件模式。通常，对应的过程可以通过以下方式执行：监控网络上的服务器上的通信，并且检测非授权的访问或数据发送和接收。当多个服务器被用作待监控的目标时，可以在中心位置处执行检测。专利文献1：JP 2007-536646。
技术实现思路
在分析大量的日志并执行信息处理来提取具有特定性质的处理(例如有问题的通信)以对网络执行如上所述的信息通信监控等的时候，获取作为分析目标的日志中的数据的量通常是巨大的。然而，可能仅需要提取少量的具有特定性质的处理，并且可能仅需要对少数的日志执行这样的处理。因此，在各种各样的信息处理领域中需要适当地缩小将被分析的目标并且高效地执行分析，而不管通信是否被监测。本专利技术的一个目的在于提供一种日志分析系统，所述日志分析系统能够缩小用于分析的日志并且高效地执行日志分析。为了实现该目的，涉及本专利技术的实施例的一种日志分析系统可以分析监控目标系统中检测到的检测日志。所述日志分析系统可以被提供有：获取装置，用于检测在监控目标系统中执行的检测目标处理，并获取检测目标处理的检测日志；以及处理器装置，用于处理由获取器获取的检测日志并将检测日志分类为具有特定性质的检测目标处理以及不具有特定性质的检测目标处理。处理器装置包括：第一处理器单元，被配置为标准化由获取器获取的检测日志，将所述检测日志分配到预定的监控目标单元中，并且输出监控目标单元；第二处理器单元，被配置为基于预定规则将通用信息附加至从第一处理器单元输出的检测日志的每个监控目标单元，基于检测日志和通用信息的内容来使监控目标单元排布(arrange)至信息粒度，并输出监控目标单元作为分析单元信息；第三处理器单元，被配置为收集从第二处理器单元输出的分析单元信息并基于预定规则来设置检测目标事件候选，基于预定规则确定检测目标事件候选是否是具有特定性质的检测目标处理，并输出检测目标事件候选和所述确定的结果；以及第四处理器单元，被配置为以预定的输出格式输出从所述第三单元输出的检测目标事件候选和所述确定的结果。在上述日志分析系统中，所述处理器装置的第一处理器单元还可以通过组合多个处理单元块来配置，所述处理单元块被分别组件化为单独的处理器，以执行所述检测日志的标准化和分配。在上述日志分析系统中，基于对应于获取装置的类型而设置的规则，所述处理器装置的第一处理器单元还可以执行处理，以指定构成第一处理器单元的所述处理单元块的类型和处理顺序。在上述日志分析系统中，所述处理器装置的第二处理器单元还可以通过组合多个处理单元块来配置，所述处理单元块被分别组件化为单独的处理器，以将通用信息附加到检测日志并排布信息粒度。在上述日志分析系统中，基于对应于监控目标单元的类型而设置的规则，所述处理器装置的第二处理器单元还可以执行处理，以指定构成第二处理器单元的处理单元块的类型和处理顺序。在上述日志分析系统中，所述处理器装置的第三处理器单元还可以具有：分类单元，用于将从所述第二单元输出的分析单元信息分为对其进行所述相关分析的分析单元信息以及不对其进行所述相关分析的分析单元信息；整合单元，用于整合对其进行所述相关分析的所述分析单元信息，并设置检测目标事件候选；以及分析单元，用于执行确定处理，所述确定处理包括对针对所述检测目标事件候选的分析单元信息的相关的分析，并且确定所述检测目标事件候选是否是具有特定性质的检测目标处理。在上述日志分析系统中，包括在处理器装置中的第三处理器单元中的分析单元还可以通过组合多个处理单元块来配置，所述处理单元块被分别组件化为单独的处理器，以进行确定处理，所述确定处理包括基于确定条件的相关分析，所述确定条件针对确定检测目标事件候选是否是具有特定性质的检测目标处理而设置。在上述日志分析系统中，所述处理器装置的第二处理器单元还可以使用以下处理作为用于排布检测日志信息粒度的处理：在所述检测日志经过一次检测目标处理时，在从所述监控目标系统获取所述检测日志的情况下，基于预定的聚合条件将多个检测日志聚合为一条分析单元信息的处理。另一方面，所述第二处理器单元还可以使用以下处理作为用于排布检测日志信息粒度的处理：当所述检测日志经过了多次检测目标处理时，在所述检测日志是从监控目标系统获取的日志的情况下，将一个检测日志设置为一条分析单元信息。本专利技术的实施例还可以通过控制计算机以执行作为程序的上述装置功能来实现。所述程序可以通过分配存储在磁盘、光盘、半导体存储器或其它记录介质上来提供，并且也可以通过网络分配来提供。根据本专利技术，在日志分析过程中，目标可以被缩小并且可以高效地执行分析。附图说明图1是示出本实施例的安全监控系统的构造的示例的图。图2是示出构成图1中所示的监控子系统的收集器单元的功能性构造的示例的图。图3是示出由组件化处理单元块构成的图2中所示的收集器单元的构造的示例的图。图4是示出构成根据图1中所示的监控子系统的检测器单元的功能性构造的示例的图。图5是是示出由组件化处理单元块构成的图4中所示的检测器单元的构造的示例的图。图6是示出构成根据图1中所示的监控子系统的分析单元的功能性构造的示例的图。图7是示出本实施例中的相关分析的概念的图。图8A是示出本实施例中的增量分析的概念的图，并且是示出成为特定分析的相关分析目标的检测事件候选的配置的示例的图。图8B是示出本实施例中的增量分析的概念的图，并且是示出下一个分析的同一检测事件候选的配置的示例的图。图9是示出图6中所示的分析单元的构造的示例的图，其由包括个体分析处理器、事件整合处理器、相关分析处理器和增量分析处理器的组件化处理单元块构成。图10是示出如图1中所示的监控子系统的人工分析单元的功能性构造的示例的图。图11是用于解释在本实施例中传送通信日志文件的方法的图。图12是示出在本实施例中传输通信日志文件的示例的图。图13是示出在本实施例中传输通信日志文件的不同示例的图。图14是示出在本实施例中传输通信日志文件的又一示例的图。图15是示出图1中所示的终端装置的功能性构造的示例的图。图16是示出在本实施例中分析屏幕的构造的示例的图。图17是示出用于构成在本实施例的监控子系统中的每个服务器和终端装置的优选硬件构造的示例的图。具体实施例在下面参照附图解释本专利技术的实施例。下面，以将日志分析系统应用于监控网络上的通信并获取和分析通信日志以作为检测日志的安全监控系统为例，来解释本实施例的用于从调查目标系统获取和分析检测目标处理本文档来自技高网...

【技术保护点】
一种日志分析系统，被配置为分析监控目标系统中检测的检测日志，所述日志分析系统包括：获取装置，被配置为检测在所述监控目标系统中执行的检测目标处理，并获取所述检测目标处理的检测日志；以及至少一个处理器装置，被配置为处理由所述获取装置获取的检测日志，所述至少一个处理器装置被配置为将所述检测日志分类为具有特定性质的检测目标处理，以及不具有所述特定性质的检测目标处理，所述至少一个处理器装置包括：第一处理器单元，被配置为标准化由所述获取装置获取的所述检测日志，所述第一处理器单元被配置为将标准化的所述检测日志分配到预定的监控目标单元，并针对各个所述监控目标单元输出标准化的且被分配的所述检测日志；第二处理器单元，被配置为基于预定的规则对已经从所述第一处理器单元输出的针对各个所述监控目标单元的每个检测日志附加通用信息，所述第二处理器单元被配置为基于所述检测日志和所述通用信息的内容使所述监控目标单元之间的信息粒度均匀，以输出分析单元信息；第三处理器单元，被配置为基于第一预定规则来整合从所述第二处理器单元输出的所述分析单元信息并设置检测目标事件候选，所述第三处理器单元被配置为基于第二预定规则来确定所述检测目标事件候选是否是具有所述特定性质的检测目标处理，并且所述第三处理器单元被配置为输出所述检测目标事件候选以及所述确定的结果；以及第四处理器单元，被配置为以预定的输出格式输出从所述第三处理器单元输出的所述检测目标事件候选以及所述确定的结果。...

【技术特征摘要】
【国外来华专利技术】2014.03.31 JP 2014-0746061.一种日志分析系统，被配置为分析监控目标系统中检测的检测日志，所述日志分析系统包括：获取装置，被配置为检测在所述监控目标系统中执行的检测目标处理，并获取所述检测目标处理的检测日志；以及至少一个处理器装置，被配置为处理由所述获取装置获取的检测日志，所述至少一个处理器装置被配置为将所述检测日志分类为具有特定性质的检测目标处理，以及不具有所述特定性质的检测目标处理，所述至少一个处理器装置包括：第一处理器单元，被配置为标准化由所述获取装置获取的所述检测日志，所述第一处理器单元被配置为将标准化的所述检测日志分配到预定的监控目标单元，并针对各个所述监控目标单元输出标准化的且被分配的所述检测日志；第二处理器单元，被配置为基于预定的规则对已经从所述第一处理器单元输出的针对各个所述监控目标单元的每个检测日志附加通用信息，所述第二处理器单元被配置为基于所述检测日志和所述通用信息的内容使所述监控目标单元之间的信息粒度均匀，以输出分析单元信息；第三处理器单元，被配置为基于第一预定规则来整合从所述第二处理器单元输出的所述分析单元信息并设置检测目标事件候选，所述第三处理器单元被配置为基于第二预定规则来确定所述检测目标事件候选是否是具有所述特定性质的检测目标处理，并且所述第三处理器单元被配置为输出所述检测目标事件候选以及所述确定的结果；以及第四处理器单元，被配置为以预定的输出格式输出从所述第三处理器单元输出的所述检测目标事件候选以及所述确定的结果。2.如权利要求1所述的日志分析系统，其中，所述处理器装置的所述第一处理器单元包括多个处理单元块的组合，所述多个处理单元块对于用于执行所述检测日志的标准化和分配的各个处理被分别组件化。3.如权利要求2所述的日志分析系统，其中，所述处理器装置的所述第一处理器单元被配置为基于已经根据所述获取装置的类型设置的规则来指定包括在所述...

【专利技术属性】
技术研发人员：土屋和英，阿部正道，影山徹哉，川口洋，鹫尾浩之，马着笃，塩出一平，木村雅弘，藤本博史，武智洋，
申请(专利权)人：株式会社LAC，
类型：发明
国别省市：日本;JP