一种基于分布式日志分析的行为模式处理方法技术

本发明专利技术公开了一种基于分布式日志分析的行为模式处理方法，包括如下步骤：S1，获取电力系统的日志信息，并将日志信息逐条序列化输出到分布式存储系统中；S2，对日志信息进行分析，挖掘出操作行为之间的强关联规则，构建用户行为模式库；S3，根据电力系统运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行切割，构建新的行为模式库，通过新的行为模式库对操作行为进行处理。本发明专利技术可以有效判断异常操作，并对其进行及时处理。除此之外，对用户当前操作行为的后续正常操作进行预测，不仅为用户行为操作提供了便利，而且提高了电力系统的操作处理效率，能有效地满足电力系统及时、高效的运行要求。

【技术实现步骤摘要】
一种基于分布式日志分析的行为模式处理方法
本专利技术涉及一种行为模式处理方法，尤其涉及一种在电力系统中，基于分布式日志分析的行为模式处理方法，属于电力系统调度

技术介绍
随着电网规模的日趋扩大和复杂程度的不断增加，特高压互联大电网对一体化运行和电网的统一协调控制提出了新的要求，国家对电网安全、稳定、经济、环保运行的要求也越来越高。电力大数据应运而生，它是大数据理念、技术和方法在电力行业的实践，电力大数据涉及到发电、输电、变电、配电、用电、调度各环节，综合了跨单位、跨专业、跨业务的数据分析、挖掘与数据可视化的功能。在调度环节，随着智能电网调度技术支持系统的投运，电网数据采集范围和类型不断扩展，在满足对互联大电网全方位的实时监控以及迅速处理等方面起到了重要作用。目前，各级调控中心已建成以智能电网调度技术支持系统为核心的一系列调度生产管理运行系统，主要有SCADA/EMS、WAMS、水电及新能源、二次设备在线监视与分析、调度计划、安全校核、调度管理等系统，系统已投入运行，基本满足调度生产需要，在调度生产管理中发挥重要作用。在现有系统产品运行过程中，如何保障系统安全稳定运行，防止事故扩大，以及事故后系统快速恢复具有重要意义。电力系统的安全稳定运行需要继电保护和自动装置等就地装置的保护，但仅仅依靠这些就地装置还不能完全保证电力系统的安全运行，因为这些装置往往都是根据局部的信息来处理电力系统的故障，而不能以全局的信息来预测、分析系统的运行情况和处理系统中出现的各种复杂问题，为此，用于行为模式分析和预测的日志分析技术亟待开发。目前，国内电力企业的系统日志分析技术尚不成熟，大多数系统错误的发现还依赖于故障报警及人力核查，且对运行人员的操作行为分析及预测方面尚属空白。用户不能根据以往操作人员的操作行为迅速的对某些操作行为做出判断，以及时有效地发现异常操作，并对其进行及时地处理，不能满足电网系统及时、高效的运行要求。除此之外，电力企业每天可能会有很多不同的数据分析需求，提供的日志数据也是多样化的，如何对多样化的日志数据进行统一分析处理，也是一个急需解决的问题。
技术实现思路
本专利技术所要解决的技术问题在于提供一种基于分布式日志分析的行为模式处理方法。为实现上述专利技术目的，本专利技术采用下述的技术方案：一种基于分布式日志分析的行为模式处理方法，包括如下步骤：S1，获取电力系统的日志信息，并将日志信息逐条序列化输出到分布式存储系统中；S2，对日志信息进行分析，挖掘出操作行为之间的强关联规则，构建用户行为模式库；S3，根据电力系统运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行切割，构建新的行为模式库，通过新的行为模式库对操作行为进行处理。其中较优地，所述用户行为模式库包括操作员正常行为模式库和当前行为模式库。其中较优地，在步骤S2中，所述挖掘出操作行为之间的强关联规则包括如下步骤：S21，从分布式存储系统中提取日志信息，通过构造频繁模式树得到日志信息中包含的操作行为的支持度，将支持度不小于最小支持度阈值的操作行为集提取出来，组成操作行为的频繁项集；S22，在操作行为的频繁项集中，判断置信度不小于最小置信度阈值的操作行为，生成操作行为的强关联规则。其中较优地，在步骤S3中，所述通过新的行为模式库对操作行为进行处理包括通过新的行为模式库对操作行为进行分析以及通过新的行为模式库对操作行为进行预测。其中较优地，在步骤S3中，对用户行为模式库进行切割，构建新的行为模式库，通过新的行为模式库对操作行为进行分析包括如下步骤：S311，对用户行为模式库进行变换，得到多维数据立方体；S312，根据不同任务的需要，对得到的多维数据立方体进行OLAP操作，通过分割多维数据立方体得到针对不同任务需要的新的行为模式库；S313，对得到的新的行为模式库中操作员正常行为模式库和当前行为模式库进行模式比较，获得当前操作员异常操作，并提供给用户。其中较优地，在步骤S313中，对得到的新的行为模式库中操作员正常行为模式库和当前行为模式库进行模式比较包括如下步骤：S3131，将操作员正常行为模式库中所有操作行为的属性之后增加频率属性，并将其设置为0；S3132，将当前行为模式库中的一条操作行为与操作员正常行为模式库中的操作行为逐条进行比较，当当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为匹配时，操作员正常行为模式库中匹配的操作行为的频率属性增加1，否则，该当前行为模式库中的操作行为为异常操作，将其标注出来；S3133，按照频率属性由大到小的顺序对操作员正常行为模式库中的操作行为进行排序；S3134，当前行为模式库中的下一条操作行为依次与操作员正常行为模式库中的操作行为进行比较；以此类推，直至当前行为模式库中的操作行为全部比较完毕为止。其中较优地，在步骤S313中，对得到的新的行为模式库中操作员正常行为模式库和当前行为模式库进行模式比较还包括如下步骤：S3135，将标注出来的所有异常操作显示给用户，统一进行处理。其中较优地，在步骤S3中，所述通过新的行为模式库对操作行为进行预测包括如下步骤：S321，获取用户当前操作行为；S322，将用户当前操作行为与新的行为模式库中操作员正常行为模式库进行模式比较，在操作员正常行为模式库中找到包含用户当前操作行为的特定操作行为，该一项或者多项特定操作行为包含用户当前操作行为的所有操作；S323，根据获得的特定操作行为，得出用户当前操作行为的后续正常操作，并返回给用户。本专利技术所提供的基于分布式日志分析的行为模式处理方法，根据电力系统运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行分割，通过对分割后形成的新的行为模式库中，当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为进行比较，实现对操作行为的分析，可以有效地判断异常操作，并对其进行及时的处理。除此之外，还可以通过当前行为与新的行为模式库中操作员正常行为模式库进行模式比较，对用户当前操作行为的后续正常操作进行预测，不仅为用户行为操作提供了便利，而且提高了电力系统的操作处理效率，能有效地满足电力系统及时、高效的运行要求。附图说明图1为本专利技术提供的基于分布式日志分析的行为模式处理方法的流程图；图2为本专利技术中，基于分布式日志分析的行为模式分析方法的流程图；图3为本专利技术中，基于模式比较算法对前行为模式库中的操作行为进行分析的流程图。具体实施方式下面结合附图和具体实施例对本专利技术的
技术实现思路
作进一步的详细说明。如图1所示，本专利技术提供的基于分布式日志分析的行为模式处理方法，具体包括如下步骤：首先通过基于syslog(系统日志)方式的日志扫描抓取技术获取电力系统的日志信息，将获取的日志信息逐条序列化输出到分布式存储系统(HDFS/HBase)中；然后对日志信息进行分析，挖掘出操作行为之间的强关联规则，构建用户行为模式库；最后根据电力系统运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行OLAP(联机分析处理)操作，构建新的行为模式库，通过新的行为模式库对操作行为进行处理。下面对这一过程做详细具体的说明。S1，通过基于syslog方式的日志扫描抓取方法获取电力系统的日志信息，然后将获取的日志信息逐条序列化输出到分布式存储系统(H本文档来自技高网...

【技术保护点】
一种基于分布式日志分析的行为模式处理方法，其特征在于包括如下步骤：S1，获取电力系统的日志信息，并将日志信息逐条序列化输出到分布式存储系统中；S2，对日志信息进行分析，挖掘出操作行为之间的强关联规则，构建用户行为模式库；S3，根据电力系统运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行切割，构建新的行为模式库，通过新的行为模式库对操作行为进行处理。

【技术特征摘要】
1.一种基于分布式日志分析的行为模式处理方法，其特征在于包括如下步骤：S1，获取电力系统的日志信息，并将日志信息逐条序列化输出到分布式存储系统中；S2，对日志信息进行分析，挖掘出操作行为之间的强关联规则，构建用户行为模式库；S3，根据电力系统运行状况，确定需要特别关注的行为模式属性，对用户行为模式库进行切割，构建新的行为模式库，通过新的行为模式库对操作行为进行处理；其中，通过新的行为模式库对操作行为进行处理为对得到的新的行为模式库中操作员正常行为模式库和当前行为模式库采用基于频率特征的方法进行模式比较，获得当前操作员异常操作或违规操作；包括如下步骤：S3131，将操作员正常行为模式库中所有操作行为的属性之后增加频率属性，并将其设置为0；S3132，将当前行为模式库中的一条操作行为与操作员正常行为模式库中的操作行为逐条进行比较，当当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为匹配时，操作员正常行为模式库中匹配的操作行为的频率属性增加1，否则，该当前行为模式库中的操作行为为异常操作，将其标注出来；S3133，按照频率属性由大到小的顺序对操作员正常行为模式库中的操作行为进行排序；当下次将当前行为模式库中的操作行为与操作员正常行为模式库中的操作行为进行比较时，对其进行优先比较；S3134，当前行为模式库中的下一条操作行为依次与操作员正常行为模式库中的操作行为进行比较；以此类推，直至当前行为模式库中的操作行为全部比较完毕为止。2.如权利要求1所述的行为模式处理方法，其特征在于：所述用户行为模式库包括操作员正常行为模式库和当前行为模式库。3.如权利要求1所述的行为模式处理方法，其特征在于在步骤S2中，所述挖掘出操作行为之间的强关联规则包括如下步骤：S21，从分布式存储系统中提取日志信息，通过构造FP-Tree得到日志信息中包含的操作行为的支持度，将支持度不小于最小支持度阈值的操作行为...

【专利技术属性】
技术研发人员：庞传军，叶健辉，陈毅波，孟伶智，李军，曹宇，潘飞来，陈宏，武毅，李龙，
申请(专利权)人：国家电网公司，北京科东电力控制系统有限责任公司，国网湖南省电力公司，国网湖南省电力公司信息通信公司，
类型：发明
国别省市：北京;11