基于多元日志数据分析的日志审计方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于多元日志数据分析的日志审计方法、系统、设备及介质，所述方法包括以下步骤：获取日志数据分析目标；基于所述日志数据分析目标，利用基于区块链的日志存证、溯源方法，对分布于国分、省地两级的关联服务进行多元日志数据源定位，获得广域日志；将所述广域日志中非结构化、半结构化的原始日志记录解析成结构化形式，并与所述广域日志中结构化的原始日志记录组合，形成结构化数据日志记录；基于所述结构化数据日志记录进行审计并获得审计报告，完成基于多元日志数据分析的日志审计。本发明专利技术提供的日志审计方法，采用基于区块链的广域数据交互日志溯源技术，可避免人工干预，具有较高的可靠性及权威性。具有较高的可靠性及权威性。具有较高的可靠性及权威性。

【技术实现步骤摘要】
基于多元日志数据分析的日志审计方法、系统、设备及介质


[0001]本专利技术属于日志审计
，特别涉及一种基于多元日志数据分析的日志审计方法、系统、设备及介质。

技术介绍

[0002]随着调控云建设的开展和深入，调控云主导节点、协同节点以及源数据端之间的交互更加紧密；在广域的数据交互中，数据本体安全及数据操作安全是决定数据质量的关键。应用服务访问日志数据具有全业务范围、全时间类型和全时间维度的特性，蕴藏着调控云系统运行的关键信息，通过对广域数据交互的日志进行记录可以在很大程度上进行版本回溯与问题定位，在实际的生产工作中对于运维人员进行系统维护和设备状态监控等活动有着至关重要的指导作用；其中，在进行版本回溯与问题定位时就涉及到了数据溯源技术。
[0003]关于数据溯源技术目前国内外的研究都主要集中在学术界，随着大数据的技术的成熟，数据共享成为挖掘数据价值的重要途径，数据溯源的研究也为大众所知。示例性的，Bower S等人指出目前数据安全溯源方面面临的技术问题，并提出安全、可信的溯源需要为溯源记录提供完整性、机密性和可用性保障；在数据溯源模型的研究上，Sudha等人提出w7模型；随后于2006年国际溯源和标注组织(International Provenance and Annotation Workshop，IPAW)成立，致力于研究数据溯源相关技术及其标准化；2008年，Sahoo等人提出Provenir数据溯源模型，该模型主要针对数据库数据溯源，形成了涵盖数据存储到上层业务的完整体系；2012年，第四届IPAW会议，提出PROV数据模型(PROV
‑
DM)，PROV是目前较通用的数据溯源模型；Yogesh的论文认为数据溯源一种用于跟踪数据演变过程的元数据，并据此提出了数据溯源的分类标准，将数据溯源分为四类，强调数据溯源的重要性。然而，目前传统的数据溯源采用的是集中式的溯源系统，存在单点系统具备的不可靠性；另外在数据溯源模型上，目前关于数据的溯源模型缺乏统一的标准，给数据平台间的信息整合分析增加了困难。基于上述现有溯源技术的缺陷可知，目前基于现有溯源技术的调控云广域数据交互日志审计方法也存在可靠性较差以及权威性较低的缺陷。
[0004]综上，目前电力调度自动化领域正在积极建设开放共享的数据生态，以进一步推进大数据及人工智能的落地应用；其中，在调度自动化生产系统中，数据重要性及私密性程度较高，跨地域跨部门的数据共享业务中除了需要对数据加密传输外，数据操作日志的记录也极为必要，目前的调控云广域数据交互日志审计方法不能满足可靠性要求，亟需一种新的基于多元日志数据分析的日志审计方法及系统。

技术实现思路

[0005]本专利技术的目的在于提供一种基于多元日志数据分析的日志审计方法、系统、设备及介质，以解决上述存在的一个或多个技术问题。本专利技术提供的日志审计方法，采用基于区块链的广域数据交互日志溯源技术，可避免人工干预，具有较高的可靠性及权威性。
[0006]为达到上述目的，本专利技术采用以下技术方案：
[0007]本专利技术第一方面提供的一种基于多元日志数据分析的日志审计方法，包括以下步骤：
[0008]获取日志数据分析目标；
[0009]基于所述日志数据分析目标，利用基于区块链的日志存证、溯源方法，对分布于国分、省地两级的关联服务进行多元日志数据源定位，获得广域日志；
[0010]将所述广域日志中非结构化、半结构化的原始日志记录解析成结构化形式，并与所述广域日志中结构化的原始日志记录组合，形成结构化数据日志记录；
[0011]基于所述结构化数据日志记录进行审计并获得审计报告，完成基于多元日志数据分析的日志审计。
[0012]本专利技术的进一步改进在于，所述获取日志数据分析目标的步骤具体包括：基于预设的业务需求和调控云服务类型，获得日志数据分析目标。
[0013]本专利技术的进一步改进在于，所述利用基于区块链的日志存证、溯源方法中：
[0014]所述区块链为联盟链；
[0015]所述区块链存储有预构建的适用于区块链的调控模型数据溯源模型信息；其中，所述预构建的适用于区块链的调控模型数据溯源模型基于PROV建立，包括：实体、活动和代理；
[0016]所述实体描述的对象为数据交互操作，所述数据交互操作形式化描述为，数据交互操作＝(数据摘要，交互ID，发起端，操作名，扩展字段)；式中，数据摘要是数据交互操作所操作的数据的数据摘要，交互ID用于作为交互发起方的唯一标识符；
[0017]所述活动形式化描述为，活动＝(活动类型，活动代理，扩展字段)；式中，活动类型用于指定数据操作类型，活动代理字段用于与该活动关联的代理，扩展字段用于功能扩展；
[0018]所述代理形式化描述为，代理＝(代理类型，代理ID，扩展字段)；
[0019]日志存证过程中，基于预设的操作日志溯源合约实现上链；
[0020]日志溯源过程中，基于预设的操作溯源验证合约实现查询。
[0021]本专利技术的进一步改进在于，所述日志存证过程中，基于预设的操作日志溯源合约实现上链的步骤具体包括：
[0022]在客户端发起广域数据交互时，广域数据交互中间件触发操作日志溯源合约开展操作日志上链记录，形成操作日志溯源链；
[0023]其中，所述操作日志溯源合约封装有Put、Delete、Update和Query操作，用于数据增删改查不同情况下的调用；Put操作表示远程数据交互操作为新增数据，Delete操作表示远程数据交互操作为删除数据，Update操作表示远程数据交互操作为更改，Query操作表示远程数据交互操作为查询；
[0024]所述操作日志溯源链的链式结构由节点组成；每个节点均包括节点头和节点体，节点头存储交互操作数据内容的Hash值，节点体包括交互ID、活动、代理、源端和前向指针；其中，源端字段用于存储操作用户的中文名称，前向指针用于保存上一节点的头Hash。
[0025]本专利技术的进一步改进在于，所述日志溯源过程中，基于预设的操作溯源验证合约实现查询的步骤具体包括：
[0026]以指定数据内容的Hash值为参数，自所述操作溯源验证合约预设的接口输入，实现对操作日志溯源链的历史版本查询。
[0027]本专利技术的进一步改进在于，所述区块链采用超级账本项目下的Fabric联盟链平台实现。
[0028]本专利技术的进一步改进在于，所述基于所述结构化数据日志记录进行审计并获得审计报告，完成基于多元日志数据分析的日志审计的步骤具体包括：
[0029]将所述结构化数据日志记录输入预构建的基于自注意力机制的日志序列异常检测模型中，通过日志序列异常检测模型输出结果形成审计报告，完成基于多元日志数据分析的日志审计；
[0030]其中，所述日志序列异常检测模型将日志模板序列建模为自然语言序列，以基于神经网络训练的词嵌入作为输入；所述日志序列异常检测模型设置有堆叠LSTM层，用于提取日志序列的隐含模式，所述日志序列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多元日志数据分析的日志审计方法，其特征在于，包括以下步骤：获取日志数据分析目标；基于所述日志数据分析目标，利用基于区块链的日志存证、溯源方法，对分布于国分、省地两级的关联服务进行多元日志数据源定位，获得广域日志；将所述广域日志中非结构化、半结构化的原始日志记录解析成结构化形式，并与所述广域日志中结构化的原始日志记录组合，形成结构化数据日志记录；基于所述结构化数据日志记录进行审计并获得审计报告，完成基于多元日志数据分析的日志审计。2.根据权利要求1所述的一种基于多元日志数据分析的日志审计方法，其特征在于，所述获取日志数据分析目标的步骤具体包括：基于预设的业务需求和调控云服务类型，获得日志数据分析目标。3.根据权利要求1所述的一种基于多元日志数据分析的日志审计方法，其特征在于，所述利用基于区块链的日志存证、溯源方法中：所述区块链为联盟链；所述区块链存储有预构建的适用于区块链的调控模型数据溯源模型信息；其中，所述预构建的适用于区块链的调控模型数据溯源模型基于PROV建立，包括：实体、活动和代理；所述实体描述的对象为数据交互操作，所述数据交互操作形式化描述为，数据交互操作＝(数据摘要，交互ID，发起端，操作名，扩展字段)；式中，数据摘要是数据交互操作所操作的数据的数据摘要，交互ID用于作为交互发起方的唯一标识符；所述活动形式化描述为，活动＝(活动类型，活动代理，扩展字段)；式中，活动类型用于指定数据操作类型，活动代理字段用于与该活动关联的代理，扩展字段用于功能扩展；所述代理形式化描述为，代理＝(代理类型，代理ID，扩展字段)；日志存证过程中，基于预设的操作日志溯源合约实现上链；日志溯源过程中，基于预设的操作溯源验证合约实现查询。4.根据权利要求3所述的一种基于多元日志数据分析的日志审计方法，其特征在于，所述日志存证过程中，基于预设的操作日志溯源合约实现上链的步骤具体包括：在客户端发起广域数据交互时，广域数据交互中间件触发操作日志溯源合约开展操作日志上链记录，形成操作日志溯源链；其中，所述操作日志溯源合约封装有Put、Delete、Update和Query操作，用于数据增删改查不同情况下的调用；Put操作表示远程数据交互操作为新增数据，Delete操作表示远程数据交互操作为删除数据，Update操作表示远程数据交互操作为更改，Query操作表示远程数据交互操作为查询；所述操作日志溯源链的链式结构由节点组成；每个节点均包括节点头和节点体，节点头存储交互操作数据内...

【专利技术属性】
技术研发人员：刘东，杨清波，张周杰，宋磊，狄方春，何明，冯琼，路轶，武书舟，温丽丽，张媛一，叶瑞丽，刘蒙，谢琳，曹良晶，李立新，杨小磊，崔灿，范曦露，宫玲琳，俞灵，盛歆歆，
申请(专利权)人：国网冀北电力有限公司国网四川省电力公司国网四川省电力公司电力科学研究院，
类型：发明
国别省市：