一种多计算模式个人敏感信息脱敏合规性评测方法及系统技术方案

本发明专利技术公开了一种多计算模式个人敏感信息脱敏合规性评测方法及系统，该系统包括数据存储、日志采集、日志分发、数据处理和数据可视化模块，基于该系统提出的方法包括：日志采集模块从外部敏感信息脱敏系统中采集新增脱敏操作日志数据，发给日志分发模块；日志分发模块将日志数据存储在数据存储模块的数据库，然后按集中式或分布式处理模式处理；数据处理模块对收到的日志数据先缓存，再采用离线或流数据计算模式进行基于基准过程模型的合规性评测；最后通过数据可视化模块对基准过程模型和合规性评测结果进行可视化展示。本发明专利技术具有高吞吐量、可扩展性以及低处理时延的特点；并且按照不同的评测需求，本发明专利技术能够在多种计算模式中灵活选择。式中灵活选择。式中灵活选择。

【技术实现步骤摘要】
一种多计算模式个人敏感信息脱敏合规性评测方法及系统


[0001]本专利技术属于过程挖掘、分布式计算、流式数据处理、图计算等领域，具体涉及一种融合了离线分析、流数据处理和分布式计算三种数据处理方式的合规性评测系统。

技术介绍

[0002]为了满足个人敏感信息脱敏控制对合规评测的要求，需要评测敏感信息脱敏操作的正确性，这是个人敏感信息脱敏合规评测需要满足的首要需求。敏感信息脱敏控制策略有很多种，针对不同的场景、不同的脱敏需求就会有不同的策略选择，而每一种选择的敏感信息脱敏控制策略都有一个基本的工作流程以满足系统的需求。所以首先需要评测敏感信息脱敏控制策略是否选择正确，以确保整个脱敏控制过程的正确性。然而，针对控制策略在各个环节中执行的完备性和正确性，个人敏感信息脱敏合规评测是指在对个人敏感信息和数据进行脱敏的操作过程中需要遵守一定的操作规范，并且在脱敏操作完成之后要有合规性检查和评测。即分析和评判本次个人敏感信息脱敏操作是否符合预先设定的标准脱敏规范，如果不符合，需要指明是操作过程中的哪一步骤或环节不符合规范，并给出相应的修改和提升意见，以此指导后续敏感信息脱敏操作的顺利进行。
[0003]过程挖掘技术提供了一种严格地检查合规性并确定组织核心流程信息的有效性和可靠性的方法。核心挑战是将规定的行为(例如，过程模型或规则集)与观察到的行为(例如，审计跟踪、工作流日志、事务日志、消息日志和数据库)进行比较。
[0004]一致性检查技术是通过计算事件日志中的轨迹与模型中的“最佳迭代”路径之间的最佳对齐来检索其中的一致性信息。随着过程挖掘领域的不断研究和发展，目前又涌现出很多新的问题：a)异源日志的融合问题，即事件日志是来自不同的信息系统。这些信息系统可能是不同时期的，或者是不同企业开发的，它们在活动命名、业务过程设计上均不同。因此，如何将事件日志进行融合是一个关键问题。b)概念漂移问题，即过程模型中的概念随着时间的迁移发生了变化。举例来说，一些旧的业务过程可能会被简化(也可能变得复杂)，一些简单的业务过程可能会被合并，业务过程中的一些活动可能会被删除或修改，等等。c)大数据处理问题，尽管目前已有一些关于过程大数据处理的研究，例如分治法，或者基于MapReduce、GPU的算法，但是总体来说，该领域还处于起步阶段，仍然有诸多问题臻待解决。
[0005]合规性评测是一种验证技术，用于确定系统模型是否符合以形式语言描述的规范，通常系统模型由非确定性或概率自动机给出。一些研究提出合规性评测方法旨在验证系统开发的工作，另一方面，学习模型在合规性评测中对业务流程管理和审计分析来说越来越重要，它指的是发现过程遵守内部或外部规则，然后处理验证问题。随着软件规模的越来越大，人工的验证软件变得越来越难，而且人工的验证本身是否可靠也是一个很大的问题。因此，合规性评测研究的目的就是扩展自动验证技术的应用领域，将其用于程序的推理，无论是在程序处理的验证还是性质的验证上，都要最大程度的增加自动化的比例。另一方面，由于合规性评测的状态空间巨大，对状态空间完全搜索需要消耗大量的时间，甚至在有限的时间内无法完成搜索，这限制了合规性评测技术的应用。
[0006]本专利技术应用于各种需要针对敏感信息脱敏操作的应用场景，如电子政务、社交网络、医疗健康、电子商务等。在各互联网企业将用户数据进行跨业务场景、跨生态圈、跨管理域进行交换的同时，用户的隐私信息也存在泄露风险，严重威胁到用户的个人隐私权益。为解决用户隐私数据泄露的问题，基于差分隐私、匿名化、数据混淆、隐私防护等技术，形成了针对文本文档、视频、图片及生物特征识别等各类数据的脱敏方法。
[0007]综上所述，合规性评测技术通过比较已观测行为(即事件日志)和建模行为(即初始化过程模型)，实现量化和诊断偏差，由于过程模型是对信息系统进行认证和模拟的有效工具，因此进行系统实际运行行为的事件日志和过程模型之间的合规性评测是非常必要的。

技术实现思路

[0008]本专利技术是一种对事件日志的合规性评测系统，针对日志数据融合了离线分析、流数据处理和分布式计算三种处理方式。
[0009]本专利技术提出了一种多计算模式个人敏感信息脱敏合规性评测方法及系统，其中，所使用的合规性评测系统是一种融合了离线分析、流数据处理和分布式计算三种数据处理方式的合规性评测系统，该系统包括以下五个模块：(1)数据存储模块，利用数据库存储日志数据、基准过程模型、评测结果等数据，数据库可以选择MySQL等；(2)日志采集模块，用于从数据源(外部的敏感信息脱敏系统)中获取脱敏操作日志数据作为系统输入，日志采集模块可以选择Flume日志采集工具；(3)日志分发模块，用于在系统中分发日志数据到数据处理模块的各个工作节点上，并保存新增脱敏操作日志数据到数据库中，日志分发模块可以选择使用Kafka工具；(4)数据处理模块，用于运行合规性评测算法并输出评测结果，数据处理模块可以选择使用spark或storm框架；(5)数据可视化模块，用于绘制基准过程模型和展示评测结果。
[0010]基于上述系统提出的一种多计算模式个人敏感信息脱敏合规性评测方法包括以下步骤：
[0011]S1)日志采集模块中的日志采集工具将新增的脱敏操作日志数据从外部敏感信息脱敏系统中采集过来，发给日志分发模块；
[0012]S2)日志分发模块先将新增的脱敏操作日志数据存储在数据存储模块的数据库中，之后既能够按照集中式处理模式，将全部日志数据直接发给数据处理模块中的某个工作节点，也能够按照分布式处理模式，根据相应的分区策略对日志数据进行分区操作并将分区数据发给数据处理模块中的不同工作节点；
[0013]S3)数据处理模块中的工作节点对于收到的日志数据先缓存在工作节点上的内存中，再采用离线计算或是流数据计算模式进行基于基准过程模型的合规性评测，若是集中式处理模式，则接收数据的工作节点的处理结果直接作为合规性评测结果存入数据库；若是分布式处理模式，则各个工作节点的处理结果在汇聚节点聚合得到最终的合规性评测结果并存入数据库；
[0014]S4)通过数据可视化模块对基准过程模型和合规性评测结果进行可视化展示。
[0015]与现有针对个人敏感信息脱敏操作的合规性评测系统采用集中式离线处理方式相比，本专利技术的合规性评测系统对脱敏操作既提供了分布式计算方式还提供了流式数据处
理方式，带来的技术效果如下：
[0016](1)针对个人敏感信息脱敏操作的合规性评测系统的分布式计算，能够带来的高吞吐量、可扩展性的技术效果。传统集中式处理方式中，单个服务器的处理能力有限，难以应对个人敏感信息脱敏系统产生的海量日志数据。而分布式处理方式能够提升合规性评测系统的数据处理吞吐量，而且具备良好的可扩展性。
[0017](2)针对个人敏感信息脱敏操作的合规性评测系统的流式数据处理，能够带来的低处理时延的技术效果。传统方式需要将日志数据先存储到数据库中，再对数据库中的数据进行离线处理，如此过程会来带较长的处理时延。而且，如果个人敏感信息脱敏系统产生日志本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多计算模式个人敏感信息脱敏合规性评测系统，其特征在于，该系统包括数据存储模块、日志采集模块、日志分发模块、数据处理模块和数据可视化模块；其中，数据存储模块利用数据库存储日志数据、基准过程模型以及合规性评测结果数据；日志采集模块用于从外部敏感信息脱敏系统中获取脱敏操作日志数据作为所述合规性评测系统的输入；日志分发模块用于在系统中分发脱敏操作日志数据到数据处理模块的各个工作节点上，并保存新增脱敏操作日志数据到数据库中；数据处理模块用于运行合规性评测算法并输出合规性评测结果；数据可视化模块用于绘制基准过程模型并展示合规性评测结果。2.根据权利要求1所述的多计算模式个人敏感信息脱敏合规性评测系统，其特征在于，所述数据库选择MySQL。3.根据权利要求2所述的多计算模式个人敏感信息脱敏合规性评测系统，其特征在于，所述日志采集模块选择使用Flume日志采集工具。4.根据权利要求3所述的多计算模式个人敏感信息脱敏合规性评测系统，其特征在于，所述日志分发模块选择使用Kafka工具。5.根据权利要求4所述的多计算模式个人敏感信息脱敏合规性评测系统，其特征在于，所述数据处理模块选择使用spark或storm框架。6.一种多计算模式个人敏感信息脱敏合规性评测方法，其特征在于，该方法采用多计算模式个人敏感信息脱敏合规性评测系统实现，所述合规性评测系统包括数据存储模块、日志采集模块、日志分发模块、数据处理模块和数据可视化模块这五个模块，该方法包括以下步骤：S1)日志采集模块中的日志采集工具将新增的脱敏操作日志数据从外部敏感信息脱敏系统中采集过来，发给日志分发模块；S2)日志分发模块先将新增的脱敏操作日...

【专利技术属性】
技术研发人员：宋超，任政，胡瑞林，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：