本发明专利技术涉及数据脱敏技术领域，尤其是涉及一种基于血缘分析的数据脱敏方法及具有其的系统。该基于血缘分析的数据脱敏方法包括：在数据库中建立第一表和第二表；建立第三表，并将第三表存储在系统中，在系统中为第三表配置脱敏配置，其中，第三表包括合表和图表；将第三表的脱敏配置存储在第一表中；启动系统时，扫描第三表，并将扫描结果记录在第二表中，以及将第三表中的不能进行脱敏配置的字段记录在第一表中；建立第四表或修改第三表时，判断用户当前的操作如果继续进行下去，是否会导致脱敏字段上的原始数据泄露；若有，则禁止操作，若没有，则允许建立第四表或修改第三表，并将第一表中的脱敏配置继承至建立第四表或修改第三表中。三表中。三表中。
【技术实现步骤摘要】
一种基于血缘分析的数据脱敏方法及具有其的系统
[0001]本专利技术涉及数据脱敏
，尤其是涉及一种基于血缘分析的数据脱敏方法及具有其的系统。
技术介绍
[0002]随着技术发展，用户在互联网上产生的数据越来越多，用户的个人信息也变得越来越敏感。因此，企业在使用数据进行合理分析的同时，需要对用户的关键信息进行脱敏，保护用户的个人信息不泄漏。
[0003]现有的脱敏方案中，大多是从实际存储的数据进行脱敏的方向去考虑的。这样做的优势是脱敏后的数据更加安全，但劣势是脱敏规则的配置到完全生效，根据数据量和方案原理会有不同的延迟，二是无法满足对数据源处理时，生成中间结果，以及根据中间结果创建需要的分析图表的脱敏需求。
[0004]基于上述原因，亟需一种能够在数据处理时，不进行脱敏，仅在展示时脱敏的脱敏方法。
技术实现思路
[0005]本专利技术提供一种基于血缘分析的数据脱敏方法及具有其的系统，解决现有技术中数据量和方案原理会有不同的延迟，且无法满足对数据源处理时，生成中间结果，以及根据中间结果创建需要的分析图表的脱敏需求。
[0006]本申请的第一方面提供一种基于血缘分析的数据脱敏方法，其特征在于，包括：
[0007]在数据库中建立第一表和第二表，其中，所述第一表表示脱敏配置，所述第一表包括标识工作表和合表唯一ID的字段、存储用户唯一ID的字段、是否需要脱敏的字段、编辑脱敏配置的字段和存储脱敏配置的字段，所述第二表表示存储表字段之间的血缘关系，包括计算源表的唯一ID，计算源字段的唯一ID，计算结果工作表的唯一ID，计算结果字段的唯一ID；
[0008]建立第三表，并将所述第三表存储在系统中，在所述系统中为所述第三表配置脱敏配置，其中，所述第三表包括合表和图表；
[0009]将所述第三表的脱敏配置存储在所述第一表中；
[0010]启动所述系统时，扫描所述第三表，并将扫描结果记录在所述第二表中，以及将所述第三表中的不能进行脱敏配置的字段记录在所述第一表中；
[0011]建立第四表或修改第三表时，判断用户当前的操作如果继续进行下去，是否会导致脱敏字段上的原始数据泄露，其中，所述第四表表示用户新建的合表或图表；
[0012]若有，则禁止操作，若没有，则允许建立第四表或修改第三表，并将所述第一表中的脱敏配置继承至建立第四表或修改第三表中。
[0013]可实施的一种方式中，所述在数据库中建立第一表和第二表的步骤，包括：
[0014]所述存储用户唯一ID的字段，表示每个用户对所述第一表的权限为所述第一表的
一条数据；
[0015]所述编辑脱敏配置的字段，表示用户是否能够编辑所述第一表脱敏配置的字段；
[0016]所述存储脱敏配置的字段，表示用于存储脱敏配置的字段；
[0017]所述计算源表的唯一ID，表示由第三方数据源构成的工作表的唯一ID；
[0018]所述计算结果工作表的唯一ID，表示所述第三方数据源生成中间结果表的唯一ID。
[0019]可实施的一种方式中，所述建立第三表，并将所述第三表存储在系统中，在所述系统中为所述第三表配置脱敏配置的步骤，包括：
[0020]为所述第三表建立符合所述第一表规则的脱敏配置。
[0021]可实施的一种方式中，所述将所述第三表的脱敏配置存储在所述第一表中的步骤，包括：
[0022]若展示所述第三表的情况下，在所述第一表中调取所述第三表的脱敏配置；
[0023]基于所述第一表中的所述第三表对应的脱敏配置，展示所述第三表。
[0024]可实施的一种方式中，所述启动所述系统时，扫描所述第三表，并将扫描结果记录在所述第二表中，以及将所述第三表中的不能进行脱敏配置的字段记录在所述第一表中的步骤，包括：
[0025]建立和/或更新所述工作表字段之间的血缘关系；
[0026]判断构成所述合表的链路中每个表里的字段是否会导致脱敏泄露数据；
[0027]若存在会导致脱敏泄露数据，将字段标记为禁止进行脱敏配置，存储在第一表中，并在所述第一表中所有使用了该字段的所述第三表的配置里，添加禁止该字段脱敏的标记。
[0028]可实施的一种方式中，所述启动所述系统时，扫描所述第三表，并将扫描结果记录在所述第二表中，以及将所述第三表中的不能进行脱敏配置的字段记录在所述第一表中的步骤之后，还包括：
[0029]用户调整第三表中字段对应的脱敏配置时，根据所述第二表中记录的计算血缘关系，将该脱敏配置由所述第一表继承到下游所有使用了该字段的表中，其中，所述调整脱敏配置包括创建、修改和删除脱敏配置中的至少一种调整方式。
[0030]可实施的一种方式中，在所述大数据分析工具程序中进行所述第一表、所述第二表和所述第三表的配置，将所述第一表、所述第二表和所述第三表转换成Spark SQL语句，提供给Spark执行，生成符合用户要求的图标或合表；
[0031]基于ANTLR语法分析器，解析Spark获取到Spark SQL使用的数据表、字段，以及计算逻辑，其中，所述数据表，表示工作表或合表。
[0032]本申请的第二方面提供一种基于血缘分析的数据脱敏系统，应用于前述的基于血缘分析的数据脱敏方法，所述系统包括：
[0033]第一建立单元，用于在数据库中建立第一表和第二表，其中，所述第一表表示脱敏配置，所述第一表包括标识工作表和合表唯一ID的字段、存储用户唯一ID的字段、是否需要脱敏的字段、编辑脱敏配置的字段和存储脱敏配置的字段，所述第二表表示存储表字段之间的血缘关系，包括计算源表的唯一ID，计算源字段的唯一ID，计算结果工作表的唯一ID，计算结果字段的唯一ID；
[0034]第二建立单元，用于建立第三表，并将所述第三表存储在系统中，在所述系统中为所述第三表配置脱敏配置，其中，所述第三表包括合表和图表；
[0035]存储单元，用于将所述第三表的脱敏配置存储在所述第一表中；
[0036]扫描单元，用于启动所述系统时，扫描所述第三表，并将扫描结果记录在所述第二表中，以及将所述第三表中的不能进行脱敏配置的字段记录在所述第一表中；
[0037]第一判断单元，用于建立第四表或修改第三表时，判断用户当前的操作如果继续进行下去，是否会导致脱敏字段上的原始数据泄露，其中，所述第四表表示用户新建的合表或图表；
[0038]第二判断单元，用于若有，则禁止操作，若没有，则允许建立第四表或修改第三表，并将所述第一表中的脱敏配置继承至建立第四表或修改第三表中。
[0039]本申请第三方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前述的基于血缘分析的数据脱敏方法。
[0040]本申请第四方面提供一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现前述的基于血缘分析的数据脱敏方法的步骤。
[0041]本专利技术本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于血缘分析的数据脱敏方法，其特征在于，包括：在数据库中建立第一表和第二表，其中，所述第一表表示脱敏配置，所述第一表包括标识工作表和合表唯一ID的字段、存储用户唯一ID的字段、是否需要脱敏的字段、编辑脱敏配置的字段和存储脱敏配置的字段，所述第二表表示存储表字段之间的血缘关系，包括计算源表的唯一ID，计算源字段的唯一ID，计算结果工作表的唯一ID，计算结果字段的唯一ID；建立第三表，并将所述第三表存储在系统中，在所述系统中为所述第三表配置脱敏配置，其中，所述第三表包括合表和图表；将所述第三表的脱敏配置存储在所述第一表中；启动所述系统时，扫描所述第三表，并将扫描结果记录在所述第二表中，以及将所述第三表中的不能进行脱敏配置的字段记录在所述第一表中；建立第四表或修改第三表时，判断用户当前的操作如果继续进行下去，是否会导致脱敏字段上的原始数据泄露，其中，所述第四表表示用户新建的合表或图表；若有，则禁止操作，若没有，则允许建立第四表或修改第三表，并将所述第一表中的脱敏配置继承至建立第四表或修改第三表中。2.根据权利要求1所述的基于血缘分析的数据脱敏方法，其特征在于，所述在数据库中建立第一表和第二表的步骤，包括：所述存储用户唯一ID的字段，表示每个用户对所述第一表的权限为所述第一表的一条数据；所述编辑脱敏配置的字段，表示用户是否能够编辑所述第一表脱敏配置的字段；所述存储脱敏配置的字段，表示用于存储脱敏配置的字段；所述计算源表的唯一ID，表示在计算中作为数据源的第三表的唯一ID；所述计算结果工作表的唯一ID，表示由计算源表经过指定计算后生成的作为结果的第四表的唯一ID。3.根据权利要求1所述的基于血缘分析的数据脱敏方法，其特征在于，所述建立第三表，并将所述第三表存储在系统中，在所述系统中为所述第三表配置脱敏配置的步骤，包括：为所述第三表建立符合所述第一表规则的脱敏配置。4.根据权利要求1所述的基于血缘分析的数据脱敏方法，其特征在于，所述将所述第三表的脱敏配置存储在所述第一表中的步骤，包括：若展示所述第三表的情况下，在所述第一表中调取所述第三表的脱敏配置；基于所述第一表中的所述第三表对应的脱敏配置，展示所述第三表。5.根据权利要求1所述的基于血缘分析的数据脱敏方法，其特征在于，所述启动所述系统时，扫描所述第三表，并将扫描结果记录在所述第二表中，以及将所述第三表中的不能进行脱敏配置的字段记录在所述第一表中的步骤，包括：建立和/或更新所述工作表字段之间的血缘关系；基于血缘关系，判断构成所述合表的链路中每个表里的字段是否会导致脱敏泄露数据；若存在会导致脱敏泄露数据，将字段标记为禁止进行脱敏配置，存储在第一表中，并在所述第一表中所有使用了该字段的所述第三表的配置里，添加禁止该字段的脱敏标...
【专利技术属性】
技术研发人员：杨娟，翟士丹，黄鑫，陈旭升，
申请(专利权)人：北京海致星图科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。