【技术实现步骤摘要】
本专利技术涉及数据安全加密，具体是一种基于odps离线数仓的敏感数据加密方法。
技术介绍
1、现在中小型企业中对于数据的安全性都没有一个很深的认知或对数据的安全没有到很重视的程度，中小型企业前期发发展着重在业务的发展，以发展业务为首要目标，目前行业中加密算法多种多样,且加密手段也不尽相同。
2、行业现状通用的技术方案为新增一个加密后的密文字段，然后对下游使用明文字段的处理，后续完成对使用密文字段的逻辑处理的切换，实际通过冗余一个字段的方式，将数据从明文到密文的过渡，最后将明文字段置空处理。
技术实现思路
1、有鉴于此，本专利技术实施例希望提供一种基于odps离线数仓的敏感数据加密方法，以解决或缓解以下的技术问题：
2、(1)现有技术通过增加新的密文字段(如mobile_enc)进行字段备份过渡的方式，以存储冗余换计算的问题是，字段不能删除，并且需要要一直保留，一个mobile字段需要使用两个字段表示，增加维护成本。
3、(2)现有技术数据处理逻辑中存在二次加解密的风险(在密文的基础上再加密)，对下游使用来说，不好识别哪些数据需要解密几次。
4、(3)现有技术通过增加加密字段方式，首先要给每个需要加密表的字段进行增加密文字段处理，然后梳理每个产出任务的逻辑，判断是否有关联、过滤等操作，进行替换，然后给原明文字段置空，这种处理手段，流程复杂，工作成本高，需频繁改线上表和线上任务，风险性高。
5、(4)现有技术直接通过udf函数
6、现有技术中存在的技术问题，为上述技术问题至少提供一种有益的选择。
7、为实现上述目的，本专利技术提供如下技术方案：
8、一种基于odps离线数仓的敏感数据加密方法，该方法包括以下步骤：
9、s1、单独创建一个dataworks项目空间存放udf所需要的jar包资源，项目空间中只能最高权限人一个能够访问；
10、s2、通过对资源jar包的管控的形式，使得使用人员只需要知道函数名，通过调取函数便能使用加解密函数；
11、s3、通过改造加解密函数，进行加解密之前先判断是明文还是密文，再决定是否进行加解密；
12、s4、创建一个新的odps空间，用于存放加解密函数资源，所述odps空间权限控制只允许权限审批人能够访问和赋权；
13、s5、对需要加密的数据的目标dataworks空间，进行梳理任务中包含需要加密的敏感信息字段，对贴源层数据进行加密；
14、s6、排查线上任务中是否有敏感信息字段的关联，并进行过滤操作；
15、s7、关注上游业务侧是否有表字段删除操作，如果有，则提前周知，下游数据仓库及时进行字段收容切换。
16、作为本专利技术进一步的方案：所述s4中加解密函数资源包括函数逻辑和密钥。
17、作为本专利技术再进一步的方案：所述s5中如贴源层无法加密可在下一层节点的中间层内部进行加密。
18、作为本专利技术再进一步的方案：所述s6中对于过滤操作，对明文枚举值进行加密处理。
19、作为本专利技术再进一步的方案：所述s6中对于关联等操作，判断两边是否同为密文，对非密文的表进行加密处理。
20、作为本专利技术再进一步的方案，该方法还包括以下步骤：
21、步骤一、通过主密钥对敏感数据字段进行选择性加密，包括敏感数据、主密钥和次密钥，所述敏感数据以密文的形式存储，对所述敏感数据进行字段级细粒度的分级加密，对所述敏感数据列的加密算法和密钥强度进行多级密钥设置，对所述敏感数据进行进程内加密，且通过所述主密钥控制敏感数据的访问和传输权限；
22、步骤二、判断所述敏感数据是明文敏感数据还是密文敏感数据；
23、步骤三、对于明文敏感数据，确定所述明文敏感数据对应的业务类型，并确定该业务类型对应的加密等级，获取与所述加密等级相对应的加密方法和加密秘钥；
24、步骤四、基于所述加密方法和加密秘钥，对所述明文敏感数据进行加密处理，以生成加密数据；
25、步骤五、控制用户对敏感数据的检索索引权限，且相同记录内容的索引项不同加密设置，对所述敏感数据的加密索引进行多因子字段的访问控制，所述敏感数据的主密钥和所述敏感数据加密索引的次密钥均保存在数据库的数据字典中；
26、步骤六、所述敏感数据的加密索引的次密钥由管理员管理，所述敏感数据的访问和传输的主密钥由第一负责人管理，当用户进行敏感数据的加密索引时，向所述管理员请求获取敏感数据的索引和解密权限，请求通过后获取敏感数据的索引权限和解密，当用户进行敏感数据的访问和传输时，向所述第一负责人请求获取相应的访问传输权限，请求通过后数据库根据数据字典中的与要访问的敏感数据相对应的主密钥进行自主解密，并允许用户完成敏感数据的访问和传输，且对管理员和第一负责人的允许操作行为进行记录，并记录备份用户的访问和传输内容。
27、作为本专利技术再进一步的方案：用户访问数据时，通过所述数据库监测识别是否涉及敏感数据，若涉及则需要向管理员或第一负责人申请访问，所述管理员或第一负责人接收并同意后，对用户开放查询、访问或传输以密文形式存储的敏感数据的权限，所述管理员或第一负责人接收并拒绝后，则终止用户的查询访问和传输权限，若不涉及则允许用户进行查询、访问或传输。
28、作为本专利技术再进一步的方案：对所述密文敏感数据进行解密处理，包括：获取与所述密文敏感数据相对应版本的解密秘钥，并基于所述版本的解密秘钥，对所述密文敏感数据进行解密处理。
29、作为本专利技术再进一步的方案：对所述密文敏感数据进行解密处理，包括：获取与所述密文敏感数据相对应版本的解密秘钥，并基于所述版本的解密秘钥，对所述密文敏感数据进行解密处理。
30、作为本专利技术再进一步的方案：利用主密钥和次密钥完成敏感数据的解密具体操作为：利用调取出数据库内主密钥对用户访问和传输的敏感数据进行解密，利用调取出数据库内次密钥对用户检索索引的敏感数据进行解密。
31、本专利技术实施例由于采用以上技术方案，其具有以下优点：
32、一、本方案通过创建单独的项目空间存储加解密函数的资源，能够方便有效的隔离使用方对原始加解密逻辑和密钥的操作，对函数使用权限的控制。
33、二、本方案通过对原始字段进行加密，节省存储空间，减少因加解密产生的废弃字段的影响，避免后期维护麻烦。
34、三、本方案通过对加解密函数的扩展，避免对数据进行多次加解密造成的不可预料的影响。
35、四、本方案规避与业务侧的加密工作实施落地的耦合，可单独进行加解密，不用依赖业务侧，与业务侧的加密工作解耦。
36、五、细粒度的分级加密：本方案对敏感数据进行字段级细粒度的分级加密，可以根据业务需求和数据敏感程度，采用不同的加密算法和密钥本文档来自技高网...
【技术保护点】
1.一种基于ODPS离线数仓的敏感数据加密方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于ODPS离线数仓的敏感数据加密方法，其特征在于：所述S4中加解密函数资源包括函数逻辑和密钥。
3.根据权利要求2所述的一种基于ODPS离线数仓的敏感数据加密方法，其特征在于：所述S5中如贴源层无法加密可在下一层节点的中间层内部进行加密。
4.根据权利要求3所述的一种基于ODPS离线数仓的敏感数据加密方法，其特征在于：所述S6中对于过滤操作，对明文枚举值进行加密处理。
5.根据权利要求4所述的一种基于ODPS离线数仓的敏感数据加密方法，其特征在于：所述S6中对于关联等操作，判断两边是否同为密文，对非密文的表进行加密处理。
6.根据权利要求5所述的一种基于ODPS离线数仓的敏感数据加密方法，其特征在于，该方法还包括以下步骤：
7.根据权利要求6所述的一种基于ODPS离线数仓的敏感数据加密方法，其特征在于：用户访问数据时，通过所述数据库监测识别是否涉及敏感数据，若涉及则需要向管理员或第一负责人申请访问，
8.根据权利要求6所述的一种基于ODPS离线数仓的敏感数据加密方法，其特征在于：对所述密文敏感数据进行解密处理，包括：获取与所述密文敏感数据相对应版本的解密秘钥，并基于所述版本的解密秘钥，对所述密文敏感数据进行解密处理。
9.根据权利要求6所述的一种基于ODPS离线数仓的敏感数据加密方法，其特征在于：对所述密文敏感数据进行解密处理，包括：获取与所述密文敏感数据相对应版本的解密秘钥，并基于所述版本的解密秘钥，对所述密文敏感数据进行解密处理。
10.根据权利要求6所述的一种基于ODPS离线数仓的敏感数据加密方法，其特征在于：利用主密钥和次密钥完成敏感数据的解密具体操作为：利用调取出数据库内主密钥对用户访问和传输的敏感数据进行解密，利用调取出数据库内次密钥对用户检索索引的敏感数据进行解密。
...【技术特征摘要】
1.一种基于odps离线数仓的敏感数据加密方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于odps离线数仓的敏感数据加密方法，其特征在于：所述s4中加解密函数资源包括函数逻辑和密钥。
3.根据权利要求2所述的一种基于odps离线数仓的敏感数据加密方法，其特征在于：所述s5中如贴源层无法加密可在下一层节点的中间层内部进行加密。
4.根据权利要求3所述的一种基于odps离线数仓的敏感数据加密方法，其特征在于：所述s6中对于过滤操作，对明文枚举值进行加密处理。
5.根据权利要求4所述的一种基于odps离线数仓的敏感数据加密方法，其特征在于：所述s6中对于关联等操作，判断两边是否同为密文，对非密文的表进行加密处理。
6.根据权利要求5所述的一种基于odps离线数仓的敏感数据加密方法，其特征在于，该方法还包括以下步骤：
7.根据权利要求6所述的一种基于odps离线数仓的敏感数据加密方法，其特征在于：用户访问数据时，通过所述数据库监测识别是否涉及敏感数据，若涉及则需要...
【专利技术属性】
技术研发人员：于志杰，
申请(专利权)人：北京白龙马云行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。