大数据平台全流程数据加密保护方法技术

本发明专利技术提出了一种大数据平台全流程数据加密保护方法及系统，包括：加密操作：大数据组件触发加密需求，向加解密算法模块调用加密引擎；加解密算法模块向密钥管理系统获取密钥，由密钥管理系统进行身份认证和鉴权；密钥管理系统如果请求成功，则返回密钥；否则请求失败；加解密算法模块进行加密运算，然后向大数据组件返回加密结果；解密操作：大数据组件触发解密请求，向加解密算法模块调用解密引擎；加解密算法模块向密钥管理系统获取密钥，由密钥管理系统进行身份认证和鉴权；密钥管理系统如果请求成功，则返回密钥；否则请求失败；加解密算法模块进行解密运算，然后向大数据组件返回解密结果。密结果。密结果。

【技术实现步骤摘要】
大数据平台全流程数据加密保护方法


[0001]本专利技术涉及大数据处理
，特别涉及一种大数据平台全流程数据加密保护方法。

技术介绍

[0002]目前实现大数据应用的主流技术路线是采用Hadoop生态内的一系列大数据组件，分别实现海量多源数据的采集、传输、存储、处理(计算)等功能。数据作为一种“原材料”，经历清洗、转发、存储、计算/查询、分析等，实现从低价值向高价值的转换。然而，现有的大数据平台内的加密技术和实现往往只关注单个组件内部的加密实现，如HDFS加密、Hbase加密、Fl ink加密等，这些加密技术基本采用加解密算法模块来实现本组件内部的透明加密。这样的数据加密处理会带来以下弊端：
[0003]首先，这些加密技术往往仅包括国际加密算法，对国产密码算法的支持不足，限制了在我国关键信息基础设施等场景下的应用；
[0004]其次，这些加密技术往往只能保护单个组件内部的数据机密性，无法应对组件间数据流转的保护要求。
[0005]此外，现有的数据加密技术中的密钥管理都未采用硬件级的保护方式，无法保证密钥的生成质量和存储安全性；
[0006]最后，现有大数据平台中的加密技术过于底层，强调加解密动作的“透明”，即减少对访问数据的影响。但同时降低了对数据保护的力度，因为加密的保护强依赖于业务侧的身份认证。

技术实现思路

[0007]本专利技术的目的旨在至少解决所述技术缺陷之一。
[0008]为此，本专利技术的目的在于提出一种大数据平台全流程数据加密保护方法，以解决
技术介绍
中所提到的问题，克服现有技术中存在的不足。
[0009]为了实现上述目的，本专利技术的实施例提供一种大数据平台全流程数据加密保护方法，包括如下步骤：
[0010]步骤S1，加密操作：
[0011]步骤S11，大数据组件触发加密需求，向加解密算法模块调用加密引擎；
[0012]步骤S12，加解密算法模块向密钥管理系统获取密钥，由所述密钥管理系统进行身份认证和鉴权；
[0013]步骤S13，所述密钥管理系统如果请求成功，则返回密钥；否则请求失败；
[0014]步骤S14，所述加解密算法模块进行加密运算，然后向大数据组件返回加密结果；
[0015]步骤S2，解密操作：
[0016]步骤S21，大数据组件触发解密请求，向加解密算法模块调用解密引擎；
[0017]步骤S22，加解密算法模块向密钥管理系统获取密钥，由密钥管理系统进行身份认
证和鉴权；
[0018]步骤S23，所述密钥管理系统如果请求成功，则返回密钥；否则请求失败；
[0019]步骤S24，所述加解密算法模块进行解密运算，然后向大数据组件返回解密结果。
[0020]由上述任一方案优选的是，在所述步骤S11中，所述大数据组件采用手动或自动方式触发加密需求；
[0021]在所述步骤S21中，所述大数据组件采用手动或自动方式触发解密需求。
[0022]由上述任一方案优选的是，在加密需求发生后，将加密需求发送至加解密算法模块，所述加解密算法模块向密钥管理系统请求密钥，如果是初次请求则是生成，否则就是获取密钥；然后，密钥管理系统需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算法模块则继续进行加密运算，并将密文返回给大数据组件。
[0023]由上述任一方案优选的是，在解密需求发生后，将解密需求发送至加解密算法模块，所述加解密算法模块向密钥管理系统请求密钥；然后，密钥管理系统需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算法模块则继续进行解密运算，并将密文返回给大数据组件。
[0024]本专利技术的实施例还提供一种大数据平台全流程数据加密保护系统，包括：大数据组件、加解密算法模块和密钥管理系统，其中，
[0025]当执行加密操作时：
[0026]所述大数据组件触发加密需求，向加解密算法模块调用加密引擎；加解密算法模块向密钥管理系统获取密钥，由所述密钥管理系统进行身份认证和鉴权；所述密钥管理系统如果请求成功，则返回密钥；否则请求失败；所述加解密算法模块进行加密运算，然后向大数据组件返回加密结果；
[0027]当执行解密操作时：
[0028]所述大数据组件触发解密请求，向加解密算法模块调用解密引擎；加解密算法模块向密钥管理系统获取密钥，由密钥管理系统进行身份认证和鉴权；所述密钥管理系统如果请求成功，则返回密钥；否则请求失败；所述加解密算法模块进行解密运算，然后向大数据组件返回解密结果。
[0029]由上述任一方案优选的是，所述大数据组件采用手动或自动方式触发加密需求和解密需求。
[0030]由上述任一方案优选的是，所述大数据组件在加密需求发生后，将加密需求发送至所述加解密算法模块，所述加解密算法模块向密钥管理系统请求密钥，如果是初次请求则是生成，否则就是获取密钥；然后，密钥管理系统需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算法模块则继续进行加密运算，并将密文返回给大数据组件。
[0031]由上述任一方案优选的是，所述大数据组件在解密需求发生后，将解密需求发送至加解密算法模块，所述加解密算法模块向密钥管理系统请求密钥；然后，密钥管理系统需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算法模块则继续进行解密运算，并将密文返回给大数据组件。
[0032]本专利技术实施例的大数据平台全流程数据加密保护方法将传统大数据平台内加密
技术“各自为政”的方式整合为统一管控的方式，客观上实现敏感数据在大数据平台“存储、处理、传输”流转的全过程的加密保护，突破了仅在单一组件内实现加密的限制。本专利技术实现跨组件密文流转。
[0033]本专利技术实施例的大数据平台全流程数据加密保护方法，具有以下有益效果：
[0034]1、采用“分布式加密，集中化管控”的核心思路，通过在不同的大数据平台组件中部署对应的加解密算法模块，实现各自组件加密赋能的同时，将“密钥”这个核心数据进行集中、安全、合规地管控，从而使密文在跨组件流转时密钥可以及时伴随。
[0035]2、提供大数据平台内密钥的统一管理。本专利技术采用“分布式加密，集中化管控”的核心思路，已经将密钥的管理统一化、集中化。同时本专利技术内的密钥集中管理的设计也支持Hadoop KMS REST(Hadoop原生密钥管理系统管理接口)，从而实现整体大数据平台内整体密钥体系建设的统一化。
[0036]3、实现密钥安全性的提高。传统的大数据平台内的加密技术对于密钥的管理往往采用软件实现，从而导致随机数(密钥的原材料)生成质量低，且密钥的存储安全强度弱。本专利技术采用符合国家密码管理认可的安全、合规的硬件级密码模块，提供独立专有的密码运算“黑盒”，提升密钥安全性。
[0037]4、提供丰富本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据平台全流程数据加密保护方法，其特征在于，包括如下步骤：步骤S1，加密操作：步骤S11，大数据组件触发加密需求，向加解密算法模块调用加密引擎；步骤S12，加解密算法模块向密钥管理系统获取密钥，由所述密钥管理系统进行身份认证和鉴权；步骤S13，所述密钥管理系统如果请求成功，则返回密钥；否则请求失败；步骤S14，所述加解密算法模块进行加密运算，然后向大数据组件返回加密结果；步骤S2，解密操作：步骤S21，大数据组件触发解密请求，向加解密算法模块调用解密引擎；步骤S22，加解密算法模块向密钥管理系统获取密钥，由密钥管理系统进行身份认证和鉴权；步骤S23，所述密钥管理系统如果请求成功，则返回密钥；否则请求失败；步骤S24，所述加解密算法模块进行解密运算，然后向大数据组件返回解密结果。2.如权利要求1所述的大数据平台全流程数据加密保护方法，其特征在于，在所述步骤S11中，所述大数据组件采用手动或自动方式触发加密需求；在所述步骤S21中，所述大数据组件采用手动或自动方式触发解密需求。3.如权利要求1所述的大数据平台全流程数据加密保护方法，其特征在于，在所述步骤S1中，在加密需求发生后，将加密需求发送至加解密算法模块，所述加解密算法模块向密钥管理系统请求密钥，如果是初次请求则是生成，否则就是获取密钥；然后，密钥管理系统需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算法模块则继续进行加密运算，并将密文返回给大数据组件。4.如权利要求1所述的大数据平台全流程数据加密保护方法，其特征在于，在所述步骤S2中，在解密需求发生后，将解密需求发送至加解密算法模块，所述加解密算法模块向密钥管理系统请求密钥；然后，密钥管理系统需要对密钥请求方的身份进行认证和鉴权，成功则返回密钥，失败则返回错误码；对于成功的情况，加解密算...

【专利技术属性】
技术研发人员：林美玉，张驰，毕然，南征，姜楠，吴锐，刘文，
申请(专利权)人：中国信息通信研究院，
类型：发明
国别省市：