一种大数据安全保护方法、系统、介质及设备技术方案

本发明专利技术涉及一种大数据安全保护方法，包括：通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；通过HadoopKMS restful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能，且密钥可被上层业务访问。本发明专利技术实施例提供的大数据安全保护方法，不仅为没有外部密钥管理机制的大数据组件提供了底层透明的加密机制，还统一了密钥管理标准，增加了密钥的全生命周期管理功能。本发明专利技术还涉及一种大数据安全保护系统、介质及设备。

A big data security protection method, system, medium and equipment

【技术实现步骤摘要】
一种大数据安全保护方法、系统、介质及设备
本专利技术涉及大数据安全
，尤其涉及一种大数据安全保护方法、系统、介质及设备。
技术介绍
当前，全球大数据产业正值活跃发展期，技术演进和应用创新并行加速推进，大数据逐步成为国家基础战略资源和社会基础生产要素。与此同时，大数据安全问题逐渐暴露。目前，大数据系列产品有些组件有对应的加密机制，有些组件没有对应的加密机制，即使有些组件有加密机制，但密钥管理标准不一，无法为用户提供集中、可靠的密钥管理服务，不利于密钥的统一管理，容易发生密钥丢失、密钥窃取等一系列安全问题。也降低了密钥管理的准确性与管理效率，无法实现密钥生命周期的自动化管理。同时原有密钥管理仅存在单一管理员，无法为用户提供多管理员密钥管理机制，降低了密钥管理的可靠性。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术存在的问题，提供一种大数据安全保护方法、系统、介质及设备。为解决上述技术问题，本专利技术实施例提供一种大数据安全保护方法，包括：通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；通过HadoopKMSrestful密钥管理接口对已有密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。为解决上述技术问题，本专利技术实施例还提供一种大数据安全保护系统，包括：协议连接模块，用于通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；接口适配模块，用于通过HadoopKMSrestful密钥管理接口对已有密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。为解决上述技术问题，本专利技术实施例还提供一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行上述方案所述的大数据安全保护方法。为解决上述技术问题，本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述方案所述的大数据安全保护方法。本专利技术的有益效果是：本专利技术所要解决的技术问题是针对现有技术存在的问题，提供一种大数据安全保护方法、系统、介质及设备。为解决上述技术问题，本专利技术实施例提供一种大数据安全保护方法，包括：通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；通过HadoopKMSrestful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。为解决上述技术问题，本专利技术实施例还提供一种大数据安全保护系统，包括：协议连接模块，用于通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；接口适配模块，用于通过HadoopKMSrestful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。为解决上述技术问题，本专利技术实施例还提供一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行上述方案所述的大数据安全保护方法。为解决上述技术问题，本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述方案所述的大数据安全保护方法。本专利技术的有益效果是：本专利技术通过KMIP协议将没有外部密钥管理机制的大数据组件连接外部密钥管理系统，通过HadoopKMSrestful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能，不仅为没有外部密钥管理机制的大数据组件提供了底层透明的加密机制，还统一了密钥管理标准，提高了密钥管理的准确性和管理效率，实现了密钥的全生命周期的自动化管，提高了密钥管理的可靠性。附图说明图1为本专利技术实施例提供的大数据安全保护方法的示意性流程图；图2为本专利技术实施例提供的Hive客户端的密钥操作示意图；图3为本专利技术实施例提供的Hbase客户端的密钥操作示意图；图4为本专利技术实施例提供的HDFS密钥操作示意图；图5为本专利技术实施例提供的Kerberos认证票据进行加密保护、应用权限管理示意图；图6为本专利技术实施例提供的大数据安全保护系统示意性结构框图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。图1为本专利技术实施例提供的大数据安全保护方法的示意性流程图。如图1所示，该方法包括：通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；通过HadoopKMSrestful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。现有技术中，大数据系列产品由于密钥管理标准不一，无法为用户提供集中、可靠的密钥管理服务，不利于密钥管理的统一，容易发生密钥丢失、密钥窃取等一系列安全问题。也降低了密钥管理的准确性与管理效率，无法实现密钥生命周期的自动化管理。上述实施例提供的大数据安全保护方案，通过KMIP协议将没有外部密钥管理机制的大数据组件连接外部密钥管理系统，通过HadoopKMSrestful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能，不仅为没有外部密钥管理机制的大数据组件提供了底层透明的加密机制，还统一了密钥管理标准，实现了密钥的全生命周期管理功能，如密钥的创建、导入导出、激活、失活、归档何销毁等。针对大数据系列产品使用国际标准的KMIP协议为管理标准，形成统一的密钥管理体系，并为Hadoop生态圈应用提供脱离zookeeper签名方式的底层密钥同步功能。具体地，所述没有外部密钥管理机制的大数据组件包括Hive、Hbase、spark和flink；已有外部密钥管理机制的大数据组件包括HDFS。现有的hadoop大数据平台使用密钥管理协议并不统一，如HDFS使用的是外部密钥管理服务，Hbase使用的是内部密钥管理，其他大数据组件都未曾实现加密机制(如hive)。可选地，当所述大数据组件为Hive、spark或flink时，所述通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理，具体包括：将加密UDFjar包上传至HDFS文件目录，对UDF函数进行注册；当接收到客户端发送的SQL命令时，获取所述SQL命令对应的元数据信息；在执行SQL命令过程中，当所述UDF函数根据所述SQL命令对应的元数据信息确定需要加解密功能时，通过KMIP协议连接外部密钥管理系统，利用所述外部密钥管理系统对所述UDF函数的数据加密密钥进行密钥认证与权限判定；当密钥本文档来自技高网...

【技术保护点】
1.一种大数据安全保护方法，其特征在于，包括：/n通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；/n通过HadoopKMS restful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。/n

【技术特征摘要】
1.一种大数据安全保护方法，其特征在于，包括：
通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理；
通过HadoopKMSrestful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，使其密钥管理功能具备KMIP密钥管理功能。


2.根据权利要求1所述的方法，其特征在于，当所述大数据组件为Hive、spark或flink时，所述通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理，具体包括：
将加密UDFjar包上传至HDFS文件目录，对UDF函数进行注册；
当接收到客户端发送的SQL命令时，获取所述SQL命令对应的元数据信息；
在执行SQL命令过程中，当所述UDF函数根据所述SQL命令对应的元数据信息确定需要加解密功能时，通过KMIP协议连接外部密钥管理系统，利用所述外部密钥管理系统对所述UDF函数的数据加密密钥进行密钥认证与权限判定；
当密钥认证与权限判定通过时，接收外部密钥管理系统返回的数据加密密钥；
所述UDF函数利用所述数据加密密钥进行数据加解密操作，将数据加解密结果写入HDFS文件系统或其他Hive数据库。


3.根据权利要求1所述的方法，其特征在于，当所述大数据组件为Hbase时，所述通过KMIP协议连接外部密钥管理系统对没有外部密钥管理机制的大数据组件进行密钥管理，具体包括：
HMaster服务接收Hbase客户端向发起数据操作请求；
所述HMaster服务根据所述数据操作请求通过KMIP协议连接外部密钥管理系统，利用所述外部密钥管理系统对所述数据操作请求对应主密钥进行密钥认证与权限判定；
当密钥认证与权限判定通过时，接收外部密钥管理系统返回的主密钥，并将所述主密钥缓存在ReginServer中；
所述ReginServer利用主密钥对数据加密密钥进行加解密操作，再利用所述数据加密密钥进行数据加解密操作，将加解密结果写入HDFS文件系统；
其中，所述数据加密密钥为所述ReginServer预先生成并缓存的。


4.根据权利要求1所述的方法，其特征在于，当所述大数据组件为HDFS时，所述通过HadoopKMSrestful密钥管理接口对已有外部密钥管理机制的大数据组件进行适配，具体包括：
名字节点Namenode接收客户端发起的数据操作请求；
所述名字节点Namenode通过HadoopKMSrestful密钥管理接口连接外部密钥管理系统，利用所述外部密钥管理系统对所述数据操作请求指示的加密区位置对应的主密钥进行密钥认证与权限判定；
当密钥认证与权限判定通过时，所述客户端与所述数据操作请求对应的数据节点DataNode进行交互；
所述数据节点DataNode从所述外部密钥管理系统获取对应的主密钥，利用所述主密钥对数据加密密钥进行加解密操作，再利用所述数据加密密钥对所述数据操作请求指示的加密区数据进行数据加解密操作，将加解密结果写入HDFS文件系统。


5.根据权利要求1-4任一项所述的方法，其特征在于，还包括：在大数据组件使用通用的JCE密码算法套件，实现应用层透明加密的国密算法扩展。

...

【专利技术属性】
技术研发人员：南征，张森，张建树，
申请(专利权)人：北京三未信安科技发展有限公司，
类型：发明
国别省市：北京;11