基于分布式文件系统的元数据加解密方法和系统技术方案

本发明专利技术公开了一种基于分布式文件系统的元数据加解密方法和系统，涉及大数据的Hadoop安全领域。其中的方法包括：HDFS客户端向元数据节点发送数据写入请求；元数据节点根据数据写入请求对元数据进行加密；HDFS客户端读取元数据时，从元数据节点获取加密元数据，将加密元数据发送至数据节点；数据节点利用密钥管理服务器发布的公钥解密元数据的密文，获取元数据的明文，并将元数据的文件流发送至HDFS客户端。本发明专利技术相对于对大数据进行加密而言，元数据量级比较小，对元数据进行加解密，不仅提高了数据传输的效率，进一步还提高了数据的隐私保护。

Metadata encryption and decryption method and system based on distributed file system

The invention discloses a metadata encryption and decryption method and system based on a distributed file system, and relates to the Hadoop security field of big data. The methods include: the HDFS client sends the data write request to the metadata node; the metadata node encrypts the metadata according to the data writing request; when the HDFS client reads the metadata, the encrypted metadata is obtained from the metadata node and the encrypted metadata is sent to the data node; the data node uses the key management suit. The ciphertext released by the public key declassified metadata, the plaintext of metadata is obtained, and the file flow of metadata is sent to the HDFS client. Compared with the encryption of large data, the metadata is relatively small and the metadata is decrypted, which not only improves the efficiency of data transmission, but also improves the privacy protection of data.

【技术实现步骤摘要】
基于分布式文件系统的元数据加解密方法和系统
本专利技术涉及大数据的Hadoop安全领域，尤其涉及一种基于分布式文件系统的元数据加解密方法和系统。
技术介绍
大数据在当前社会和经济发展中发挥越来越重要的作用，但是大数据在集中处理和海量存储方面的同时，安全问题也面临越来越大的问题。HDFS(Hadoop分布式文件系统)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点，但同时它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上；HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用；HDFS放宽了(relax)POSIX的要求，这样可以实现流的形式访问文件系统中的数据。Hadoop提供了几种不同形式的加密。例如，最底层的加密，即加密所有节点数据，这有效地保护了数据，但是却缺乏更细粒度的加密。此外，加密可以在不同的层级进行，包括软件/软件堆栈，选择不同的加密层级各有优缺点。如应用程序级加密，这是最安全、最灵活的方法，应用程序级加密可以准确地反映用户的需求，然而该加密手本文档来自技高网...

【技术保护点】
一种基于分布式文件系统的元数据加解密方法，其特征在于，包括：Hadoop分布式文件系统HDFS客户端向元数据节点发送数据写入请求；所述元数据节点根据所述数据写入请求对元数据进行加密；所述HDFS客户端读取元数据时，从所述元数据节点获取加密元数据，将所述加密元数据发送至数据节点；所述数据节点利用密钥管理服务器发布的公钥解密所述元数据的密文，获取所述元数据的明文，并将所述元数据的文件流发送至所述HDFS客户端。

【技术特征摘要】
1.一种基于分布式文件系统的元数据加解密方法，其特征在于，包括：Hadoop分布式文件系统HDFS客户端向元数据节点发送数据写入请求；所述元数据节点根据所述数据写入请求对元数据进行加密；所述HDFS客户端读取元数据时，从所述元数据节点获取加密元数据，将所述加密元数据发送至数据节点；所述数据节点利用密钥管理服务器发布的公钥解密所述元数据的密文，获取所述元数据的明文，并将所述元数据的文件流发送至所述HDFS客户端。2.根据权利要求1所述的方法，其特征在于，所述元数据节点根据所述数据写入请求对元数据进行加密包括：所述元数据节点接收到所述数据写入请求后，向所述密钥管理服务器获取私钥，根据所述私钥对所述元数据进行加密。3.根据权利要求1或2所述的方法，其特征在于，还包括：所述数据节点定时向所述元数据节点发送所述元数据的数据块信息；所述元数据节点向所述密钥管理服务器获取私钥，解密所述加密元数据，将解密后的元数据与所述数据块信息进行合并获取更新后的元数据，对更新后的元数据进行加密。4.根据权利要求1或2所述的方法，其特征在于，所述HDFS客户端读取元数据时，从所述元数据节点获取加密元数据包括：所述HDFS客户端向所述元数据节点发送打开文件请求；所述元数据节点向所述HDFS客户端返回所述加密元数据的数据节点地址密文；所述HDFS客户端根据所述数据节点地址密文获取加密元数据。5.根据权利要求4所述的方法，其特征在于，所述HDFS客户端向所述元数据节点发送打开文件请求包括：所述HDFS客户端向所述元数据节点发送打开文件请求，以远程过程调用协议的方式调用所述元数据节点...

【专利技术属性】
技术研发人员：袁淑美，阮翠萍，匡华龙，高云，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：北京,11