一种提高HDFS文件传输安全性和读取效率的方法技术

本发明专利技术提出一种提高HDFS文件传输安全性和读取效率的方法。本发明专利技术首先通过名称节点为将要存储的文件选择的合适的块进行存放，在块存储于数据节点后，对块文件及其备份进行多次随机线性网络编码。读取文件时，同时从多个块文件中读出字符，并进行解码，还原出原始文件。在整个文件传输和存取过程中，编码部分由名称节点负责，解码部分在客户端完成，信道中不会出现未加密的原始数据，同时，由于从多个节点同时获取数据，提高了文件的读取效率。

【技术实现步骤摘要】

【技术保护点】
一种提高HDFS文件传输安全性和读取效率的方法，其特征在于，包含以下步骤：步骤一、在存储操作之前，名称节点对将要存储的文件进行筛选，保留单个文件大小小于62MB的文件作为有效文件，超过62MB的文件按照一般的文件方式进行存储；名称节点为每个有效文件选取合适的块储存，并建立从文件到块和从块到文件的映射关系，这些映射关系将作为元数据的一部分被存储在名称节点中；步骤二、对存储在块中的文件进行随机线性网络编码，将编码后的文件存储在数据节点中；步骤三、名称节点对已经过编码的块文件再次进行随机线性网络编码，编码结果作为块文件的第一个备份保存在数据节点中，位置为原始的HDFS系统中块文件的第一个备份的位置；...

【技术特征摘要】

【专利技术属性】
技术研发人员：都思丹，马雁楠，于耀，周余，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32