【技术实现步骤摘要】
本专利技术涉及分布式文件系统
，尤其涉及ー种分布式文件系统上基于硬件加速卡的压缩解压缩方法。
技术介绍
随着数据时代的到来，互联网所要处理的数据量日益増大，为了保证数据的高可靠性，当前的分布式文件系统一般采用多副本策略。但是，在大規模机群中这将会带来不可忽略的巨额存储开销，同时对于分布式文件系统之上的系统或应用，如分布式数据库、分布式数据仓库、MapReduce框架或其它应用，也有可能会产生冗余数据，使得数据的膨胀率更高，I/O性能成为系统的瓶颈日益明显，现有的分布式文件系统难以同时满足高性能、高可靠性和低存储开销的需求。通过对分布式文件系统之上应用的类型进行分析可以得知，这些应用使用或产生的大部分数据是文本信息，特别是离线或在线分析系统中的数据基本都是文本，而文本本身是ー种高度可压缩的数据，因此通过引入ー种快速的数据压缩方法，可以有效降低数据的存储开销，提高磁盘和网络I/O的有效带宽，从而提高应用的呑吐量。对于传统的采用软件方式实现数据压缩或解压缩方法，如GZip，该方式虽然能使系统的存储开销减小，但是在压缩或解压缩过程中会占用大量的CPU资源，有可能导...
【技术保护点】
一种分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述方法包括：?分布式文件系统中的客户端向数据节点写入数据时：所述客户端将文件块分成多个分片，调用硬件加速卡对各分片进行压缩，再将压缩后的各分片发送至所述数据节点；所述数据节点将所述压缩后的各分片存储至压缩块文件中，并更新所述数据节点中的索引文件；?分布式文件系统中的客户端从数据节点读取数据时：所述数据节点找到保存读取数据的压缩块文件；所述客户端取回包含所述读取数据的各分片，调用所述硬件加速卡对所述各分片进行解压缩，并组合解压缩后的各分片，将组合后的解压缩数据发送至上层应用。
【技术特征摘要】
1.一种分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述方法包括 分布式文件系统中的客户端向数据节点写入数据时所述客户端将文件块分成多个分片，调用硬件加速卡对各分片进行压缩，再将压缩后的各分片发送至所述数据节点；所述数据节点将所述压缩后的各分片存储至压缩块文件中，并更新所述数据节点中的索引文件； 分布式文件系统中的客户端从数据节点读取数据时所述数据节点找到保存读取数据的压缩块文件；所述客户端取回包含所述读取数据的各分片，调用所述硬件加速卡对所述各分片进行解压缩，并组合解压缩后的各分片，将组合后的解压缩数据发送至上层应用。2.根据权利要求1所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述各分片为64KB大小的数据。3.根据权利要求1所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述硬件加速卡采用PCI接口； 所述硬件加速卡利用一个压缩方法库，实现对特定内存缓冲区中的数据进行压缩或解压缩的功能； 所述硬件加速卡上配备有多个处理芯片，每个芯片可单独进行压缩或解压缩操作，所述芯片由可编程逻辑器件构成； 其中，所述压缩方法库包括各种压缩解压缩算法和驱动程序，具有压缩和解压缩两个接口，两个接口的参数均包括输入缓冲区和输出缓冲区。4.根据权利要求3所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述硬件加速卡利用一个压缩方法库，实现对特定内存缓冲区中的数据进行压缩或解压缩的功能包括所述压缩方法库将压缩或解压缩算法经所述用户层编程接口接入；调用驱动程序，经所述用户层编程接口驱动硬件加速卡，完成对特定内存缓冲区中的数据压缩或解压缩功能。5.根据权利要求4所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述调用所述硬件加速卡对各分片进行压缩包括所述客户端将所述各分片送入所述压缩方法库压缩接口的输入缓冲区，所述压缩方法库驱动所述硬件加速卡，所述硬件加速卡完成对所述各分片的压缩过程，并将压缩后的所述各分片送入所述压缩方法库压缩接口的输出缓冲区。6.根据权利要求4所述的分布式文件系统上基于硬件加速卡的压缩解压缩方法，其特征在于，所述调用所述硬件加速卡对所述各分片进行解压缩包括所述客户端将所述各分片送入所述压缩方法库解压缩接口的输入缓冲区，所述压缩方法库驱动所述硬件加速卡，所述硬件加速卡完成对所述各分片的解压缩过程，并将解压缩后的所述...
【专利技术属性】
技术研发人员：刘佳，胡肖，查礼，
申请(专利权)人：北京普泽天玑数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。