一种小数据块场景的数据压缩/解压缩加速方法技术

本发明专利技术公开了一种小数据块场景的数据压缩/解压缩加速方法，包括：在主机端进行数据合并，通过PCIE总线将处理后的数据从主机端传输到FPGA DRAM上；对批量的数据进行分组，对每组数据并行压缩，针对每个文件，将512位的数据位宽转换成8位stream流数据；压缩时，依次对数据进行LZ77算法压缩和LZ4算法压缩；解压缩时，将LZ4格式的数据转成LZ77格式的数据，再将LZ77格式的数据解析成原始数据；将压缩/解压缩后的数据经由FPGA DRAM上传输至主机端，主机端对数据进行拆分得到压缩/解压缩文件。本发明专利技术在FPGA上采用LZ4算法批量处理小文件，增加数据处理和传输overlap，提高内部处理并行度，优化算法，提高了整体压缩性能。

【技术实现步骤摘要】
一种小数据块场景的数据压缩/解压缩加速方法
本专利技术公开了一种小数据块场景的数据压缩解压缩加速方法，涉及大数据处理

技术介绍
在大数据时代，海量数据传输和存储的越来越多。在有限条件下，为了满足用户对数据的获取，数据压缩技术就显得尤为重要。压缩可以降低存储和减少数据传输，从而降低网络延时。然而，现有的压缩解压缩算法都是基于服务器架构上实现的，由于硬件架构的限制，在CPU上实现的压缩算法性能有限，占用大量CPU资源。当用户进行查询操作时，会导致机器负载过高，对机器上其他业务造成影响。使用FPGA技术可将CPU上的压缩工作转移到FPGA上，从而减轻CPU的负荷。目前业界在FPGA上使用的压缩算法都是在输入文件较大时，能够获得较好的吞吐量，当遇到大量小文件场景时，由于数据传输带宽和并行度的限制，压缩的性能将达不到CPU的性能。
技术实现思路
本专利技术所要解决的技术问题是：针对现有技术的缺陷，提供一种小数据块场景的数据压缩解压缩加速方法，基于FPGA加速卡的16KB小文件压缩系统及方法，在FPGA上采用LZ4算法本文档来自技高网...

【技术保护点】
1.一种小数据块场景的数据压缩/解压缩加速方法，其特征在于，所述方法包括如下步骤：/n步骤一、在主机端进行数据合并，将每个文件按照64个字节对齐拼接后，通过PCIE总线将处理后的数据从主机端传输到FPGA DRAM上；/n步骤二、对批量的数据进行分组，每8个文件为一组，最后剩余不足8个文件的单独为一组，对每组数据并行压缩，针对每个文件，将512位的数据位宽转换成8位stream流数据；/n数据压缩加速方法包括如下步骤：/n201、对经过步骤二得到的数据，使用LZ77算法进行第一轮压缩；/n202、对经过步骤201得到的数据，使用LZ4算法进行第二轮压缩；/n203、对经过步骤202得到的数据，...

【技术特征摘要】
1.一种小数据块场景的数据压缩/解压缩加速方法，其特征在于，所述方法包括如下步骤：
步骤一、在主机端进行数据合并，将每个文件按照64个字节对齐拼接后，通过PCIE总线将处理后的数据从主机端传输到FPGADRAM上；
步骤二、对批量的数据进行分组，每8个文件为一组，最后剩余不足8个文件的单独为一组，对每组数据并行压缩，针对每个文件，将512位的数据位宽转换成8位stream流数据；
数据压缩加速方法包括如下步骤：
201、对经过步骤二得到的数据，使用LZ77算法进行第一轮压缩；
202、对经过步骤201得到的数据，使用LZ4算法进行第二轮压缩；
203、对经过步骤202得到的数据，将数据由8位转成512位，存放到与原始文件大小相同的空间；
数据解压缩加速方法包括如下步骤：
211、解压缩过程中，当前输入的数据为LZ4格式，将LZ4格式的数据转成LZ77格式的数据；
212、对LZ77格式的数据继续进行解析，得到原始数据；<...

【专利技术属性】
技术研发人员：汪洋，凌阳，吴纹，汤鲲，
申请(专利权)人：南京烽火星空通信发展有限公司，
类型：发明
国别省市：江苏;32