【技术实现步骤摘要】
本专利技术涉及数据处理领域,尤其涉及一种对数据进行解压缩的处理装置及处理方法。
技术介绍
在互联网的大规模数据处理中,数据的压缩和解压缩是非常重要且常用的手段, 它可以大幅度提高磁盘的有效容量,提高I/O读写和网络传输的有效带宽,从而可以有效地降低互联网数据中心(InternetData Center,简称IDC)的成本和提高应用层程序的执行速度。在传统的解决方案里面,数据的压缩和解压缩一般采用Gzip (—种GNU自由软件的文件压缩程序)压缩算法。这种feip算法里面存在大量串行的不定长位操作,由于CPU 在处理数据和访问内存都是以定长的比特为单位,因此CPU在进行数据处理和访问内存时,需要从规整的数据中取出真正有效的数据,从而增加了额外的操作,导致软件处理效率较低,例如主频2. 66GHz的CPU进行压缩的带宽是50MB/S,解压缩的带宽是200MB/S。而目前采用的feip压缩算法的解压缩操作均采用的是软件实现的方式,这种方式的并行度较低,在大规模数据处理中,要压缩和解压缩的数据流巨大,使用CPU进行压缩解压缩处理必然要消耗大量的CPU资源,使机器负载加重 ...
【技术保护点】
1.一种数据解压装置,包括驱动模块、硬件调度模块和片内多解压核,其中,所述驱动模块,用于将从多个应用程序进程接收到的并发的多个解压请求合并为一个解压命令,并将所述解压命令发送到所述硬件调度模块,以及将解压结果返回给对应的所述多个应用程序进程;所述硬件调度模块,用于分析接收到的所述解压命令,为所述解压命令中的多个解压请求分别分配所述片内多解压核中的多个单独的解压核进行处理,以及在所述多个解压请求均处理完毕后,发送中断及状态信息到所述驱动程序;所述片内多解压核,包括多个单独的解压核,用于执行解压处理。
【技术特征摘要】
【专利技术属性】
技术研发人员:欧阳剑,田甲子,王斐,
申请(专利权)人:百度在线网络技术北京有限公司,
类型:发明
国别省市:11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。