一种软硬件压缩可配置的大数据处理系统技术方案

本发明专利技术涉及计算机系统设计领域和集成电路设计领域，尤其是涉及一种计算机存储系统，特别是提供一种软硬件压缩可配置的大数据处理系统，包括文件系统压缩层、软件压缩单元、硬件压缩单元和软硬件同步单元，其中，所述的文件系统压缩层位于系统虚拟文件系统和本地文件系统之间并连接软件压缩单元，所述的文件系统压缩层还通过硬件驱动层连接硬件压缩单元，所述的软件压缩单元和硬件压缩单元之间设置所述的软硬件同步单元。本发明专利技术主要考虑大数据处理系统的特点的影响，对数据压缩处理采用软硬件配合的方式，提高系统资源的利用率和系统执行效率。

【技术实现步骤摘要】
一种软硬件压缩可配置的大数据处理系统
本专利技术涉及计算机系统设计领域和集成电路设计领域，尤其是涉及一种计算机存储系统，特别是提供一种软硬件压缩可配置的大数据处理系统。
技术介绍
随着计算机技术和集成电路技术的飞速发展，为了满足人们在金融、电信、安全、资源等各个领域的需求，大容量存储能力的计算机系统越来越成为高性能计算机系统的基本特征，然而不同领域的计算机数据存储系统特性并不一致，这就为计算机存储系统结构设计带来的挑战，例如，在资源勘探领域，计算机系统的计算资源紧缺，需要对大量的数据进行计算分析，这就需要采用硬件对存储数据进行压缩和解压缩存取操作，尽可能的减少CPU计算资源。而在历史数据保存时，系统写操作远超读操作，并且CPU计算资源充足，这就为软件实现压缩和解压缩提供了条件。因此，软硬件数据压缩和解压缩操作的灵活配置，可以满足不同领域大数据处理系统的应用需求，可合理利用系统资源，提高系统的利用率和执行效率。
技术实现思路
为了解决现有技术的问题，本专利技术提供了一种软硬件压缩可配置的大数据处理系统，其设计主要考虑大数据处理系统的特点的影响，对数据压缩处理采用软硬件配合的方式，提高系统资源的利用率和系统执行效率。本专利技术所采用的技术方案如下: 一种软硬件压缩可配置的大数据处理系统，其包括文件系统压缩层、软件压缩单元、硬件压缩单元和软硬件同步单元，其中，所述的文件系统压缩层位于系统虚拟文件系统和本地文件系统之间并连接软件压缩单元，所述的文件系统压缩层还通过硬件驱动层连接硬件压缩单元，所述的软件压缩单元和硬件压缩单元之间设置所述的软硬件同步单元。软件压缩单元，通过软件数据压缩和解压缩的方式对数据进行处理，或单独配置软件的压缩功能，或单独配置软件的解压缩功能。硬件压缩单元，通过硬件数据压缩和解压缩的方式对数据进行处理，或单独配置硬件的压缩功能，或单独配置硬件的解压缩功能。软硬件同步单元配置软硬件压缩算法的一致性，并且同步数据压缩信息。一种软硬件压缩可配置的大数据处理系统的实现方法，包括配置软件压缩和解压缩时的方法，配置为硬件压缩和解压缩时的方法，当配置为软件压缩、硬件解压缩时的方法和当配置为硬件压缩、软件解压缩时的方法，其中: 当配置为软件压缩和解压缩时，其方法是:数据存储写操作由操作系统应用层发起，经由应用层、虚拟文件系统层，到达文件系统压缩层，此时文件系统压缩层调用软件压缩写操作命令，将数据经过软件压缩的方式进行处理，之后经过压缩的数据返回文件系统压缩层，经由本地文件系统写至磁盘；读操作为写操作的逆过程，数据由磁盘读出，由软件压缩单元对压缩数据进行解压缩后，经过文件系统压缩层和虚拟文件系统层，到达应用层； 当配置为硬件压缩和解压缩时，数据存储写操作由操作系统应用层发起，经由应用层、虚拟文件系统层，到达文件系统压缩层，此时文件系统压缩层调用硬件压缩写操作命令，将数据经过硬件压缩的方式进行处理，之后经过压缩的数据返回文件系统压缩层，经由本地文件系统写至磁盘；读操作为写操作的逆过程，数据由磁盘读出，由硬件压缩单元对压缩数据进行解压缩后，经过文件系统压缩层和虚拟文件系统层，到达应用层； 当配置为软件压缩、硬件解压缩时，通过软硬件的配置模块，配置其统一的压缩算法，并且由软硬件同步单元同步软硬件的压缩信息，数据存储写操作由操作系统应用层发起，经由应用层、虚拟文件系统层，到达文件系统压缩层，此时文件系统压缩层调用软件压缩写操作命令，将数据经过软件压缩的方式进行处理，之后经过压缩的数据返回文件系统压缩层，经由本地文件系统写至磁盘;读操作为写操作的逆过程，不同的是，数据由硬件解压缩，数据由磁盘读出，由硬件压缩单元对压缩数据进行解压缩后，经过文件系统压缩层和虚拟文件系统层，到达应用层； 当配置为硬件压缩、软件解压缩时，通过软硬件的配置模块，配置其统一的压缩算法，并且由软硬件同步单元同步软硬件的压缩信息，数据存储写操作由操作系统应用层发起，经由应用层、虚拟文件系统层，到达文件系统压缩层，此时文件系统压缩层调用硬件压缩写操作命令，将数据经过硬件压缩的方式进行处理，之后经过压缩的数据返回文件系统压缩层，经由本地文件系统写至磁盘；读操作为写操作的逆过程，不同的是，数据由软件解压缩，数据由磁盘读出，由软件压缩单元对压缩数据进行解压缩后，经过文件系统压缩层和虚拟文件系统层，到达应用层。在不同的应用领域需求不同，这就需要对系统采用不同的数据处理结构，例如，在计算资源紧缺的系统中，CPU的计算资源需要更多的用于数据分析、计算，因此数据的压缩存储需要更多的采用硬件压缩，尽可能的减少CPU计算资源的消耗，而在计算资源相对充足的大数据处理系统中，可采用软件压缩的方式提高系统运算的复杂度和效率，在写操作远超读操作的大数据处理系统中，则需要采用硬件压缩软件解压缩相配合的方式，提高系统资源利用率和系统执行效率。本专利技术的一种软硬件压缩可配置的大数据处理系统，其采用合理的系统结构能够时系统资源合理分配，进而达到最优的大数据处理系统配置。软硬件压缩可配置的系统结构即是根据以上需求提出来的，可通过灵活的软硬件配置实现单纯软件压缩和解压缩，或者单纯的硬件压缩和解压缩，或者软硬件相互配合的压缩和解压缩，即软件压缩硬件解压缩，或者硬件压缩软件解压缩，通过灵活的配置达到系统资源的合理利用。文件系统压缩层的特性，主要是指将系统的读写操作命令转移到软件压缩单元或者硬件压缩单元，使软件压缩单元或者硬件压缩单元对数据进行压缩或者解压缩操作，压缩或者解压缩的数据返回至文件系统压缩层后，文件系统压缩层对其进行向上层读操作或者向下层写操作； 软件压缩单元的特性，主要是指通过软件的方式对数据进行压缩或者解压缩操作，通过软件的方式对数据处理需要消耗CPU的计算资源，软件压缩单元可以被单独配置为压缩功能，或者解压缩功能，配合硬件压缩单元共同完成数据的压缩和解压缩处理； 硬件压缩单元的特性，主要是指通过硬件的方式对数据进行压缩或者解压缩操作，通过硬件的方式对数据处理可节约大部分的CPU计算资源，硬件压缩单元可以单独被配置为 压缩功能，或者解压缩功能，配合软件压缩单元共同实现数据压缩和解压缩处理，硬件压缩 可采用DMA的方式实现数据传输，进一步提升系统压缩数据传输效率；软硬件同步单元的特性，主要是指当软件和硬件配合共同完成数据的压缩和解压缩处 理时，数据同步单元实现软硬件压缩信息的同步，保障数据压缩前后的一致性。本专利技术提供的技术方案带来的有益效果是:这种软硬件压缩可配置的大数据处理系统结构，使得其弥补了传统的软件压缩或者硬 件压缩设计结构的不足，避免了单纯软件压缩带来的系统计算资源的消耗，又避免了单纯 硬件压缩带来的系统计算资源的浪费，例如，在计算资源紧缺的系统中可以配置为硬件压 缩和解压缩，在计算资源充足的系统中可配置为软件压缩和解压缩，在写操作远超读操作 的系统中可配置为硬件压缩软件解压缩，其所带来的资源均衡配置、灵活扩展、高效实施等 诸多特性，使其更适用于各种数据存储系统中，因而具有非常广阔的发展前景，具有很高的 技术价值。【附图说明】图1为本专利技术的一种软硬件压缩可配置的大数据处理系统的系统结构图；图2为本专利技术的一种软硬件压缩可配置的大数据处理系统的压缩方式本文档来自技高网...

【技术保护点】
一种软硬件压缩可配置的大数据处理系统，其包括文件系统压缩层、软件压缩单元、硬件压缩单元和软硬件同步单元，其中，所述的文件系统压缩层位于系统虚拟文件系统和本地文件系统之间并连接软件压缩单元，所述的文件系统压缩层还通过硬件驱动层连接硬件压缩单元，所述的软件压缩单元和硬件压缩单元之间设置所述的软硬件同步单元。

【技术特征摘要】
1.一种软硬件压缩可配置的大数据处理系统，其包括文件系统压缩层、软件压缩单元、硬件压缩单元和软硬件同步单元，其中，所述的文件系统压缩层位于系统虚拟文件系统和本地文件系统之间并连接软件压缩单元，所述的文件系统压缩层还通过硬件驱动层连接硬件压缩单元，所述的软件压缩单元和硬件压缩单元之间设置所述的软硬件同步单元。2.根据权利要求1所述的一种软硬件压缩可配置的大数据处理系统，其特征在于，所述的软件压缩单元，通过软件数据压缩和解压缩的方式对数据进行处理，或单独配置软件的压缩功能，或单独配置软件的解压缩功能。3.根据权利要求1所述的一种软硬件压缩可配置的大数据处理系统，其特征在于，所述的硬件压缩单元，通过硬件数据压缩和解压缩的方式对数据进行处理，或单独配置硬件的压缩功能，或单独配置硬件的解压缩功能。4.根据权利要求1所述的一种软硬件压缩可配置的大数据处理系统，其特征在于，所述的软硬件同步单元配置软硬件压缩算法的一致性，并且同步数据压缩信息。5.一种软硬件压缩可配置的大数据处理系统的实现方法，包括配置软件压缩和解压缩时的方法，配置为硬件压缩和解压缩时的方法，当配置为软件压缩、硬件解压缩时的方法和当配置为硬件压缩、软件解压缩时的方法，其中: 当配置为软件压缩和解压缩时，其方法是:数据存储写操作由操作系统应用层发起，经由应用层、虚拟文件系统层，到达文件系统压缩层，此时文件系统压缩层调用软件压缩写操作命令，将数据经过软件压缩的方式进行处理，之后经过压缩的数据返回文件系统压缩层，经由本地文件系统写至磁盘；读操作为写操作的逆过程，数据由磁盘读出，由软件压缩单元对压缩数据进行解压缩后，经过文件系统压缩层和虚...

【专利技术属性】
技术研发人员：王恩东，胡雷钧，李仁刚，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：