一种用于数据压缩传输的服务器制造技术

本发明专利技术涉及一种用于数据压缩传输的服务器，其中接收模块用于接收第一终端发送的原文件，并将原文件发送至数据块分割模块；数据块分割模块利用数据分块算法对原文件进行数据块分割，得到一组数据分块，并将一组数据分块以数据流的方式输出至数据冗余搜索模块；数据冗余搜索模块对数据流进行冗余数据搜索处理后输出新增的唯一数据块流至数据压缩及解压模块；数据压缩及解压模块利用压缩编码算法对新增的唯一数据块流进行压缩编码后存储至存储模块中。本发明专利技术采用先去冗后压缩的方式，不仅降低了对服务器的处理性能需求，而且使得数据缩减作用得到叠加，大大降低了数据压缩的消耗时间，从而可以获得更高的数据压缩比率和更优的数据压缩性能。优的数据压缩性能。优的数据压缩性能。

【技术实现步骤摘要】
一种用于数据压缩传输的服务器


[0001]本专利技术涉及数据处理
，特别是涉及一种用于数据压缩传输的服务器。

技术介绍

[0002]几十年来，随着数字化的普及，计算机技术和数字终端已经渗透到各行各业以及人们的日常生活中，日常需要处理和传输的数据也越来越多。如果不对数据进行压缩处理，不仅使数据的传输速度慢，所占用带宽增加，而且所需存储空间的急剧增长也是现有的存储系统所无法满足的，因此无论是从数据的传输角度，还是从缩减数据占用空间的角度，数据压缩都是实现低数据存储空间、低数据传输带宽和高数据传输速度的客观需要。
[0003]数据压缩技术很好地解决了由于数据的急剧膨胀而带来的数据传输及存储方面的挑战，目前数据压缩技术已经成为当今数字通信、广播、存储和多媒体娱乐等领域的一项关键的共性技术。虽然数据压缩技术已经得到了不断的发展和广泛的应用，但是目前的数据压缩技术大部分对于待压缩的数据或者文件采用直接压缩并进行存储的方式，导致目前的数据压缩方法或者系统所实现的数据压缩比率以及数据压缩性能有限，数据缩减比例仍存在一定的可提升空间，因此面对急剧膨胀的数据，亟需对数据压缩技术作进一步的改进，以进一步提高数据缩减比例。

技术实现思路

[0004]基于此，有必要针对现有技术中的数据压缩方法或者系统的数据压缩率以及数据压缩性能有限的问题，提供一种用于数据压缩传输的服务器。
[0005]为解决上述问题，本专利技术采取如下的技术方案：
[0006]一种用于数据压缩传输的服务器，包括接收模块、数据块分割模块、数据冗余搜索模块、数据压缩及解压模块、存储模块、数据提取模块和发送模块；
[0007]一、数据压缩存储过程如下：
[0008]所述接收模块用于接收第一终端发送的原文件，并将所述原文件发送至数据块分割模块；
[0009]所述数据块分割模块利用数据分块算法对所述原文件进行数据块分割，得到一组数据分块，并将一组数据分块以数据流的方式输出至所述数据冗余搜索模块；
[0010]所述数据冗余搜索模块对所述数据流进行冗余数据搜索处理后输出新增的唯一数据块流至所述数据压缩及解压模块；
[0011]所述数据压缩及解压模块利用压缩编码算法对新增的唯一数据块流进行压缩编码后存储至所述存储模块中；
[0012]二、数据还原过程如下：
[0013]所述接收模块还用于接收第二终端发送的还原文件请求，所述还原文件请求包含待还原文件的元信息；
[0014]所述数据提取模块根据所述元信息从所述存储模块中提取出对应的压缩数据块；
[0015]所述数据压缩及解压模块对所述压缩数据块进行解压缩，得到解压数据；
[0016]所述发送模块将所述解压数据发送至所述第二终端。
[0017]与现有技术相比，本专利技术具有以下有益效果：
[0018]本专利技术所提出的用于数据压缩传输的服务器首先采用数据冗余搜索模块首先对待压缩的数据分块进行冗余数据搜索处理，消除冗余数据块，从而减小数据量，避免了由于对冗余数据的压缩而导致的存储空间浪费以及压缩比率降低，然后再通过数据压缩及解压模块对新增的唯一数据块进行再次压缩，进一步减小数据体积。本专利技术的服务器采用先去冗后压缩的方式，不仅降低了对服务器的处理性能需求，而且使得数据缩减作用得到叠加，大大降低了数据压缩的消耗时间，从而可以获得更高的数据压缩比率和更优的数据压缩性能。
附图说明
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本专利技术其中一个实施例中一种用于数据压缩传输的服务器的结构示意图；
[0021]图2为本专利技术其中一个具体实施方式中数据冗余搜索模块的结构示意图；
[0022]图3为数据冗余搜索模块的工作流程示意图。
具体实施方式
[0023]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图及较佳实施例对本专利技术的技术方案进行详细描述，描述过程中所举实施例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0024]在其中一个实施例中，如图1所示，本专利技术公开一种用于数据压缩传输的服务器，该服务器具体包括接收模块100、数据块分割模块200、数据冗余搜索模块300、数据压缩及解压模块400、存储模块500、数据提取模块600和发送模块700。
[0025]一、数据压缩存储过程如下：
[0026]接收模块100用于接收第一终端800(例如计算机)发送的原文件，并将原文件发送至数据块分割模块200，该原文件为第一终端800的待压缩的文件。
[0027]数据块分割模块200利用数据分块算法对原文件进行数据块分割，得到一组数据分块，并将一组数据分块以数据流的方式输出至数据冗余搜索模块300；可选地，本实施例中数据块分割模块200所采用的数据分块算法可以为定长分块算法、变长分块算法、滑动块切分算法中的任意一种，其中定长分块算法采用预先义好的块大小对文件进行切分，并进行弱校验值和MD5强校验值；变长分块算法(Content-defined Chunking，CDC)应用数据指纹(如Rabin指纹等)将文件分割成长度大小不等的分块，它与定长分块算法不同，它是基于文件内容进行数据块切分的，因此数据块大小是可变化的；滑动块切分算法(Sliding Block)则结合了定长分块算法和变长分块算法的优点，它的块大小固定，它对定长数据块先计算弱校验值，如果匹配则再计算MD5强校验值，两者都匹配则认为是一个数据块边界。
[0028]数据冗余搜索模块300对数据流进行冗余数据搜索处理后输出新增的唯一数据块流至数据压缩及解压模块400；数据冗余搜索模块300用于对输入的数据流进行冗余数据搜索处理，以判断数据分块是否存在冗余，若判断存在冗余，则无需对该数据分块进行存储，并存储该数据分块的相关数据信息；若判断不存在冗余，则表示该数据分块是新增的唯一数据块，此时数据冗余搜索模块300输出新增的唯一数据分块流至数据压缩及解压模块400，由数据压缩及解压模块400进行再压缩。
[0029]数据压缩及解压模块400利用压缩编码算法对新增的唯一数据块流进行压缩编码后得到压缩数据，将压缩数据存储至存储模块500中；可选地，本实施例中数据压缩及解压模块400所采用的压缩编码算法可以为字符串匹配算法或者LZ77算法，其中字符串匹配算法的常见算法有暴力检索(Brute Force，BF)算法、哈希检索(Robin-Karp，RK)算法、KMP算法、Sunday算法等；LZ77算法是一种利用数据的重复结构信息来进行数据压缩的算法，具有唯一可译、无损压缩的性质，可实现数据的高效压缩。
[0030]二、数据还原过程如下：
[0031]接收模块还100用于接收第二终端900(例如计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于数据压缩传输的服务器，其特征在于，包括接收模块、数据块分割模块、数据冗余搜索模块、数据压缩及解压模块、存储模块、数据提取模块和发送模块；一、数据压缩存储过程如下：所述接收模块用于接收第一终端发送的原文件，并将所述原文件发送至数据块分割模块；所述数据块分割模块利用数据分块算法对所述原文件进行数据块分割，得到一组数据分块，并将一组数据分块以数据流的方式输出至所述数据冗余搜索模块；所述数据冗余搜索模块对所述数据流进行冗余数据搜索处理后输出新增的唯一数据块流至所述数据压缩及解压模块；所述数据压缩及解压模块利用压缩编码算法对新增的唯一数据块流进行压缩编码后存储至所述存储模块中；二、数据还原过程如下：所述接收模块还用于接收第二终端发送的还原文件请求，所述还原文件请求包含待还原文件的元信息；所述数据提取模块根据所述元信息从所述存储模块中提取出对应的压缩数据块；所述数据压缩及解压模块对所述压缩数据块进行解压缩，得到解压数据；所述发送模块将所述解压数据发送至所述第二终端。2.根据权利要求1所述的一种用于数据压缩传输的服务器，其特征在于，所述数据冗余搜索模块包括流缓冲单元、哈希单元、哈希链接列表管理单元、引擎预处理单元、匹配引擎单元、输出单元和历史缓冲单元；所述流缓冲单元用于接收所述数据块分割模块输出的所述数据流，并读取从输入数据流位置开始的数据字符串；所述哈希单元维护一个哈希地址列表，所述哈希地址列表用于存储与输入数据流位置对应的指向数据字符串的数据流地址，同时，所述哈希单元对于所述流缓冲单元访问的每个输入字节和其后若干个字节相对应的前缀进行散列，以生成哈希索引并将所述哈希索引发送至所述哈希链接列表管理单元中；所述哈希链接列表管理单元对所述哈希索引进行管理和存储；所述引擎预处理单元从所述哈希单元获取当前数据字符串对应的当前数据流地址以及所述哈希地址列表中的历史地址，并将所述当前数据流地址和所述历史地址提供给所述匹配引擎单元，当所述哈希地址列表存储的地址数目大于所述哈希单元可以存储的最大阈值地址数目时，由所述哈希链接列表管理单元根据所述哈希索引向所述匹配引擎单元提供除所述哈希地址...

【专利技术属性】
技术研发人员：孙泽民，
申请(专利权)人：安擎天津计算机有限公司，
类型：发明
国别省市：