压缩存储用文件以及对压缩的文件进行操作的方法和系统技术方案

本发明专利技术公开了压缩存储用文件以及对压缩的文件进行操作的方法和系统。与文件访问存储器一起使用用于创建、读取和写入压缩文件的方法和系统。原始文件的压缩数据被打包为多个压缩单元并被存储为压缩文件。可以读取和／或更新一个或更多个对应的压缩单元而无需恢复整个文件，同时保持该压缩文件的去碎片化结构。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及支持对存储的数据进行网络访问的网络基础构造装置，具体地，涉及进行压缩并通过文件系统协议对具有压缩数据的文件系统进行操作的方法和装置。
技术介绍
在当前的业务环境中，对于业务成功而言，所有类型的业务数据正变得越来越关键。业务产生的数据的巨大增长和复杂性正驱动着信息存储的需求，定义了信息资产(asset)的共享、管理和保护。通常，没有单种技术或架构能够解决所有组织的所有需要。主存(main storage)技术在EMC的2003年的白皮书“Leveraging Networkedstorage for your business”(www.emc.com/pdf/products/networked_storage/leveraging_net_storage.pdf)中进行了描述，并且基本上可按连接类型(直连式存储(DAS)、IP和信道网络)和访问数据的方法进行识别。存在与数据访问方法相关地考虑的三种基本类型的存储架构块访问、文件访问和对象访问。在块访问架构中，服务器/客户机与存储装置之间的通信是按块发生的；从盘中逐块地直接取出信息。操作系统跟踪每条信息在盘上的何处，而存储装置通常不知道用来在该装置上组织数据的文件系统。当需要读取或写入时，由知道数据的各个块位于盘上的何处以及如何将这些块放到一起的处理器从盘中直接访问该数据。块访问存储技术的示例是DAS(直连式存储)、SAN(存储域网)和IP上的块存储(例如，FCIP、iFCP、iSCSI等)。文件访问需要服务器或客户机按名称而不是按物理位置请求文件。结果，存储装置通常负责将文件映射回用于创建、维护和更新文件系统的数据块。文件服务器接收文件读取或写入请求，并处理“后台的”块访问。文件访问存储技术的示例是NAS(利用NFS、CIFS、HTTP等协议的网络连接存储)和MPFS(多通文件服务)。例如，可以针对通用文件、web应用、工程应用(例如，CAD、CAM、软件开发等)、成像和3D数据处理、多媒体流传输等，来实现文件访问存储。对象访问通过对应用隐藏关于块、文件和存储拓扑的所有细节，进一步简化了数据访问。通过整合在内容管理应用中的API而发生对象访问。对象访问存储技术的示例是CAS(内容寻址存储)。通过在存储数据前进行数据压缩可以实现对存储器更有效的利用。数据压缩技术用于减少要存储或发送的数据量，以分别减少存储容量和发送时间。可以利用以下不同的压缩算法来实现压缩，例如标准压缩算法，诸如由J.Ziv和A.Lempel描述的算法″A Universal Algorithm ForSequential Data Compression，″IEEE Transactions on Information Theory，IT-23，337-343页(1997)。重要的是透明地执行压缩，这意味着可在不改变现有应用的情况下使用数据。在任一情况下，必须提供使原始数据能够重构并且能被应用访问的对应的解压缩技术。当对压缩数据进行更新时，尤其当更新是针对数据的相对较小的部分时，将整个块或文件解压缩并重新压缩通常是低效的。例如在下面的专利公报中公开了对存储数据的存储和访问进行优化的各种实现美国专利第5,761,536号(Franaszek)公开了一种系统和方法，其存储可变长度对象以减少存储器碎片，同时消除了存储器重组的需要。基于最佳匹配或最先匹配，可将可变长度对象的余部(remainder)分配为与另一可变长度对象的余部共享固定大小的存储块(两个这种共享一个块的余部被称为室友)。一个余部存储在该块的一端，而另一个余部存储在该块的另一端。从同一群(cohort)中选择要共享一个存储块的可变长度对象。从而，对象间存在了某种关联。该关联例如可以是对象是来自同一页的、或者对象在按某线性顺序生成的多个页中。将关于群的可变长度对象的信息(诸如一对象是否具有室友)存储在存储器中。美国专利第5,813,011号(Yoshida等人)公开了一种存储压缩数据的方法和装置，其中压缩文件包括头，其带有示出压缩管理表的位置的信息；压缩码；和压缩管理表，其保存这样的信息，该信息示出了各原始记录的压缩码的存储位置。美国专利第5,813,017号(Morris等人)公开了一种方法和装置，用于减少备份子系统的存储需求以及进一步减少发送带宽的负载，其中基础文件(base file)以分段压缩的格式保存在服务器上。当在客户机上修改文件时，该文件被发送到服务器并利用差分函数与该文件的分段压缩的基础版本进行比较，但是不解压缩整个基础文件。创建一delta文件并将其存储在作为备份子系统的一部分的存储介质上，该delta文件是压缩的基础文件和该文件的修改版本之间的差异。美国专利第6,092,071号(Bolan等人)公开了一种系统，该系统基于系统老化参数控制数据的压缩和解压缩，以使压缩数据成为在系统存储层级中具有独特位置的系统管理的资源。处理器的寄存器由高速缓存支持，高速缓存由主存支持，主存由解压缩的盘存储器支持，解压缩的盘存储由压缩的盘存储器支持，然后是磁带等等。基于系统老化参数或者可选地按以下需求根据数据的生命周期在系统的控制下将数据从解压缩形式变为压缩形式并使其在存储层级中移动，所述需求为初次创建并存储数据；在系统的控制下在以后压缩该数据；当访问该数据时，根据需求按段解压缩该数据；在以后某时刻，在系统的控制下再次压缩该数据，直到下一次引用。将大的数据对象分段，并对使用频率低的数据进行压缩。美国专利第6,115,787号(Obara等人)公开了一种盘存储器系统，其中，将要存储在高速缓冲存储器中的数据分成多个数据块并进行压缩，所述每个数据块具有与该数据所属的轨道块相关联的两个高速缓存块，从而以易于读取的方式将存储的多个压缩记录设置在盘存储器系统的高速缓冲存储器中。将压缩后的各个数据块存储在一个或多个高速缓存块中。将用于根据数据块的在轨(in-track)地址检索各高速缓存块的信息存储为高速缓冲存储器的检索信息的一部分。当读取一记录中的各个数据块时，基于数据块的在轨地址和所述检索信息来确定存储有压缩数据块的高速缓存块。美国专利第6,349,375号(Faulkner等人)公开了一种利用虚拟存储器系统的数据压缩和解压缩的组合。讨论了包括所谓的嵌入式系统的许多计算机系统，在所述嵌入式系统中，数据以压缩格式存储在存储装置中。响应于中央处理单元(CPU)的数据请求，虚拟存储器系统将首先确定所请求的数据是否存在于主存中的CPU可访问的部分中，该部分还正好是存储解压缩数据的地方。如果所请求的数据不在主存的解压缩部分中，而是以压缩格式存在于存储装置中，则通过按需调页(demandpaging)操作将该数据传送到主存的解压缩部分。在按需调页操作期间，压缩数据将被解压缩。同样地，如果数据被调出主存的解压缩部分并且必须保存该数据，则数据在存储在用于压缩数据的存储装置中之前还可被压缩。美国专利第6,584,520号(Cowart等人)公开了一种存储和检索压缩文件的方法，该方法包括动态地产生文件分配表，以从压缩盘只读存储器中检索压缩文件。美国专利第6,678,828号(Pham等人)公开了一种安全网络文件访问装置，该装本文档来自技高网...

【技术保护点】
一种创建存储用压缩文件的方法，该方法与文件访问存储器一起使用，所述方法包括以下步骤：ａ）对原始文件进行压缩从而产生压缩数据，其中，所述原始文件的至少一个固定大小部分的数据（簇）被顺序地处理成对应的压缩区，所述压缩区划分为至少一个固定 大小的压缩逻辑单元（ＣＬＵ）；ｂ）将所述压缩数据存储为压缩文件，所述压缩文件包含：与所述原始文件的簇相对应的压缩区、以及包括唯一的文件描述符的头；ｃ）创建包括描述压缩区的至少一个记录的区表，所述记录至少保存与对应于所述压缩区 的ＣＬＵ有关的信息以及属于所述ＣＬＵ的存储位置指针。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：吉尔舍韦尔，诺赤阿米特，纳达夫克戴姆，瓦科夫科恩，
申请(专利权)人：斯多维兹有限公司，
类型：发明
国别省市：US[美国]