用于数据存档的系统及方法技术方案

本发明专利技术公开了用于数据存档的系统及方法。数据存档系统（102）包括：处理器（108）和连接至处理器（108）的压缩模块（120），所述压缩模块（120）被配置来压缩原始数据文件以对每个等级的有损压缩生成压缩的基本文件和补丁文件。基本文件采用有损压缩技术而被生成。对于特定等级的有损压缩的补丁文件采用在所述特定等级的有损压缩中丢失的信息而被生成。数据存档系统（102）还包括连接至处理器（108）的数据存档模块（122）。数据存档系统（102）被配置来保存最后的基本文件和对应于每个等级的有损压缩的多个补丁文件，其中最后的基本文件是对应于最后一级的有损压缩的基本文件。

【技术实现步骤摘要】

本专利技术通常涉及数据存档的领域，并且特别地，涉及。
技术介绍
数据存档通常包括在数据库中保存大量的数据以备将来采用。该数据可被存档在个人存储设备或者数据存储库中。数据存储库通常从不同用户接收数据，并采用各种存档技术存储数据。任何想要使用该数据(作为整体或部分)的用户可请求数据存储库以访问数据。例如，数据库(如电影数据库、音乐数据库、以及与研究实验室相关的数据存储库)可存储大量的数据以用于不同用户的后续访问。数据存储库中的数据通常延伸至数百TB，因而其通常以压缩的形式存储。
技术实现思路
本概述被提供以介绍与有关的概念，其在下面的详细描述中进一步描述。本概述并不旨在标识出所要求保护的主题的必要特征，也不旨在用于确定或限制所要求保护的主题的范围。本专利技术描述了。在一个实施例中，数据存档系统包括处理器和连接至处理器的压缩模块。压缩模块被配置来压缩原始数据文件，以对每个等级的有损压缩生成基本文件和补丁文件。采用有损压缩技术生成基本文件。采用在特定等级的有损压缩中丢失的信息，以对特定等级的有损压缩生成补丁文件。数据存档系统还包括连接至处理器的数据存档模块。数据存档系统被配置来保存最后的基本文件和对应于每个等级的有损压缩的多个补丁文件，其中最后的基本文件为对应于最后一级有损压缩的基本文件。【附图说明】详细的描述将参考附图来描述。在附图中，参考标记的最左边的数字标识该参考标记首次出现的附图。相同的标记用于在所有附图中表示相似的特征和组件。图1(a)示出了根据本专利技术的一个实施例的实施数据存档系统的网络环境。图1(b)示出了根据本专利技术的一个实施例的采用数据存档系统所获得的对应于不同等级的有损压缩的基本文件和补丁文件的示意图。图2示出了根据本专利技术的一个实施例的用于存档数据的方法。【具体实施方式】在本文中描述了。通常，数据(例如文本文件、视频文件、音频文件、以及基因组数据)被存档在私人存储设备或数据存储库中以备将来采用。数据存储库可被描述为用于将大量数据存档的可公开访问的设备。数据存储库通常将从所有用户接收的数据存档，并通过接收访问数据的请求，将数据提供给任何用户。例如，电影数据库、音乐数据库以及基因组数据存储库可将不同用户提供的数据存档。然而，由于数据量大，数据存储库通常需要具有大容量的存储能力的存储磁盘。为了增加数据存储库存储数据的效率，并还减少涉及存储的成本，数据通常在被存储之前被压缩。数据存储库或者数据库所采用的常规的压缩方法基于无损压缩技术或者有损压缩技术。有损压缩技术可被描述为这样的压缩技术，该压缩技术涉及以预定的方式压缩原始数据文件，使得来自原始数据文件的一些信息在过程期间被丢弃。因此有损压缩导致有损压缩文件的生成，该有损压缩文件相比采用无损压缩技术获得的压缩文件规模相对较小。应当理解的是，缺少有损压缩期间从原始数据文件中丢弃的信息，原始文件无法恢复全部内容。此外，根据从原始数据文件中丢弃的信息量，有损压缩技术可被用于生成具有不同等级的信息损失的压缩文件。例如，高分辨率的视频文件可采用有损压缩技术来压缩，以获得低分辨率的视频文件，使得分辨率的损失可能不会被用户察觉。在这样的示例中，一些无信息的像素可被丢弃或者一些相邻的像素可被合并，从而将视频文件压缩，以提供低分辨率的视频文件。此外，采用这种有损压缩技术的解压文件，通常导致相比原始数据具有更少的信息的文件的生成。另一方面，无损压缩技术可被描述为这样的压缩技术，该压缩技术涉及压缩原始数据文件而无任何数据损失，使得解压时可获得与原始数据文件完全相同的副本。例如，采用这种技术将压缩的视频文件解压，可提供与原始文件相同的高分辨率的视频文件。然而，采用无损压缩技术存档数据可能需要具有大的存储容量的存储库。由于数据通常只采用压缩技术中的一种进行存档，数据存储库可能不能同时将相同的原始数据文件的有损压缩数据和无损压缩数据提供给不同的用户。因此，在原始数据文件采用另一种压缩技术进行存档的情况下，数据存储库可能不能满足所有类型的用户，或者需要即时采用用户要求的压缩类型来压缩原始数据文件。替代地，数据存储库既可存档原始数据文件的无损压缩的变体，也可存档原始数据文件的有损压缩的变体，然而，其可能会导致增加数据存储库的处理和存储成本。在数据存储库需要存储对应于不同等级的有损压缩(即信息损失的等级)的、多个原始数据文件的有损压缩的变体的情况下，成本可能进一步增加。此外，采用上述技术将数据存档也可能阻碍用户体验，因为在用户目前需要与原始数据文件完全相同的副本的情况下，已经下载有损压缩的变体的用户，可能需要下载无损压缩的变体，从而增加了用户的总的数据传输和存储的有关成本。因此,数据存档的上述技术可能会阻碍数据的快速和高效的存储、检索和传输。本专利技术描述了用于数据存档的方法及系统。本专利技术有利于原始数据文件的高效存档和传输。根据本专利技术的一个实施例，原始数据文件从数据源(例如用户)接收并采用有损压缩技术进行存档。原始数据文件被初步压缩，以生成多个基本文件和多个补丁文件，从而对每个等级的有损压缩，基本文件和补丁文件被生成。此外，数据文件可在不同等级的有损压缩中被压缩，取决于信息损失的量，即有损压缩期间从原始数据文件中丢弃的内容的量。因此，对于每个等级的有损压缩，将被丢弃的信息的量可被限定。例如，压缩期间，第一级有损压缩可具有最小的信息损失，而最后一级的有损压缩可具有最大的信息损失。最后一级的有损压缩可被理解为这样的等级，有损压缩将被进行至该等级以将原始数据文件存档。在一个实施方式中，最后一级的有损压缩可被系统或用户定义。在另一个实施方式中，最后一级的有损压缩可以是最高等级，有损压缩可被进行至该等级而不会生成不可用的基本文件。对于特定等级的压缩，基本文件可被定义为采用有损压缩技术所获得的压缩文件。因此，基本文件可包括，在根据预定的规则将某些信息从原始数据文件中丢弃后，所得到的原始数据文件的减少的内容。对于特定等级的有损压缩，补丁文件可被定义为，具有在该特定等级的有损压缩中被丢弃或者被丢失的信息的压缩文件。因此，对于每个等级的有损压缩，基本文件和补丁文件可根据对于该等级分别需要和丢失的信息而被生成。此外，在将某些信息从对应于上一等级的有损压缩的基本文件中丢弃后，对于每个等级的有损压缩，基本文件和补丁文件可被获得。然后最后的基本文件(即对应于最后一级的有损压缩的基本文件)以及所有的补丁文件可被存档在数据存储库中以备将来采用。将被本领域技术人员理解的是，最后一级的有损压缩可指这样的有损压缩的等级，有损压缩被进行至该等级。将所有的补丁文件和最后的基本文件一起存档，有利于通过将最后的基本文件与所有等级的有损压缩的补丁文件组合而获得对应于其他等级的有损压缩的基本文件，以达到数据文件所需的等级。因此，根据访问数据文件的用户请求，其中该数据文件具有来自被压缩以达到特定等级的有损压缩的原始数据文件的数据，数据存储库可提供，与从最后一级的有损压缩开始直到特定等级的有损压缩的所有等级的有损压缩相对应的，最后的基本文件以及补丁文件。此外，数据存储库可提供与最后的基本文件和补丁文件一起的指令表以及文件重构器，用于重新构造原始数据文件或者用于重新构造具有特定数量的信息损失的原始数据文件的有损变体。文件重构器可本文档来自技高网...

【技术保护点】
数据存档系统（102），包括：处理器（108）；连接至处理器（108）的压缩模块（120），所述压缩模块（120）被配置来压缩原始数据文件，以对每个等级的有损压缩生成基本文件和补丁文件，其中基本文件采用有损压缩技术而被生成，其中对于特定等级的有损压缩的补丁文件采用在所述特定等级的有损压缩中丢失的信息而被生成；连接至处理器（108）的数据存档模块（122），所述数据存档模块（122）被配置来保存最后的基本文件和对应于每个等级的有损压缩的多个补丁文件，其中所述最后的基本文件是对应于最后一级的有损压缩的基本文件。

【技术特征摘要】
2013.02.26 IN 565/MUM/20131.数据存档系统(102)，包括: 处理器(108)； 连接至处理器(108)的压缩模块(120)，所述压缩模块(120)被配置来压缩原始数据文件，以对每个等级的有损压缩生成基本文件和补丁文件，其中基本文件采用有损压缩技术而被生成，其中对于特定等级的有损压缩的补丁文件采用在所述特定等级的有损压缩中丢失的信息而被生成； 连接至处理器(108)的数据存档模块(122)，所述数据存档模块(122)被配置来保存最后的基本文件和对应于每个等级的有损压缩的多个补丁文件，其中所述最后的基本文件是对应于最后一级的有损压缩的基本文件。2.根据权利要求1所述的数据存档系统(102)，其中所述数据存档模块(122)被进一步配置来生成存档数据文件，其中根据对应于特定等级的有损压缩的、访问存档数据文件的用户请求，所述存档数据文件包括所述最后的基本文件和选自多个补丁文件中的至少一个补丁文件，其中所述至少一个补丁文件包括对应于最后一级的压缩的补丁文件。3.根据权利要求1所述的数据存档系统(102)，其中所述数据存档模块(122)被进一步配置来生成存档数据文件，其中根据对应于特定等级的有损压缩的、访问存档数据文件的用户请求，所述存档数据文件包括所述最后的基本文件。4.根据权利要求2或3中任一项所述的数据存档系统(102)，其中所述存档数据文件包括具有指令的 指令表，所述指令表用于采用所述存档数据文件构造具有预定量的信息损失的原始数据文件。5.根据权利要求2至4中任一项所述的数据存档系统(102)，其中所述存档数据文件包括文件重构器，所述文件重构器被配置来采用所述存档数据文件重新构造具有预定量的信息损失的原始数据文件。6.根据权利要求1所述的数据存档系统(102)，所述数据存档系统(102)进一步包括连接至处理器(108)的用户交互模块(118)，所述用户交互模块(118)被配置来: 从用户接收对应于特定等级的有损压缩的、访问存档数据文件的用户请求；并且 根据所述用户请求将所述存档数据文件提供给用户，其中所述存档数据文件包括最后的基本文件以及最后的基本文件和选自多个补丁文件中的至少一个补丁文件的组合中的一种。7.根据权利要求1所述的数据存档系统(102)，所述数据存档系统(102)进一步包括连接至处理器(108)的用户交互模块(118)，所述用户交互模块(118)被配置来: 从用户接收对应于特定等级的有损压缩的、访问具有预定量的信息损失的原始数据文件的用户请求； 采用最后的基本文件以及最后的基本文件和选自多个补丁文件中的至少一个补丁文件的组合中的一种，重新构造具有预定量的信息损失的原始数据文...

【专利技术属性】
技术研发人员：莎米拉·谢加·曼德，艾米班·杜塔，滕德拉·波什，穆罕默德·摩苏尔·哈克，
申请(专利权)人：塔塔咨询服务有限公司，
类型：发明
国别省市：印度;IN