一种实现用户数据和压缩数据间转换的方法及装置制造方法及图纸

技术编号:16717875 阅读:35 留言:0更新日期:2017-12-05 16:21
本发明专利技术公开了一种实现用户数据和压缩数据间转换的方法,包括:对压缩对象划分虚拟空间和物理空间;根据所述压缩对象的虚拟空间对应的主索引查找段索引;根据所述段索引查找由虚拟空间划分的段;根据所述段的可写块地址映射到物理空间,建立虚拟空间到物理空间的映射关系模型;根据所述映射关系模型实现对用户数据和压缩数据间的转换。因此,利用本发明专利技术所提供的方法,在使用过程中,可以基于实时压缩引擎建立从用户数据到压缩数据的映射关系模型,实现对数据的转换,合理管理数据,提高存储系统的性能,降低存储空间和存储成本,有效节约了系统资源的消耗。

A method and device to realize the conversion between user data and compressed data

The invention discloses a method for realizing user data and conversion between data compression method, including: the compressed objects into the virtual space and physical space; according to the virtual space of the compressed object corresponding to the main index lookup segment index; according to the segment index lookup by virtual space division; according to the section of the write block addresses are mapped to physical space, mapping model of virtual space to physical space; according to the mapping model to realize the conversion between data and user data compression. Therefore, the method provided by the invention, in the process of using, can be real-time compression engine is built from the user data to the compression mapping model based on the data, realizing the conversion of data, reasonable data management, improve the performance of storage system, reduce storage space and storage cost, effectively saves the system resource consumption.

【技术实现步骤摘要】
一种实现用户数据和压缩数据间转换的方法及装置
本专利技术涉及数据实时压缩领域,特别是涉及一种实现用户数据和压缩数据间转换的方法及装置。
技术介绍
随着科学技术的发展,移动互联网和大数据概念的迅速崛起,越来越多的数据充斥在我们生活中,因此对于如何管理这些数据就显得尤为重要。近年来,常见的一种管理数据的方式为对数据进行压缩管理,压缩是一种通过特定的算法来减小计算机文件大小的机制。这种机制是一种很方便的专利技术,尤其是对网络用户,因为它可以减小文件的字节总数,使文件能够通过较慢的互联网连接实现更快传输,此外还可以减少文件的磁盘占用空间。这种操作的方式可以让需要存储的数据,例如图像、视频等占用容量大的多媒体数据在无损或少量损失的情况下占用更少的内存,方便对大量数据的管理。现有的压缩方式为先将数据写入存储设备,然后再使用压缩工具对数据进行压缩,之后再将压缩前的数据删除,使用压缩数据的时候需要先解压,再使用,这种方式效率低下,无法有效地对压缩前后的数据进行转换,缺少对数据合理的管理,占用大量的系统资源,耗费使用者大量的时间。因此,如何提供一种有效解决在进行压缩数据的过程中,对数据的进行转换,以便合理管理的方法是本领域技术人员亟待解决的技术问题。
技术实现思路
本专利技术的目的是提供一种实现用户数据和压缩数据间转换的方法及装置,以解决在对数据压缩过程中,无法有效的对数据进行转换从而管理的问题。为解决上述技术问题,本专利技术提供一种实现用户数据和压缩数据间转换的方法,包括:对压缩对象划分虚拟空间和物理空间;根据所述压缩对象的虚拟空间对应的主索引查找段索引;根据所述段索引查找由虚拟空间划分的段;根据所述段的可写块地址映射到物理空间,建立虚拟空间到物理空间的映射关系模型;根据所述映射关系模型实现对用户数据和压缩数据间的转换。其中,在根据所述段的可写块地址映射到物理空间之前,该方法进一步包括:响应用户对所述段的大小进行配置的配置指令,对所述段的大小进行配置。其中,所述物理空间为固定大小的块。其中,所述主索引的储存信息还包括:储存压缩对象的健康状态和/或空闲块。其中,所述根据所述压缩对象的虚拟空间相应的主索引查找段索引为:响应根据日志地图追踪写入的数据并在所述段索引中进行记录的指令,根据日志地图追踪写入的数据并在所述段索引中进行记录。本专利技术还提供一种实现用户数据和压缩数据间转换的装置,包括:空间划分模块:用于对压缩对象划分虚拟空间和物理空间;第一索引模块:用于根据所述压缩对象的虚拟空间相应的主索引查找段索引;第二索引模块:用于根据所述段索引查找由虚拟空间划分的段;映射建立模块:用于根据所述段的可写块地址映射到物理空间,建立虚拟空间到物理空间的映射关系模型;转换实现模块:用于根据所述映射关系模型实现对用户数据和压缩数据间的转换。其中,所述装置进一步包括:配置段模块:用于响应用户对所述段的大小进行配置的指令,对所述段的大小进行配置。其中,所述物理空间为固定大小的块。其中,所述主索引的储存信息还包括:储存压缩对象的健康状态和/或空闲块。其中,所述根据所述压缩对象的虚拟空间相应的主索引查找段索引为:响应根据日志地图追踪写入的数据并在所述段索引中进行记录的指令,根据日志地图追踪写入的数据并在所述段索引中进行记录。相对于上述
技术介绍
,本专利技术所提供的一种实现用户数据和压缩数据间转换的方法,包括:对压缩对象划分虚拟空间和物理空间;根据所述压缩对象的虚拟空间对应的主索引查找段索引;根据所述段索引查找由虚拟空间划分的段;根据所述段的可写块地址映射到物理空间,建立虚拟空间到物理空间的映射关系模型;根据所述映射关系模型实现对用户数据和压缩数据间的转换。本专利技术实施例的优点在于基于实时压缩的方法,首先对压缩对象划分不同的虚拟空间和物理空间,在根据压缩对象相应的主索引查找段索引,再根据段索引查找段,最后根据段中的可写块地址映射到物理空间,从而建立虚拟空间到物理空间的映射关系模型实现对用户数据和压缩数据间的转换。在另一种优选地实施例中,使用过程中,在物理空间被拆分为段时,还可以对段的大小进行配置,极大提高了实用性。因此,利用本专利技术所提供的方法,在使用过程中,可以基于实时压缩引擎建立从用户数据到压缩数据的映射关系模型,实现对数据的转换,合理管理数据,提高存储系统的性能,降低存储空间和存储成本,有效节约了系统资源的消耗。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本专利技术实施例第一具体实施方式流程图;图2为CO与VS/PS关系示意图;图3为VS空间按段划分示意图;图4为本专利技术实施例第二具体实施方式流程图;图5为本专利技术实施例第一种装置示意图;图6为本专利技术实施例第二种装置示意图。具体实施方式本专利技术的核心是提供一种实现用户数据和压缩数据间转换的方法,以解决在对数据压缩过程中,无法有效的对数据进行转换从而管理的问题。为了使本
的人员更好地理解本专利技术方案,下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。本申请专利技术人经过研究发现,现有技术中,在对用户数据进行压缩处理的时候,采用的方法是先将用户数据写入存储设备,再进行压缩处理生成压缩数据,并将原始数据删除,这种方法无法对数据进行有效合理的管理,在压缩过程中,耗费了大量的系统资源,浪费大量的存储空间和存储成本,存储系统的性能不高。鉴于此,本申请专利技术人通过提供一种实现用户数据和压缩数据间转换的方法,有效解决对数据转换管理的问题。实施例一:请参考图1,为本专利技术实施例第一具体实施方式流程图,具体包括:步骤101:对压缩对象划分虚拟空间和物理空间。常见的压缩技术是先将数据写入存储设备,然后使用压缩工具进行压缩,再将原始数据删除,使用的时候再将压缩数据解压,这种方法使用广泛,但是效率低下,尤其耗费大量的系统资源。实时压缩是一种对数据先压缩再写入的技术,读取时直接读取压缩数据再解压后返回,整个压缩过程和解压缩过程对于用户来说都是透明的,相比传统方法减少了中间环节,降低了系统资源的消耗。在该步骤中,首先定义一个压缩对象(CO),存储压缩后的对象,然后,定义一个虚拟空间(VS),表示CO的用户视图,其次,再定义一个物理空间(PS),表示CO的实际存储视图。利用实时压缩引擎将PS分割为固定大小的块,如图2所示,为CO与VS/PS关系示意图。步骤102:根据所述压缩对象的虚拟空间对应的主索引查找段索引。在该步骤中,为了查找段索引,本文档来自技高网
...
一种实现用户数据和压缩数据间转换的方法及装置

【技术保护点】
一种实现用户数据和压缩数据间转换的方法,其特征在于,包括:对压缩对象划分虚拟空间和物理空间;根据所述压缩对象的虚拟空间对应的主索引查找段索引;根据所述段索引查找由虚拟空间划分的段;根据所述段的可写块地址映射到物理空间,建立虚拟空间到物理空间的映射关系模型;根据所述映射关系模型实现对用户数据和压缩数据间的转换。

【技术特征摘要】
1.一种实现用户数据和压缩数据间转换的方法,其特征在于,包括:对压缩对象划分虚拟空间和物理空间;根据所述压缩对象的虚拟空间对应的主索引查找段索引;根据所述段索引查找由虚拟空间划分的段;根据所述段的可写块地址映射到物理空间,建立虚拟空间到物理空间的映射关系模型;根据所述映射关系模型实现对用户数据和压缩数据间的转换。2.如权利要求1所述的方法,其特征在于,在根据所述段的可写块地址映射到物理空间之前,该方法进一步包括:响应用户对所述段的大小进行配置的配置指令,对所述段的大小进行配置。3.如权利要求2所述的方法,其特征在于,所述物理空间为固定大小的块。4.如权利要求3所述的方法,其特征在于,所述主索引的储存信息还包括:储存压缩对象的健康状态和/或空闲块。5.如权利要求1-4任一项所述的方法,其特征在于,所述根据所述压缩对象的虚拟空间对应的主索引查找段索引为:响应根据日志地图追踪写入的数据并在所述段索引中进行记录的指令,根据日志地图追踪写入的数据并在所述段索引中进行记录。6.一种实现用户数据和压缩数据间转换的...

【专利技术属性】
技术研发人员:刘明甲
申请(专利权)人:郑州云海信息技术有限公司
类型:发明
国别省市:河南,41

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1