一种基于云存储服务价格的数据碎片减少方法技术

本发明专利技术一种基于云存储服务价格的数据碎片减少方法，该方法权衡存储空间服务费和采用重复数据删除技术所产生的数据碎片读取服务费(该数据碎片读取服务费不包含数据传输服务费)，识别导致数据读取服务费大于所节约的数据存储空间服务费的数据碎片块，通过在云存储系统中保留这些数据碎片块不进行重复数据删除操作，从而减少云存储系统中的数据碎片量，减少用户所需支付的数据读取服务费用，使用户能够以最低的服务价格享受云存储系统所提供的数据存储服务。

【技术实现步骤摘要】

本专利技术属于计算机信息存储
，具体涉及一种基于云存储服务价格的用于减少云存储系统中数据碎片的方法。
技术介绍
随着信息时代的来临，数据呈现爆炸式地增长，IDC预测到2020年全球将产生44ZB的数据。而作为对外提供存储服务的云存储系统，目前普遍采用重复数据删除技术来减少用户所存储的数据量。不过，该技术虽然能够节约存储空间成本，但是会引入大量的数据碎片。这主要是因为采用重复数据删除技术之后，逻辑上连续的数据块在物理空间上被分散存储，导致读数据时需要大量的数据读取操作，使用户产生大量的数据读取服务费用。例如，组成一个文件的N个连续的数据块在删除重复数据块之后，这N个连续的数据块很可能存储在云存储系统中N个不同的存储对象中(存储对象为云存储系统中数据存储的物理单位，一个存储对象通常为数百MB字节或数GB字节)，导致读取这个文件需要N次的数据读取操作。而在云存储服务系统中，数据读取服务按数据读取的操作次数进行收费，因此用户读取该文件1次则需要支付N次的数据读取操作费用，若用户频繁读取该文件，则将产生巨大的数据读取服务费。为了减少用户使用云存储服务所产生的存储服务费(包括数据存储空间服务费和数据读取操作服务费)，本专利技术一种基于云存储服务价格的数据碎片减少方法，该方法权衡存储空间服务费和采用重复数据删除技术所产生的数据碎片读取服务费(该数据碎片读取服务费不包含数据传输服务费)，识别导致用户所产生的数据读取服务费大于所节约的数据存储空间服务费的数据碎片块，通过在云存储系统中保
留这些数据碎片块不进行重复数据删除操作，从而减少云存储系统中的数据碎片量，减少用户所需支付的数据读取服务费用，使用户能够以最低的服务价格享受云存储系统所提供的数据存储服务。
技术实现思路
本专利技术一种基于云存储服务价格的数据碎片减少方法，该方法权衡存储空间服务费和采用重复数据删除技术所产生的数据碎片读取服务费(该数据碎片读取服务费不包含数据传输服务费)，识别导致用户所产生的数据读取服务费大于所节约的数据存储空间服务费的数据碎片块，通过在云存储系统中保留这些数据碎片块不进行重复数据删除操作，从而减少云存储系统中的数据碎片量，减少用户所需支付的数据读取服务费用，使用户能够以最低的服务价格享受云存储系统所提供的数据存储服务。本专利技术的核心思想是识别导致用户所产生的数据读取服务费大于所节约的数据存储空间服务费的数据碎片段，数据碎片段是指存储在同一个存储对象中地址连续的多个重复数据块，同一个存储对象中可能存在多个数据碎片段。若对于某个数据碎片段，其产生的数据读取服务费大于所节约的存储空间服务费，则认定为该数据碎片段中的所有数据碎片块均为重写数据碎片块，将不对这些数据碎片块进行重复数据删除操作。如公式1所示，不等号左侧为某个数据碎片段所产生的数据读取服务费，右侧为所节约的存储空间服务费，若某个数据碎片段满足公式1，则表明该数据碎片段将产生的数据读取服务费大于所节约的存储空间费。其中不等号左侧中Cget指进行1次数据读取操作时所产生的数据读取服务费，该费用不包含数据传输服务费，与数据碎片段的总大小无关；Nread是指用户读取该数据碎片段的次数，Cget*Nread即为用户读取该数据碎片段所产生的数据读取服务费；不
等号右侧DataSize为数据碎片段的总大小，单位为GB，Cstorage为每GB所需要的存储空间服务费，DataSize*Cstorage即为用户存储该数据碎片段所需要支付的存储空间服务费。Cget*Nread>DataSize*Cstorage (公式1)本专利技术的主要流程为：(1)云存储服务端接收用户客户端发送的属于同一个文件的数据块信息(包括数据块内容，数据块长度，数据块指纹等)。(2)云存储服务端在云存储系统中查找步骤(1)中得到的数据块是否为重复数据块，若是，则标记对应的数据块为重复数据块，否则，则标记对应的数据块为非重复数据块。(3)得到由步骤(2)中所标记的重复数据块组成的数据碎片段，数据碎片段由存储在同一个存储对象的地址连续的重复数据块组成，同一个存储对象中可能存在多个数据碎片段。(4)根据公式1计算步骤(3)中得到的每个数据碎片段的数据读取服务费以及存储空间服务费(其中数据读取次数由系统给出一个固定值或者系统根据经验数据给出一个预测值)，若数据读取服务费大于存储空间服务费，则标记对应数据碎片段里面的所有数据块为重写数据碎片块，否则，则标记对应数据碎片段里面的所有数据块为非重写数据碎片块。(5)将步骤(4)中标记出的所有重写数据碎片块和步骤(2)中标记出的所有非重复数据块一起写入云存储系统的存储对象中，并删除步骤(4)中所标记出的非重写数据碎片块。附图说明图1为本专利技术的流程图具体实施方式本专利技术涉及用户客户端和云存储服务端。用户客户端主要向云存储服务端发送需要存储的文件数据信息，云存储服务端则使用云存储系统存储用户发送过来的数据。重复数据删除技术可以在云存储服务端独立实现，也可以通过云存储服务端和用户客户端协作实现。本专利技术的方法可以与重复数据删除技术的任意一种实现方式进行结合。图1为本专利技术的流程图。具体步骤如下：(1)云存储服务端接收用户客户端发送过来的属于同一个文件的数据块信息，该数据块信息包括数据块的元数据信息和数据内容信息。数据块的元数据信息包括数据块的长度、用来唯一标记数据块的数据块指纹等。(2)云存储服务端在云存储系统中查找步骤(1)中所得的数据块是否为重复数据块，具体步骤如下：(2.1)读取其中一个数据块，在云存储系统中查看该数据块是否为已经存储过的数据块。若是，则标记该数据块为重复数据块，否则，则标记该数据块为非重复数据块。(2.2)若步骤(1)中的数据块全部读取完毕，则进入下一个步骤，否则转入步骤(2.1)。(3)得到步骤(2.1)中所标记的重复数据块组成的数据碎片段，数据碎片段由步骤(2.1)中所标记的存储于同一个存储对象的地址连续的重复数据块组成。(4)查找步骤(3)中所得到的数据碎片段是否为重写数据碎片段。具体步骤如下：(4.1)得到一个数据碎片段，根据公式1计算该数据碎片段的
数据读取服务费以及存储空间服务费(其中数据读取次数由系统给出一个固定值或者系统根据经验数据给出一个预测值)，若数据读取服务费大于存储空间服务费，则标记该数据碎片段里的所有数据块为重写数据碎片块，否则，则标记该数据碎片段里的所有数据块为非重写数据碎片块。(4.2)若步骤(4)中的所有的数据碎片段已全部计算完毕，则进入下一个步骤，否则转入步骤(4.1)。(5)将步骤(4.1)中标记出的所有重写数据碎片块和步骤(2.1)中标记出的所有非重复数据块一起写入云存储系统的存储对象中，并删除步骤(4.1)中所标记出的非重写数据碎片块。本文档来自技高网...

【技术保护点】
本专利技术一种基于云存储服务价格的数据碎片减少方法，具体步骤为：(1)云存储服务端接收用户客户端发送的属于同一个文件的数据块信息(包括数据块内容，数据块长度，数据块指纹等)。(2)云存储服务端在云存储系统中查找步骤(1)中得到的数据块是否为重复数据块，若是，则标记对应的数据块为重复数据块，否则，则标记对应的数据块为非重复数据块。(3)得到由步骤(2)中所标记的重复数据块组成的数据碎片段，数据碎片段由存储在同一个存储对象的地址连续的重复数据块组成，同一个存储对象中可能存在多个数据碎片段。(4)计算步骤(3)中得到的每个数据碎片段的数据读取服务费以及存储空间服务费，若数据读取服务费大于存储空间服务费，则标记对应数据碎片段里面的所有数据块为重写数据碎片块，否则，则标记对应数据碎片段里面的所有数据块为非重写数据碎片块。(5)将步骤(4)中标记出的所有重写数据碎片块和步骤(2)中标记出的所有非重复数据块一起写入云存储系统的存储对象中，并删除步骤(4)中所标记出的非重写数据碎片块。

【技术特征摘要】
1.本发明一种基于云存储服务价格的数据碎片减少方法，具体步骤为：(1)云存储服务端接收用户客户端发送的属于同一个文件的数据块信息(包括数据块内容，数据块长度，数据块指纹等)。(2)云存储服务端在云存储系统中查找步骤(1)中得到的数据块是否为重复数据块，若是，则标记对应的数据块为重复数据块，否则，则标记对应的数据块为非重复数据块。(3)得到由步骤(2)中所标记的重复数据块组成的数据碎片段，数据碎片段由存储在同一个存储对象的地址连续的重复数据块组成，同一个存储对象中可能存在多个数据碎片段。(4)计算步骤(3)中得到的每个数据碎片段的数据读取服务费以及存储空间服务费，若数据读取服务费大于存储空间服务费，则标记对应数据碎片段里面的所有数据块为重写数据碎片块，否则，则标记对应数据碎片段里面的所有数据块为非重写数据碎片块。(5)将步骤(4)中标记出的所有重写数据碎片块和步骤(2)中标记出的所有非重复数据块一起写入云存储系统的存储对象中，并删除步骤(4)中所标记出的非重写数据碎片块。2.根据权利要求1所述...

【专利技术属性】
技术研发人员：谭玉娟，晏志超，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50