一种云存储方法、系统和设备技术方案

本发明专利技术公开了一种云存储方法，包括：判断待存储文件中的数据块是否首次存储；其中，所述待存储文件包括若干个预先划分好的数据块；当所述待存储文件的数据块为首次存储时，根据访问频率确定所述待存储文件的数据块的冷热度；当所述待存储文件的数据块为非首次存储时，根据引用量确定所述待存储文件的数据块的冷热度；根据所述冷热度确定所述待存储文件的数据块的存储策略，并根据所述存储策略将所述待存储文件的数据块存储。本发明专利技术还公开了一种云存储系统和一种云存储设备。采用本发明专利技术实施例，能够对首次和非首次存储的数据块性质分情况判断，并结合时间相关性判断数据的冷热度。

【技术实现步骤摘要】
一种云存储方法、系统和设备
本专利技术涉及云存储
，尤其涉及一种云存储方法、系统和设备。
技术介绍
随着信息技术的快速发展，数据量呈爆炸性增长。目前我们已经进入了PB级别的数据量时代。数据的骤增，需要存储技术的快速提升、存储设备成本的大幅度降低。在这一系列的趋势下，具有分布式特征的云存储方法就应运而生。但是云存储不可避免地产生由于服务器的实效引起的服务终端或者丢失的问题，因此，如何在保证容错能力的情况下降低空间消耗成为云存储研究的一个重要方向。副本策略是较早的数据冗余技术，其优势就是支持高并发访问，但是劣势就是存储开销较高。与副本策略相比，纠删码策略在最近几年得到重视，其优点就是开销较低且可以容忍有限范围内的数据丢失，但是数据的存储速度、可用性相对于副本策略较低。根据文件大小对数据访问的冷热度进行判断，基于冷热度选取合适存储冗余技术，一般大文件采用纠删码，小文件采用副本策略。但是基于网络编码技术或者纠删码技术，但是随着时间的推移，写入的速度会变得越来越慢。对已有冗余技术研究进行梳理，发现存在一些问题和不足，主要表现在：(1)冗余方法单一。目前市场上的多云存储方法多采用单一的方法来对数据进行冗余，即只采用副本策略或只采用纠删码技术，而这两种技术各有优缺点。即使有些云存储方法采用混合冗余技术进行数据存储，但是其判断的标准比较简单，不能反映实际用户对数据的访问需求。(2)没有从时间相关性看待冷热数据的问题。单纯从引用量和读写频率来判断数据的冷热度是不科学的，因为3年前与3个月内的引用量的意义是不同的。
技术实现思路
本专利技术实施例的目的是提供一种云存储方法、系统和设备，能够对首次和非首次存储的数据块性质分情况判断，并结合时间相关性判断数据的冷热度。为实现上述目的，本专利技术实施例提供了一种云存储方法，包括：判断待存储文件中的数据块是否首次存储；其中，所述待存储文件包括若干个预先划分好的数据块；当所述待存储文件的数据块为首次存储时，根据访问频率确定所述待存储文件的数据块的冷热度；当所述待存储文件的数据块为非首次存储时，根据引用量确定所述待存储文件的数据块的冷热度；根据所述冷热度确定所述待存储文件的数据块的存储策略，并根据所述存储策略将所述待存储文件的数据块存储。与现有技术相比，本专利技术公开的云存储方法，首先，判断待存储文件中的数据块是否首次存储；然后，当首次存储时，根据访问频率确定所述待存储文件的数据块的冷热度，当非首次存储时，根据引用量确定所述待存储文件的数据块的冷热度；最后，根据所述冷热度确定所述待存储文件的数据块的存储策略，并根据所述存储策略将所述待存储文件的数据块存储。解决了现有技术冗余方法单一和没有从时间相关性看待冷热数据的问题。能够对首次和非首次存储的数据块性质分情况判断，并结合时间相关性判断数据的冷热度。作为上述方案的改进，所述判断待存储文件中的数据块是否首次存储，包括：判断待存储文件中的数据块是否存在与已存储文件相同的数据块；若是，则判定所述待存储文件的数据块为非首次存储；若否，则判定所述待存储文件的数据块为首次存储。作为上述方案的改进，所述根据所述冷热度确定所述待存储文件的数据块的存储策略，包括：当所述冷热度大于预设的冷热度阈值时，判定所述待存储文件的数据块为热数据，采用副本策略为所述存储策略；当所述冷热度小于或等于预设的冷热度阈值时，判定所述待存储文件的数据块为冷数据，采用纠删码策略为所述存储策略。作为上述方案的改进，所述根据访问频率确定所述待存储文件的数据块的冷热度，包括：其中，D表示所述待存储文件的数据块的冷热度值；P表示某个时间段t的数据块的访问频率；T表示当前时刻，t＝1，2，…，T；γ表示衰减因子，所述衰减因子表示数据块的访问频率对当前用户与数据块的交互的重视程度，γ越接近1，表示越重视，在t时间段访问数据块的衰减因子表示为γT-t。作为上述方案的改进，所述根据引用量确定所述待存储文件的数据块的冷热度，包括：其中，D’表示所述待存储文件的数据块的冷热度值；P’表示某个时间段t’的数据块的引用量；T’表示当前时刻，t’＝1，2，…，T’；γ表示衰减因子，所述衰减因子表示数据块的引用量对当前用户与数据块的交互的重视程度，γ越接近1，表示越重视，在t’时间段引用数据块的衰减因子表示为γT’-t’。为实现上述目的，本专利技术实施例还提供了一种云存储系统，包括：首次存储判断单元，用于判断待存储文件中的数据块是否首次存储；其中，所述待存储文件包括若干个预先划分好的数据块；冷热度确定单元，用于当所述待存储文件的数据块为首次存储时，根据访问频率确定所述待存储文件的数据块的冷热度；还用于当所述待存储文件的数据块为非首次存储时，根据引用量确定所述待存储文件的数据块的冷热度；存储策略确定单元，用于根据所述冷热度确定所述待存储文件的数据块的存储策略；存储单元，用于根据所述存储策略将所述待存储文件的数据块存储。与现有技术相比，本专利技术公开的云存储系统，首先，首次存储判断单元判断待存储文件中的数据块是否首次存储；然后，当首次存储时，冷热度确定单元根据访问频率确定所述待存储文件的数据块的冷热度，当非首次存储时，冷热度确定单元根据引用量确定所述待存储文件的数据块的冷热度；最后，存储策略确定单元根据所述冷热度确定所述待存储文件的数据块的存储策略，存储单元根据所述存储策略将所述待存储文件的数据块存储。解决了现有技术冗余方法单一和没有从时间相关性看待冷热数据的问题。能够对首次和非首次存储的数据块性质分情况判断，并结合时间相关性判断数据的冷热度。作为上述方案的改进，所述首次存储判断单元具体用于：判断待存储文件中的数据块是否存在与已存储文件相同的数据块；若是，则判定所述待存储文件的数据块为非首次存储；若否，则判定所述待存储文件的数据块为首次存储。作为上述方案的改进，所述存储策略确定单元具体用于：当所述冷热度大于预设的冷热度阈值时，判定所述待存储文件的数据块为热数据，采用副本策略为所述存储策略；当所述冷热度小于或等于预设的冷热度阈值时，判定所述待存储文件的数据块为冷数据，采用纠删码策略为所述存储策略。作为上述方案的改进，所述根据访问频率确定所述待存储文件的数据块的冷热度，包括：其中，D表示所述待存储文件的数据块的冷热度值；P表示某个时间段t的数据块的访问频率；T表示当前时刻，t＝1，2，…，T；γ表示衰减因子，所述衰减因子表示数据块的访问频率对当前用户与数据块的交互的重视程度，γ越接近1，表示越重视，在t时间段访问数据块的衰减因子表示为γT-t；所述根据引用量确定所述待存储文件的数据块的冷热度，包括：其中，D’表示所述待存储文件的数据块的冷热度值；P’表示某个时间段t’的数据块的引用量；T’表示当前时刻，t’＝1，2，…，T’；γ表示衰减因子，所述衰减因子表示数据块的引用量对当前用户与数据块的交互的重视程度，γ越接近1，表示越重视，在t’时间段引用数据块的衰减因子表示为γT’-t’。为实现上述目的，本专利技术实施例还提供了一种云存储设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的云存储方法。附图说明图1是本专利技术实施例提供的一种云存储方法本文档来自技高网...

【技术保护点】
1.一种云存储方法，其特征在于，包括：判断待存储文件中的数据块是否首次存储；其中，所述待存储文件包括若干个预先划分好的数据块；当所述待存储文件的数据块为首次存储时，根据访问频率确定所述待存储文件的数据块的冷热度；当所述待存储文件的数据块为非首次存储时，根据引用量确定所述待存储文件的数据块的冷热度；根据所述冷热度确定所述待存储文件的数据块的存储策略，并根据所述存储策略将所述待存储文件的数据块存储。

【技术特征摘要】
1.一种云存储方法，其特征在于，包括：判断待存储文件中的数据块是否首次存储；其中，所述待存储文件包括若干个预先划分好的数据块；当所述待存储文件的数据块为首次存储时，根据访问频率确定所述待存储文件的数据块的冷热度；当所述待存储文件的数据块为非首次存储时，根据引用量确定所述待存储文件的数据块的冷热度；根据所述冷热度确定所述待存储文件的数据块的存储策略，并根据所述存储策略将所述待存储文件的数据块存储。2.如权利要求1所述的云存储方法，其特征在于，所述判断待存储文件中的数据块是否首次存储，包括：判断待存储文件中的数据块是否存在与已存储文件相同的数据块；若是，则判定所述待存储文件的数据块为非首次存储；若否，则判定所述待存储文件的数据块为首次存储。3.如权利要求1所述的云存储方法，其特征在于，所述根据所述冷热度确定所述待存储文件的数据块的存储策略，包括：当所述冷热度大于预设的冷热度阈值时，判定所述待存储文件的数据块为热数据，采用副本策略为所述存储策略；当所述冷热度小于或等于预设的冷热度阈值时，判定所述待存储文件的数据块为冷数据，采用纠删码策略为所述存储策略。4.如权利要求1所述的云存储方法，其特征在于，所述根据访问频率确定所述待存储文件的数据块的冷热度，包括：其中，D表示所述待存储文件的数据块的冷热度值；P表示某个时间段t的数据块的访问频率；T表示当前时刻，t＝1，2，…，T；γ表示衰减因子，所述衰减因子表示数据块的访问频率对当前用户与数据块的交互的重视程度，γ越接近1，表示越重视，在t时间段访问数据块的衰减因子表示为YT-t。5.如权利要求1所述的云存储方法，其特征在于，所述根据引用量确定所述待存储文件的数据块的冷热度，包括：其中，D’表示所述待存储文件的数据块的冷热度值；P’表示某个时间段t’的数据块的引用量；T’表示当前时刻，t’＝1，2，…，T’；γ表示衰减因子，所述衰减因子表示数据块的引用量对当前用户与数据块的交互的重视程度，γ越接近1，表示越重视，在t’时间段引用数据块的衰减因子表示为YT′-t′。6.一种云存储系统，其特征在于，包括：首次存储判断单元，用于判断待存储文件中的数据块是否...

【专利技术属性】
技术研发人员：程鹏，蒋杰伟，杜翠凤，
申请(专利权)人：广州杰赛科技股份有限公司，广州杰赛通信规划设计院有限公司，
类型：发明
国别省市：广东,44