一种基于数据分层的容量统计方法技术

本发明专利技术公开了一种基于数据分层的容量统计方法，涉及分布式文件存储技术领域，包括以下步骤：S1：数据由热变冷时，将变冷的数据上传到远端对象存储，然后删除上传成功的数据；S2：将该数据的key，以及value，记录到Rocksdb中；S3：当远端数据由于数据被删除等原因被删除时，更新对应key的valueb中；该基于数据分层的容量统计方法，通过在数据由热变冷时，确定变冷的数据，然后将变冷的数据上传到远端对象存储，然后删除上传成功的数据，此时，将该数据的project quota id，也就是key，以及数据size，也就是value，记录到Rocksdb中，当远端数据由于数据被删除等原因被删除时，更新对应key的value，减少统计容量的时间，实时的获取到远端的容量信息，使得用户体验较好。使得用户体验较好。使得用户体验较好。

【技术实现步骤摘要】
一种基于数据分层的容量统计方法


[0001]本专利技术涉及分布式文件存储
，具体为一种基于数据分层的容量统计方法。

技术介绍

[0002]分布式存储是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。当前分布式文件存储应用广泛，相比传统存储，提供了更好的健壮性、可靠性、可扩展性、容灾和备份、共享和协作。并且随着磁盘的快速发展，和用户对性能的要求越来越高，全闪环境也越来越受到欢迎，全闪存储是一种基于固态闪存技术的存储解决方案，相比传统的机械硬盘存储(HDD)，具有很明显的优势，比如高性能、低能耗、较小的物理体积、高密度和高扩展性。但是由于nvme盘的高昂价格，使得用户在容量方面不得不作协，于是诞生了数据分层的概念。数据分层顾名思义，热数据放本地，冷数据放远端，本地采用nvme盘，而远端可以采用较为廉价的对象存储。采用这种数据分层的策略有以下优点：成本优化：一般对象存储提供了多种存储类别，包括低成本的存储类别(如S3Glacier和S3 Glacier Deep Archive)，相比于热存储，这些存储类别的成本更低；通过将冷数据存放到低成本的存储类别中，可以降低存储成本，节约组织的资源；可扩展性和弹性：是一个高度可扩展和可靠的存储服务。它可以处理大规模的数据，并根据需要自动调整存储容量。这使得存储冷数据变得容易，无需担心容量限制或性能问题；数据安全性：提供了多层次的数据安全措施，包括数据加密、访问控制和身份验证机制等；通过将冷数据存放在对象存储上，可以确保数据的安全性和隐私保护；灵活的数据访问：提供了丰富的API和工具，可以方便地访问和检索存储在其中的数据；冷数据可以随时被恢复到热存储或直接在S3上进行处理和分析，为数据的再利用提供了灵活性；生命周期管理：对象存储的生命周期管理功能可以自动化地管理数据的生命周期，根据预定义的规则将数据从热存储迁移到冷存储，并在需要时恢复数据。这样，可以减轻管理员的工作负担，降低管理成本；但是该数据分层方式相应的也带来了新的问题：本地文件系统，比如xfs；某个目录的容量统计是基于xfs本身的project qutoa实现的，如果使用数据分层，很明显冷数据也就是远端数据是统计不到的，只能统计到存放在本地文件系统上的热数据，这样就会造成少统计数据；并且目前的远端数据的统计方法，也就是对象存储容量统计，都是递归遍历文件统计，随着文件数量的增多，统计时间也就越长，用户体验非常不好，因此提出了一种基于数据分层的容量统计方法。

技术实现思路

[0003]针对现有技术的不足，本专利技术提供了一种基于数据分层的容量统计方法，解决了上述
技术介绍
中提出的问题。
[0004]为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于数据分层的容量统计方法，包括以下步骤：
[0005]S1：数据由热变冷时，将变冷的数据上传到远端对象存储，然后删除上传成功的数据；
[0006]S2：将该数据的key，以及value，记录到Rocksdb中；
[0007]S3：当远端数据由于数据被删除等原因被删除时，更新对应key的valueb中；
[0008]S4：实时获取到远端的容量信息。
[0009]可选的，所述S2将该数据的key，以及value，记录到Rocksdb中的步骤中，所述key是指：project quota id，value是指数据size。
[0010]可选的，所述S1数据由热变冷时，将变冷的数据上传到远端对象存储，然后删除上传成功的数据的步骤中，将数据分为热数据与冷数据。
[0011]可选的，所述热数据设定为经常访问和使用的数据，冷数据设定为不太经常被访问的数据。
[0012]可选的，所述可根据业务需求和数据访问模式，作为确定将数据归类为冷数据的条件，也可基于数据的访问频率、最后访问时间、数据的年龄相关因素作为将数据归类为冷数据的条件。
[0013]可选的，所述project quota id通过对于任一目录，可以对其设置project quota，接着指定唯一的project quota id，当在这个目录下创建文件时，对这个文件的xattr，设置相应得project quota id。管理文件系统上的磁盘配额是Linux管理员最常见的日常操作任务之一，XFS文件系统支持Project Quota功能，通过该特性，可以支持目录级别的配额统计和限制。要使用Project Quota功能，需要在挂载时指定
‑
o projquota参数。
[0014]可选的，所述S1数据由热变冷时，将变冷的数据上传到远端对象存储，然后删除上传成功的数据的步骤中根据将数据归类为冷数据的条件，对数据进行判断分类。
[0015]本专利技术提供了一种基于数据分层的容量统计方法，具备以下有益效果：
[0016]该基于数据分层的容量统计方法，通过在数据由热变冷时，确定变冷的数据，然后将变冷的数据上传到远端对象存储，然后删除上传成功的数据，此时，将该数据的project quota id，也就是key，以及数据size，也就是value，记录到Rocksdb中，当远端数据由于数据被删除等原因被删除时，更新对应key的value，减少统计容量的时间，实时的获取到远端的容量信息，使得用户体验较好。
附图说明
[0017]图1为本专利技术步骤结构示意图；
[0018]图2为本专利技术远端容量统计图。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0020]请参阅图1至图2，本专利技术提供一种技术方案：一种基于数据分层的容量统计方法，包括以下步骤：
[0021]S1：数据由热变冷时，将变冷的数据上传到远端对象存储，然后删除上传成功的数据；
[0022]S2：将该数据的key，以及value，记录到Rocksdb中；
[0023]S3：当远端数据由于数据被删除等原因被删除时，更新对应key的valueb中；
[0024]S4：实时获取到远端的容量信息。
[0025]本领域技术人员可知，S2将该数据的key，以及value，记录到Rocksdb中的步骤中，key是指：project quota id，value是指数据size，当远端数据由于数据被删除等原因被删除时，更新对应project quota id的数据size，这样就能实时的获取到远端的容量信息。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据分层的容量统计方法，其特征在于：包括以下步骤：S1：数据由热变冷时，将变冷的数据上传到远端对象存储，然后删除上传成功的数据；S2：将该数据的key，以及value，记录到Rocksdb中；S3：当远端数据由于数据被删除等原因被删除时，更新对应key的valueb中；S4：实时获取到远端的容量信息。2.根据权利要求1所述的一种基于数据分层的容量统计方法，其特征在于：所述S2将该数据的key，以及value，记录到Rocksdb中的步骤中，所述key是指：project quota id，value是指数据size。3.根据权利要求1所述的一种基于数据分层的容量统计方法，其特征在于：所述S1数据由热变冷时，将变冷的数据上传到远端对象存储，然后删除上传成功的数据的步骤中，将数据分为热数据与冷数据。4.根据权利要求1所述的一种基于数据分层的容量统计方法，其特征在于：所述热数据设定...

【专利技术属性】
技术研发人员：侯玉彬，
申请(专利权)人：北京焱融科技有限公司，
类型：发明
国别省市：