一种存储扩容方法及装置制造方法及图纸

本发明专利技术公开了一种存储扩容方法，应用于分布式存储系统中。当分布式存储系统扩容新存储节点后，确定分布式存储系统中原有存储节点的资源使用率，资源使用率为原有存储节点已使用存储容量之和与在原有存储节点上分配的总存储容量的比值，基于资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除，监测新存储节点中是否有数据被删除，若是，将新存储节点加入分布式存储系统的原有存储节点之中，若否，重新确定原有存储节点的资源使用率。通过在扩容新存储节点时以满覆盖删除对原有存储节点的数据进行删除，能够在避免进行数据迁移的前提下完成存储节点的扩容，减少了扩容对业务性能的影响。

【技术实现步骤摘要】
一种存储扩容方法及装置
本专利技术涉及视频监控
，特别涉及一种存储扩容方法。本专利技术同时还涉及一种分布式存储系统扩容装置。
技术介绍
随着网络技术的蓬勃发展和视频监控数字化、网络化、高清化、智能化的逐渐成熟，视频监控前端摄像机视频采集技术也在飞速发展，从早期的10万像素到今天的200万、500万像素，视频清晰度越来越高，视频画面中的信息量也越来越丰富，对存储容量的要求也越来越高。举个例子，目前高清最基本的是720P的，每小时录像可压缩至3GB左右，一个月下来大概是17T(17000G)。在监控系统中几百甚至几千路的高清监控，其产生的庞大视频文件涌向存储器，在安防视频清晰度不断提高和安防监控路数不断增加的情况下，安防行业的存储问题愈加凸显。而正是由于道路监控在安防领域中的应用越来越广泛，卡口图片的存储量越来越大，存储的方式也从原来的集中式存储转向了当下流行的分布式存储(又称云存储)。随着监控业务规模不断扩大，例如录像、图片的存储时间延长或是新增卡口、IPC(IPCAMERA，网络摄像机)增加业务接入，这时就需要对现有的云存储资源进行扩容。如图1所示，为现有技术中CDS(CloudDirectStorage，云直存储)系统中的CDV(CloudDirectvirtual，云直存虚拟)设备、逻辑资源以及slice关系图，CDV设备上部署了存储节点管理软件，通过该管理软件可以将存储设备上的存储资源均匀的分为N个标准逻辑资源进行管理，每一个资源都具有一个设备级的ID(Identification，身份)号，通过该ID号可以找到对应的Target(目标)等信息。每一个资源又会被存储管理软件格式化为索引区和slice数据区。目前，云存储系统会对新扩容进来的空闲资源进行均衡，即当一个新的类似于CDV的存储设备加入原有的分布式存储系统的其他存储设备中时，老存储设备上存储的数据会迁移部分到新加入的存储设备之中。而现有的监控业务有两种扩容实现方法，一种是只增加磁盘扩充容量，一种是即增加磁盘又需要增加存储服务器实现接入路数以及容量的双需求。但专利技术人在实现本专利技术的过程中发现，无论是采取扩容硬盘还是同时增加存储服务器以及硬盘的方式，当空闲资源加入到云存储的环境中后，云存储系统会将已有存储资源上的历史数据均衡部分到空闲资源上，从而给新加入的存储设备以及原有的存储设备均带来了额外的数据迁移、读取、写入的压力，从而影响业务接入性能。由此可见，如何减少分布式存储系统在扩容时由于负载均衡所给设备带来的额外负荷，成为本领域技术人员亟待解决的技术问题。
技术实现思路
本专利技术提供了一种存储扩容方法，应用于分布式存储系统中，用以减少现有的分布式存储系统在扩容时由于负载均衡所带来的额外的设备负担，该方法应用于分布式存储系统中，包括：当所述分布式存储系统扩容新存储节点后，确定所述分布式存储系统中原有存储节点的资源使用率，所述资源使用率为所述原有存储节点已使用存储容量之和与在所述原有存储节点上分配的总存储容量的比值；基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除；监测所述新存储节点中是否有数据被删除；若是，将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中；若否，重新确定所述原有存储节点的资源使用率。优选地，所述满覆盖删除包含容量满覆盖删除以及留存期满覆盖删除，基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除，具体为：若所述资源使用率高于预设的容量阈值，将所有存储节点中的数据根据存储时间进行容量满覆盖删除。优选地，根据存储时间进行满覆盖删除，还包括：确定所述分布式存储系统扩容新存储节点前的留存期，基于所述扩容新存储节点前的留存期将所有存储节点中的数据根据存储时间进行留存期满覆盖删除。优选地，将所有存储节点中的数据根据存储时间进行满覆盖删除，具体为：将所述所有存储节点中的数据按照已存储时间或相对存储时间从长至短的顺序进行删除，直至所述原有存储节点的可使用存储容量之和大于或等于当前待写入所述存储节点的新数据的大小，所述相对存储时间根据所述数据的已存储时间以及为所述数据分配的存储时限生成。优选地，将所有存储节点中的数据根据存储时间进行留存期满覆盖删除，具体为：将所述所有存储节点中存储时间超过第一时间阈值的数据删除。优选地，在将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中后，还包括：按照预设的时间间隔对所述分布式存储系统中的所有存储节点进行容量满覆盖删除或留存期满覆盖删除。优选地，确定所述分布式存储系统中原有存储节点的资源使用率，具体为：将所述原有存储节点所创建的逻辑资源的置位标记设置为0；根据所述分布式存储系统中置位标记为0的逻辑资源的分片数据区的空闲容量确定各所述原有存储节点的已使用存储容量；根据所述分布式存储系统中所述原有存储节点已使用存储容量之和确定所述资源使用率。优选地，所述新存储节点所创建的逻辑资源的置位标记被设置为1；将所述新存储节点加入所述原有存储节点，具体为：将所述新存储节点的逻辑资源的置位标记从1修改为0。相应的，本申请还提出了一种分布式存储系统扩容装置，包括处理器以及存储有若干计算机指令的非易失性存储器，该些计算机指令被处理器执行时实现上述任意一项所述的存储扩容方法。相应的，本申请还提出了一种计算机可读存储介质，其上存储有计算机指令，该些计算机指令被处理器执行时实现上述任意一项所述的存储扩容方法。由此可见，通过应用本申请的技术方案，当所述分布式存储系统扩容新存储节点后，确定所述分布式存储系统中原有存储节点的资源使用率，所述资源使用率为所述原有存储节点已使用存储容量之和与在所述原有存储节点上分配的总存储容量的比值，基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除，监测所述新存储节点中是否有数据被删除，若是，将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中，若否，重新确定所述原有存储节点的资源使用率。通过在扩容新存储节点时以满覆盖删除对原有存储节点的数据进行删除，能够在避免进行数据迁移的前提下完成存储节点的扩容，减少了扩容对业务性能的影响。附图说明图1为现有技术中CDV设备、逻辑资源以及slice关系图；图2为本申请提出的一种存储扩容方法的流程示意图；图3为本申请具体实施例对云存储系统进行扩容的示意图；图4为本申请提出的一种分布式存储系统的扩容装置的结构示意图。具体实施方式如
技术介绍
所述，当用户数据需要保存更久的时间，或是需要新增卡口IPC时，作为云存储系统的分布式存储系统需要更大的存储空间，尤其当原云存储环境里的存储节点的资源已经达到了单台存储节点的性能上限时，新添加的监控业务就需要有新的CDV来承担存储任务。但目前分布式存储系统中的负载均衡策略会使得新存储节点在加入分布式存储系统后被频繁写入，同时原有存储节点也会被频繁读取，从而造成额外的设备负担，导致整体业务性能下降。有鉴于此，本申请提出了一种存储扩容方法，该方案通过在扩容新存储节点时以满覆盖删除对原有存储节点的数据进行删除，能够在避免进行数据迁移的前提下完成存储节点的扩容，减少了扩容对业务性能的影响。如图2所示，该方法包括如下步骤：S201，当所述分布式存储系统扩容新存储节点时，确定所本文档来自技高网...

【技术保护点】
1.一种存储扩容方法，应用于分布式存储系统中，其特征在于，包括：当所述分布式存储系统扩容新存储节点后，确定所述分布式存储系统中原有存储节点的资源使用率，所述资源使用率为所述原有存储节点已使用存储容量之和与在所述原有存储节点上分配的总存储容量的比值；基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除；监测所述新存储节点中是否有数据被删除；若是，将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中；若否，重新确定所述原有存储节点的资源使用率。

【技术特征摘要】
1.一种存储扩容方法，应用于分布式存储系统中，其特征在于，包括：当所述分布式存储系统扩容新存储节点后，确定所述分布式存储系统中原有存储节点的资源使用率，所述资源使用率为所述原有存储节点已使用存储容量之和与在所述原有存储节点上分配的总存储容量的比值；基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除；监测所述新存储节点中是否有数据被删除；若是，将所述新存储节点加入所述分布式存储系统的所述原有存储节点之中；若否，重新确定所述原有存储节点的资源使用率。2.如权利要求1所述的方法，其特征在于，所述满覆盖删除包含容量满覆盖删除以及留存期满覆盖删除，基于所述资源使用率将所有存储节点中的数据根据存储时间进行满覆盖删除，具体为：若所述资源使用率高于预设的容量阈值，将所有存储节点中的数据根据存储时间进行容量满覆盖删除。3.如权利要求1所述的方法，其特征在于，根据存储时间进行满覆盖删除，还包括：确定所述分布式存储系统扩容新存储节点前的留存期，基于所述扩容新存储节点前的留存期将所有存储节点中的数据根据存储时间进行留存期满覆盖删除。4.如权利要求1所述的方法，其特征在于，将所有存储节点中的数据根据存储时间进行满覆盖删除，具体为：将所述所有存储节点中的数据按照已存储时间或相对存储时间从长至短的顺序进行删除，直至所述原有存储节点的可使用存储容量之和大于或等于当前待写入所述存储节点的新数据的大小，所述相对存储时间根据所述数据的已存储时间以及为...

【专利技术属性】
技术研发人员：石岩，龚祥雨，朱世峰，马伟谟，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江,33