一种基于流式存储的存储网关资源分配方法组成比例

本发明专利技术提供一种基于流式存储的存储网关资源分配方法，包括：对所述服务器集群进行逻辑划分，将所述服务器集群划分为多个存储组；创建磁盘阵列单元DAU；存储池的划分；存储网关作为设备接入的唯一入口，同时管理整个服务器集群相关资源；当存储网关接收到设备E的接入请求时，按选择的容量优先模式和省电优先模式，进行存储资源的分配。本发明专利技术不同于现有技术仅采用单一的视频存储方式，本发明专利技术构建的负载均衡策略中，考虑存储周期，设备带宽，存储容量等多种因素。通过各因素及参数，得到最适合的，负载均衡的分配结果，提升存储系统的使用性能。性能。性能。

【技术实现步骤摘要】
一种基于流式存储的存储网关资源分配方法


[0001]本专利技术属于网关资源分配
，具体涉及一种基于流式存储的存储网关资源分配方法。

技术介绍

[0002]伴随着科学技术的迅猛发展，海量存储时代已经到来。在智慧城市等项目的推动下，存储技术对于安防领域的作用越来越明显，对存储的可靠性，资源利用率等有了越来越严格的要求。当前数据存储有一定的单一性，且对于设备的接入没有经过太多的处理，比如：仅随着存储设备的增加进行简单的资源分配的线性递增。
[0003]现有的存储设备在存储数据时，仅仅将数据流顺序的保存到存储设备中，容易导致整个集群中的资源分配不合理，资源的使用量不高，造成资源的浪费，以及对整个系统的性能产生较大的影响。同时，存储策略过于单一，缺少灵活性，导致实际应用时局限性较大，无法满足系统和应用场景要求。

技术实现思路

[0004]针对现有技术存在的缺陷，本专利技术提供一种基于流式存储的存储网关资源分配方法，可有效解决上述问题。
[0005]本专利技术采用的技术方案如下：
[0006]本专利技术提供一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流式存储的存储网关资源分配方法，其特征在于，包括以下步骤：步骤1，存储网关与服务器集群连接；对所述服务器集群进行逻辑划分，将所述服务器集群划分为多个存储组；每个所述存储组包括N个节点，分别为：节点Node1,节点Node2,...,节点Node
N
；对于任意的节点Node
i
，i＝1,2,...,N，包括节点处理模块C
i
以及D块磁盘，D块磁盘分别为：磁盘Disk
i1
,磁盘Disk
i2
,...,磁盘Disk
iD
；其中，N个节点中，包括N1个数据存储节点，N2个冗余存储节点；N＝N1+N2；步骤2，创建磁盘阵列单元DAU，方法为：节点Node1的磁盘Disk
11
,节点Node2的磁盘Disk
21
,...,节点Node
N
的磁盘Disk
N1
组成磁盘阵列单元DAU1；节点Node1的磁盘Disk
12
,节点Node2的磁盘Disk
22
,...,节点Node
N
的磁盘Disk
N2
组成磁盘阵列单元DAU2；依此类推节点Node1的磁盘Disk
1D
,节点Node2的磁盘Disk
2D
,...,节点Node
N
的磁盘Disk
ND
组成磁盘阵列单元DAU
D
；步骤3，存储池的划分，方法为：对于步骤2形成的D个DAU，选择若干个DAU形成的集合称为存储池；由此将D个DAU分配形成m个存储池，分别为存储池Pool1,存储池Pool2,...,存储池Pool
m
；步骤4，存储网关作为设备接入的唯一入口，同时管理整个服务器集群相关资源；当存储网关接收到设备E的接入请求时，存储网关对接入请求进行解析，获得以下参数：设备E的设备ID，存储周期T、设备视频数据带宽B以及接入模式；其中，所述接入模式包括容量优先模式和省电优先模式；存储网关根据存储周期T和设备视频数据带宽B，计算得到视频设备所需总存储容量need_capacity；如果为容量优先模式，则执行步骤5；如果为省电优先模式，则执行步骤6；步骤5，存储网关采用容量优先模式，按以下方式，从服务器集群中选择所需的磁盘阵列单元DAU：步骤5.1，存储网关比较各个存储组的当前剩余容量，选择剩余容量最大的存储组，表示为存储组store
max
；步骤5.2，存储网关判断存储组store
max
的当前剩余容量是否大于等于视频设备所需总存储容量need_capacity，如果判断结果为否，则向设备E发送接入失败的通知消息；如果判断结果为是，则执行步骤5.3；步骤5.3，存储网关比较存储组store
max
的各个存储池的当前剩余容量，选择剩余容量最大的存储池，表示为存储池Pool
max
；步骤5.4，存储网关判断存储池Pool
max
的当前剩余容量是否大于等于视频设备所需总存储容量need_capacity，如果判断结果为否，则需要在存储组store
max
内跨存储池存储设备E的数据，向设备E发送是否允许跨存储池存储数据的询问消息，如果存储网关接收到设备E的禁止跨存储池存储数据的消息，则存储网关向设备E发送接入失败的通知消息；否则，存储网关按存储池占用数量最少的原则，确定需要采用的存储池；
如果判断结果为是，则执行步骤5.5；步骤5.5，存储网关比较存储池Pool
max
的各个磁盘阵列单元DAU的当前可使用剩余容量选择当前可使用剩余容量最大的磁盘阵列单元DAU，表示为磁盘阵列单元DAU
max
；其中，磁盘阵列单元DAU的当前可使用剩余容量采用以下方式计算：当前可使用剩余容量其中：当前剩余容量其中：当前剩余容量步骤5.6，存储网关判断磁盘阵列单元DAU
max
的当前可使用剩余容量是否大于等于视频设备所需总存储容量need_capacity，如果判断结果为否，则需要在存储池Pool
max
内跨磁盘阵列单元DAU存储设备E的数据，向设备E发送是否允许跨磁盘阵列单元DAU存储数据的询问消息，如果存储网关接收到设备E的禁止跨磁盘阵列单元DAU存储数据的消息，则存储网关向设备E发送接入失败的通知消息；否则，存储网关按磁盘阵列单元DAU占用数量最少的原则，确定需要采用的磁盘阵列单元DAU；如果判断结果为是，则磁盘阵列单元DAU
max
即为最终选定的磁盘阵列单元DAU，然后执行步骤7；步骤6，存储网关采用省电优先模式，按以下方式，从服务器集群中选择所需的磁盘阵列单元DAU：步骤6.1，存储网关建立存储组集合；初始时，存储组集合包括服务器集群的所有存储组；步骤6.2，存储网关读取存储组集合，比较存储...

【专利技术属性】
技术研发人员：高亚召，瞿洪桂，范园利，齐翔，
申请(专利权)人：北京中电兴发科技有限公司，
类型：发明
国别省市：