【技术实现步骤摘要】
本专利技术属于存储系统，具体涉及大容量分布式存储系统。
技术介绍
1、存储系统是指用于存储和管理数据的硬件和软件组合。它可以是一个单独的设备，也可以是由多个设备组成的集群或网络；负载均衡技术是一种用于分配和管理网络流量的技术，分为硬件负载均衡和软件负载均衡两种形式。
2、目前在存储数据时，无法对存储系统的节点性能数据、可靠性能数据和扩展性能数据进行实时监控采集，再进行深入分析生成风险信号和可靠信号来判别系统的实时状态并对当前负载数据进行分析和预测，根据预测结果,提前调整负载分发策略。
3、针对上述的技术缺陷，现提出一种解决方案。
技术实现思路
1、本专利技术的目的在于提供大容量分布式存储系统，用于解决传统存储系统面临的无法对存储系统的节点性能数据、可靠性能数据和扩展性能数据进行实时监控采集，再进行深入分析生成风险信号和可靠信号来判别系统的实时状态并对当前负载数据进行分析和预测，根据预测结果,提前调整负载分发策略的技术问题。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、大容量分布式存储系统，包括客户端模组、动态负载均衡模组、节点集群和监控模组；其中客户端模组与动态负载均衡模组之间呈双向通讯连接；动态负载均衡模组与节点集群之间呈单向通讯连接；监控模组与动态负载均衡模组之间呈双向通讯连接；监控模组与节点集群之间呈双向通讯连接；节点集群由多个可水平扩展的节点组成；动态负载均衡模组包括评估模块、调节模块和分配模块。
4
5、动态负载均衡模组：用于接收客户端模组发送的请求，并向监控模组获取当前系统的负载情况，动态地将请求合理地分配到节点集群中多个节点上。
6、节点集群：用于将数据分散存储在节点上，使用分布式存储技术，增加存储容量和性能，节点集群由多个节点组成，可水平扩展，以满足系统实际的存储需求。
7、监控模组：用于对系统的节点性能数据、可靠性能数据和扩展性能数据进行实时监控采集，并进行深入分析生成风险信号和可靠信号来判别系统的实时状态。
8、优选的，动态负载均衡模组中评估模块、调节模块和分配模块的功能如下：
9、评估模块：用于将接收到的风险信号和安全信号进行分析与判定，产生多种信号并将其发送至调节模块和分配模块。
10、调节模块：用于接收评估模块发送的异常警报信号和异常提示信号，并根据系统的实时状态，制定负载调度策略并发送至分配模块。
11、分配模块：用于接收评估模块发送的安全信号和调节模块发送的负载调度策略，当接收到安全信号时，对当前负载数据进行分析和预测，提前调整负载分发策略，根据预测结果合理地分配请求。
12、优选的，监控模组的的工作流程如下：
13、s1、采集大容量分布式存储系统的节点性能数据、可靠性能数据和扩展性能数据；
14、s2、向节点集群发送请求，获取节点集群中的性能指标，采集节点性能数据的cpu利用率、内存使用率、磁盘i/o利用率和请求响应时间；采集可靠性能数据的平均无故障时间和平均修复时间；采集扩展性能数据的性能损失比例和吞吐量增长比例；
15、s3、当cpu利用率持续大于70％～80％、内存使用率大于80％～90％、磁盘i/o利用率大于70％和请求响应时间持续大于设置的500毫秒阈值中的任一种情况发生时，判定节点性能数据存在ⅰ级节点风险，产生ⅰ级节点风险信号；当cpu利用率小于等于70％、内存使用率小于等于80％、磁盘i/o利用率小于等于70％和请求响应时间小于等于设置的500毫秒阈值的情况同时发生时，判定节点性能数据不存在风险，产生节点维护信号；当平均无故障时间小于设置的阈值δ1或者平均修复时间大于设置的阈值δ2，即平均无故障时间与平均修复时间的比值小于设置的阈值时，判定可靠性能数据存在ⅰ级可靠风险，产生ⅰ级可靠风险信号；当平均无故障时间大于等于设置的阈值并且平均修复时间小于等于设置的阈值时，判定可靠性能数据不存在风险，产生可靠维护信号；当性能损失比例较高并且吞吐量增长比例较低，即性能损失比例和吞吐量增长比例的比值大于时，判定扩展性能数据存在ⅰ级扩展风险，产生ⅰ级扩展风险信号；当性能损失比例较高并且吞吐量增长比例较高，判定扩展性能数据存在ⅱ级扩展风险，产生ⅱ级扩展风险信号；当性能损失比例较低并且吞吐量增长比例较高，判定扩展性能数据不存在风险，产生扩展维护信号；以上产生的各类信号均发送至动态负载均衡模组。
16、优选的，评估模块的工作流程如下：在接收到ⅰ级节点风险信号、ⅰ级可靠风险信号和ⅰ级扩展风险信号中的任一种信号时，判定系统当前节点负载过高，产生异常警报信号，并将其发送至调节模块；在接收到ⅱ级扩展风险信号时，判定节点负载较高，产生异常提示信号，并将其发送至调节模块；在同时接收到节点维护信号、可靠维护信号和扩展维护信号时，判定节点负载正常，产生安全信号，并将其发送至分配模块。
17、优选的，调节模块制定的调度策略如下：当接收到由ⅰ级节点风险信号引起的异常警报信号时，将存在风险的编号标记为i的节点负载进行调节，迁移至其他正常节点上，当节点负载较高时，降低其权重，减少请求分发到该节点的比例；当接收到由ⅰ级可靠风险信号引起的异常警报信号时，将系统数据定期备份；当接收到由ⅰ级扩展风险信号引起的异常警报信号和ⅱ级扩展风险信号引起的异常提示信号时，将节点集群水平扩展以满足实际的存储需求。
18、优选的，分配模块的调整负载分发策略工作流程如下：
19、s21、构建负载冗余值二叉搜索树：收集负载冗余值，负载冗余值获得过程具体地，将节点当前的负载值带入公式中，其中f为节点当前负载值，q为节点的冗余性要求值，α为修正因子，δ1和δ2为预设比例系数；将第1个负载冗余值j作为根节点，从第2个负载冗余值开始依次插入到二叉搜索树中，每插入一个节点时，比较节点值与当前节点的大小关系，若小于当前节点，则继续在当前节点的左子树中插入；若大于当前节点，则继续在当前节点的右子树中插入，重复该过程直到所有节点都被插入到二叉搜索树中；
20、s22、中序遍历负载冗余值二叉搜索树：对生成的二叉搜索树进行中序遍历，遍历结果为排序后的负载冗余值升序列表；
21、s23、请求分配：根据排序后的负载冗余值排序表，给节点集群的每个节点都赋予一个权重值ki，ki是一个大于0的数，生成节点权重值升序列表，增加低权重节点的权重，提高请求分发到该节点的比例，提高其负载；当动态负载均衡模组有新的请求到达时，分配模块检查节点集群中每个节点的当前连接数和权重值，选择连接数最少且权重值最小的节点来处理该请求。
22、综上所述，由于采用了上述技术方案，本专利技术的有益效果是：
23、1、本专利技术基于存储系统的性能，针对性地对系统的节点性能数据、可靠性能数据和扩展性能数据这三类数据进行实时监控采集，避免浪费时间和资源在不必要的数据收集上，可以及时发现系统中本文档来自技高网...
【技术保护点】
1.大容量分布式存储系统，其特征在于：包括客户端模组、动态负载均衡模组、节点集群和监控模组；其中客户端模组与动态负载均衡模组之间呈双向通讯连接；动态负载均衡模组与节点集群之间呈单向通讯连接；监控模组与动态负载均衡模组之间呈双向通讯连接；监控模组与节点集群之间呈双向通讯连接；节点集群由多个可水平扩展的节点组成；动态负载均衡模组包括评估模块、调节模块和分配模块；
2.根据权利要求1所述的大容量分布式存储系统，其特征在于，
3.根据权利要求1所述的大容量分布式存储系统，其特征在于，所述监控模组的工作流程如下：
4.根据权利要求2所述的大容量分布式存储系统，其特征在于，所述评估模块的工作流程如下：在接收到Ⅰ级节点风险信号、Ⅰ级可靠风险信号和Ⅰ级扩展风险信号中的任一种信号时，判定系统当前节点负载过高，产生异常警报信号，并将其发送至调节模块；在接收到Ⅱ级扩展风险信号时，判定节点负载较高，产生异常提示信号，并将其发送至调节模块；在同时接收到节点维护信号、可靠维护信号和扩展维护信号时，判定节点负载正常，产生安全信号，并将其发送至分配模块。
5.根据
6.根据权利要求2所述的大容量分布式存储系统，其特征在于，所述分配模块的调整负载分发策略工作流程如下：
...【技术特征摘要】
1.大容量分布式存储系统，其特征在于：包括客户端模组、动态负载均衡模组、节点集群和监控模组；其中客户端模组与动态负载均衡模组之间呈双向通讯连接；动态负载均衡模组与节点集群之间呈单向通讯连接；监控模组与动态负载均衡模组之间呈双向通讯连接；监控模组与节点集群之间呈双向通讯连接；节点集群由多个可水平扩展的节点组成；动态负载均衡模组包括评估模块、调节模块和分配模块；
2.根据权利要求1所述的大容量分布式存储系统，其特征在于，
3.根据权利要求1所述的大容量分布式存储系统，其特征在于，所述监控模组的工作流程如下：
4.根据权利要求2所述的大容量分布式存储系统，其特征在于，所述评估模块的工作流程如下：在接收到ⅰ级节点风险信号、ⅰ级可靠风险信号和ⅰ级扩展风险信号中的任一种信号时，判定系统当前节点负载过高，产生异常警报信号，并将其发送至调节模块；在...
【专利技术属性】
技术研发人员：杜向华，李叶帆，张杨，曲洋，
申请(专利权)人：杭州杰普仕科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。