一种面向全流量采集的存储负载均衡方法及系统技术方案

本发明专利技术涉及一种面向全流量采集的存储负载均衡方法及系统，其方法包括：S1：存储负载监控器周期性地获取各个存储节点中存储设备的存储负载状态信息，将其发往负载均衡控制器；S2：负载均衡控制器根据存储负载信息，生成负载均衡策略及其相应的日志；S3：流量分发器执行负载均衡策略，将数据包分发至中间队列；S4：数据包合并器从中间队列获取多个数据包，并按预设阈值将其封装为封装数据包加入待存储缓存队列，发送到对应的存储节点；S5：流量重组器根据下游任务的请求，从存储节点获取封装数据包，对其中的数据包进行重组，将重组后的数据包返回给下游任务。本发明专利技术提供的方法解决分布式存储负载不均衡，数据进入待存储缓存队列开销大的问题。销大的问题。销大的问题。

【技术实现步骤摘要】
一种面向全流量采集的存储负载均衡方法及系统


[0001]本专利技术涉及网络流量存储领域，具体涉及一种面向全流量采集的存储负载均衡方法及系统。

技术介绍

[0002]全流量采集和存储，能够实现将链路上所有流量持久化到硬盘，是网络流量的离线处理和分析的基础。但随着网络通信量的迅速增长，网络主干的链路速率普遍超过了10Gbps，某些核心链路甚至能够达到100Gbps，全流量的采集和存储变得非常困难，其主要的瓶颈在于存储压力较大，硬盘难以完成存储任务，从而导致出现丢包，影响到离线分析和处理的准确性。
[0003]当前的流量存储方法主要分为充分发挥硬盘的读写性能、通过使用多块硬盘提升性能两种。充分发挥硬盘性能的方法利用了硬盘读写的原理，通过顺序读写减少寻道和旋转延迟的开销，提升读写速度；在使用多块硬盘的方法中又分为使用RAID技术和并行使用多块硬盘两类。RAID技术配置复杂，成本高昂，往往需要额外的硬件支持，在实际生产中不被使用；并行使用多块硬盘配置简单，但存在存储负载的均衡分配问题。
[0004]现阶段的主流存储框架大多使用分布式架构，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向全流量采集的存储负载均衡方法，其特征在于，包括：步骤S1：存储负载监控器周期性地获取各个存储节点中存储设备的存储负载状态信息，更新存储节点的存储负载状态信息，将其发往负载均衡控制器；步骤S2：所述负载均衡控制器根据所述存储负载状态信息，维护负载均衡控制器的控制表，生成负载均衡策略及其相应的日志；步骤S3：流量分发器根据所述负载均衡控制器的控制表，执行所述负载均衡策略，将数据包分发至中间队列；步骤S4：数据包合并器从所述中间队列上获取多个数据包，并按预设阈值将其封装为封装数据包，将所述封装数据包加入待存储缓存队列，发送到对应的所述存储节点；步骤S5：流量重组器根据下游任务的请求，从所述存储节点获取所述封装数据包，通过时间戳和数据包中的标记，对所述封装数据包中的数据包进行重组，将重组后的数据包返回给所述下游任务。2.根据权利要求1所述的面向全流量采集的存储负载均衡方法，其特征在于，所述步骤S1：存储负载监控器周期性地获取各个存储节点中存储设备的存储负载状态信息，更新存储节点的存储负载状态信息，将其发往负载均衡控制器，具体包括：步骤S11：令{Name
i
，Util
i
}为存储设备的存储负载状态信息，其中，Name
i
为所述存储节点的第i个存储设备的名称，Util
i
为该存储设备的存储负载，即利用率；则所述存储节点的存储负载状态信息表示为矩阵步骤S12：存储负载监控器周期性地获取各个所述存储设备的存储负载状态信息，并更新所述存储节点的存储负载状态信息，将其发往负载均衡控制器。3.根据权利要求1所述的面向全流量采集的存储负载均衡方法，其特征在于，所述步骤S2：所述负载均衡控制器根据所述存储负载状态信息，维护负载均衡控制器的控制表，生成负载均衡策略及其相应的日志，具体包括：步骤S21：所述负载均衡控制器获取各个所述存储节点的存储负载状态信息，构建所述集群的存储拓扑；步骤S22：所述负载均衡控制器维护负载均衡控制表{ID，Targets，P}，其中，ID表示所述存储设备的编号，Targets表示该存储设备的数据被重定向到的目标存储设备编号，P用于控制可被重定向到所述目标存储设备的数据的比例；步骤S23：所述负载均衡控制器根据各个所述存储设备的存储负载状态信息，生成负载均衡策略：如果在连续三次更新所述负载均衡控制表时，所述存储设备的利用率均超过了阈值H，则向所述负载均衡控制表的对应Targets中添加当前负载最低的存储设备ID；如果在连续三次更新所述负载均衡控制表时，所述存储设备的利用率均低于阈值L，且该设备对应的Targets表项不为空，则在所述负载均衡控制表的对应Targets删除最后添加的存储设备ID；步骤S24：所述负载均衡控制器在生成所述负载均衡策略时，生成对应的日志{Timestamp，ID，Targets}，其中，Timestamp为时间戳，ID为重定向的源存储设备编号，Targets为重定向的目标存储设备编号。
4.根据权利要求1所述的面向全流量采集的存储负载均衡方法，其特征在于，所述步骤S3：流量分发器根据所述负载均衡控制器的控制表，执行所述负载均衡策略，将数据包分发至中间队列，具体包括：步骤S31：构建数据包五元组{src
ip
，dst
ip
，src
port
，dst
port
，protocol}；其中，src
ip
为源存储设备IP地址，dst
ip
为目的存储设备IP地址，src
port
为源端口号，dst
port
为目的端口号，protocol为传输层协议；步骤S32：使用toplitz哈希函数计算所述五元组哈希值作为存储设备编号ID0＝toplitz(src
ip
，dst
ip
，src
port
，dst
port
，protocol)％N；其中，N为总的存储设备的数量；步骤S33：根据ID0查询所述负载均衡控制表，找到对应的存储设备，如果该设备对应的Targets列表长度为0，...

【专利技术属性】
技术研发人员：李巍，兰岸，孙禹康，李云春，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：