The invention provides a device and a system for load balancing method, dynamic distributed storage system, real-time monitoring server and receives its line load information, each node server real-time acquisition and transmission line load information, when receiving a data sending node server sends a data transmission request, according to the data and send the request all line load information for the sending node server assigns a first data transmission path, and the first data transmission path returned to the sending node server controls the sending server nodes according to the first data transmission path for data transmission, when the need to transmit data, according to all line load information to determine the second data transmission path transmission data monitoring server, data according to the second data transmission path transmission. It can dynamically adjust the data flow direction, so as to ensure that there will be no network bottleneck in the distributed storage system.
【技术实现步骤摘要】
本专利技术涉及数据传输
，特别是涉及一种用于分布式存储系统的动态负载均衡方法、装置和系统。
技术介绍
分布式存储系统是应对大数据量高响应、吞吐量的要求而发展的，其将负载(工作任务)进行平衡，分摊到多个操作单元上进行执行，实现多个服务器共同完成工作任务的目标，以解决当前网络遇到的数据量大、并发数多和可靠性要求高等诸多问题，提高了系统的可用性、可靠性和可扩展性，而且，可以通过冗余，增加文件备份的方式提高数据的高可用性。然而在分布式存储系统中，各服务器间传输数据时存在多条路径，即便是各服务器硬件资源完全同构，在集群运行过程中各服务器物理线路的负担情况也均不同，各服务器物理线路可传输资源的差别较大，分布式存储系统将可能因多路径负载不均衡的问题而出现网络瓶颈，限制系统的吞吐量。
技术实现思路
有鉴于此，本专利技术实施例提供一种用于分布式存储系统的动态负载均衡方法、装置和系统，以解决现有技术中分布式存储系统中，各服务器间传输数据时存在多条路径，即便是各服务器硬件资源完全同构，在集群运行过程中各服务器物理线路的负担情况也均不同，各服务器物理线路可传输资源的差别较大，分布式存储系统可能因多路径负载不均衡的问题而出现网络瓶颈，限制系统的吞吐量的问题。为实现上述目的，本专利技术实施例提供如下技术方案：一种用于分布式存储系统的动态负载均衡方法，用于分布式存储系统，所述分布式存储系统包括一监控服务器和至...
【技术保护点】
一种用于分布式存储系统的动态负载均衡方法，其特征在于，用于分布式存储系统，所述分布式存储系统包括一监控服务器和至少一节点服务器，所述动态负载均衡方法包括：监控服务器实时采集自身线路负载信息，并接收各节点服务器实时采集并发送来的线路负载信息；当接收需传输数据的发送节点服务器发送的数据发送请求时，根据所述数据发送请求和所有所述线路负载信息为所述发送节点服务器分配第一数据传输路径，并将所述第一数据传输路径返回所述发送节点服务器，控制所述发送节点服务器根据所述第一数据传输路径进行数据传输；当需传输数据时，根据所有所述线路负载信息确定所述监控服务器传输数据的第二数据传输路径，根据所述第二数据传输路径进行数据传输。
【技术特征摘要】
1.一种用于分布式存储系统的动态负载均衡方法，其特征在于，用于分
布式存储系统，所述分布式存储系统包括一监控服务器和至少一节点服务器，
所述动态负载均衡方法包括：
监控服务器实时采集自身线路负载信息，并接收各节点服务器实时采集
并发送来的线路负载信息；
当接收需传输数据的发送节点服务器发送的数据发送请求时，根据所述
数据发送请求和所有所述线路负载信息为所述发送节点服务器分配第一数据
传输路径，并将所述第一数据传输路径返回所述发送节点服务器，控制所述
发送节点服务器根据所述第一数据传输路径进行数据传输；
当需传输数据时，根据所有所述线路负载信息确定所述监控服务器传输
数据的第二数据传输路径，根据所述第二数据传输路径进行数据传输。
2.根据权利要求1所述的动态负载均衡方法，其特征在于，所述根据所
述数据发送请求和所有所述线路负载信息为所述发送节点服务器分配第一数
据传输路径包括：
根据所述数据发送请求确定需传输数据的发送节点服务器和待接收数据
的第一目标服务器，并确定所述发送节点服务器和所述第一目标服务器间的
所有第一可能数据传输路径；
确定每条所述第一可能数据传输路径所经过的所有第一中间服务器，根
据所有所述第一中间服务器的线路负载信息确定每条所述第一可能数据传输
线路的综合负载信息；
根据每条所述第一可能数据传输线路的综合负载信息，根据预设规则从
所有所述第一可能数据传输路径中选出第一最优数据传输路径，将所述第一
最优数据传输路径作为第一数据传输路径。
3.根据权利要求1所述的动态负载均衡方法，其特征在于，所述根据所
有所述线路负载信息确定所述监控服务器传输数据的第二数据传输路径包
括：
确定待接收数据的第二目标服务器，并确定所述监控服务器和所述第二
目标服务器间的所有第二可能数据传输路径；
确定每条所述第二可能数据传输路径所经过的所有第二中间服务器，根
据所有所述第二中间服务器的线路负载信息确定每条所述第二可能数据传输
线路的综合负载信息；
根据每条所述第二可能数据传输线路的综合负载信息，根据预设规则从
所有所述第二可能数据传输路径中选出第二最优数据传输路径，将所述第二
最优数据传输路径作为第二数据传输路径。
4.一种用于分布式存储系统的监控服务器，其特征在于，包括：采集接
收模块、第一路径模块和第二路径模块；其中，
所述采集接收模块，用于实时采集自身线路负载信息，并接收各节点服
务器实时采集并发送来的线路负载信息；
所述第一路径模块，用于当接收需传输数据的发送节点服务器发送的数
据发送请求时，根据所述数据发送请求和所有所述线路负载信息为所述发送
节点服务器分配第一数据传输路径，并将所述第一数据传输路径返回所述发
送节点服务器，控制所述发送节点服务器根据所述第一数据传输路径进行数
据传输；
所述第二路径模块，用于当需传输数据时，根据所有所述线路负载信息
确定所述监控服务器传输数据的第二数据传输路径，根据所述第二数据传输
路径进行数据传输。
5.根据权利要求4所述的监控服务器，其特征在于，所述第一路径模块
包括：第一确定单元、第一处理单元和第一选取单元；
所述第一确定单元，用于根据所述数据发送请求确定需传输数据的发送
节点服务器和待接收数据的第一目标服务器，并确定所述发送节点服务器和
所述第一目标服务器间的所有第一可能数据传输路径；
所述第一处理单元，用于确定每条所述第一可能数据传输路径所经过的
所有第一中间服务器，根据所有所述第一中间服务器的线路负载信息确定每
条所述第一可能数据传输线路的综合负载信息；
所述第一选取单元，用于根据每条所述第一可能数据传输线路的综合负
载信息，根据预设规则从所有所述第一可能数据传输路径中选出第一最优数
据传输路径，将所述第一最优数据传输路径作为第一数据传输路...
【专利技术属性】
技术研发人员：侯山鹏，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。