一种基于云存储的集群存储及均衡传输系统技术方案

技术编号:19487127 阅读:36 留言:0更新日期:2018-11-17 11:35
本发明专利技术提供一种基于云存储的集群存储及均衡传输系统,集群服务器获取每个储存服务器的储存量,虚拟储存器的总储存量,本地存储区域储存量和集群储存区域储存量,并将储存服务器排列成一序列表;集群服务器将每个储存服务器的集群储存区域的储存量配置为集群储存量。集群服务器可以根据集群当前储存量的需要扩充储存空间,满足云存储的需要。采用搭建特定的虚拟化环境,构建虚拟机,通过虚拟机来模拟共享存储的真是工作过程,通过对物理主机、虚拟机和网络之间的通信、数据输入输出、数据共享、负载均衡等来模拟出真实的存储服务器工作的场景,让用户可以真实体验到普通服务器通过软件升级带来的高性能存储服务,提高工作效率。

【技术实现步骤摘要】
一种基于云存储的集群存储及均衡传输系统
本专利技术涉及云存储领域,尤其涉及一种基于云存储的集群存储及均衡传输系统。
技术介绍
云存储以其灵活、简便、高可用性等特点,正在被越来越多的企业采用。伴随着云存储的普及,云存储管理成为目前存储领域不可或缺的技术。云存储管理是一类应用程序,它们监控和管理物理及逻辑层上的存储资源。目前实现云存储的方式通常是在服务器集群中配置储存服务器,并且随着云存储量的不断攀升,需要对储存服务器的储量进行扩充,来满足储存要求。这给容易导致需要配置一定数量的储存服务器来扩充储存量,这样为用户带来较大的配置成本。目前现有技术中有的储存服务器采用虚拟储存来扩充储存量,通过虚拟储存量和物理储存量共同实现对云存储的扩充,但是这种方式虚拟储存量和物理储存量的网络配合需要基于当前云存储的储存量来配置虚拟储存的储存量,如何配置合适的虚拟储存量来配合物理储存量实现储存量的扩充是当前丞待解决的问题。而且在服务器集群中,配置了多个储存服务器及相应的虚拟储存后,集群服务器在与各个储存服务器进行数据通信时,如何实现均衡传输数据信息,保证数据传输的速度和均衡,防止集群数据堵塞也是在配置合适的虚拟储存量后需要解决的技术问题。
技术实现思路
为了克服上述现有技术中的不足,本专利技术提供一种基于云存储的集群存储及均衡传输系统,包括:集群服务器以及多个储存服务器;储存服务器配置有虚拟储存管理模块;虚拟储存管理模块用于根据集群服务器发送的虚拟储存量配置指令,配置预设储存量的虚拟储存器;还用于划分虚拟储存器的储存区域,将虚拟储存器的储存区域划分成本地存储区域和集群储存区域;配置本地存储区域的储存量;配置集群储存区域的储存量;集群服务器分别与每个储存服务器分别与通信连接;集群服务器与储存服务器之间配置有至少两条通信通道;集群服务器用于配置每个储存服务器的地址信息,还获取每个储存服务器的储存量,储存服务器的虚拟储存器的总储存量,本地存储区域储存量和集群储存区域储存量,并将储存服务器排列成一序列表;集群服务器将每个储存服务器的集群储存区域的储存量配置为集群储存量。优选地,集群服务器还用于向储存服务器发出数据储存任务,并判断发送的数据储存任务是否为首次;当为首次时,获取集群服务器与储存服务器之间每条通信通道的带宽以及获取本次传输数据信息的数据总量;通过(该通信通道带宽÷所有通信通道的带宽总和)×数据总量,得出每条通信通道的数据传输量,并基于每条通信通道的数据传输量传输数据信息。优选地,集群服务器与储存服务器之间配置有两条通信通道;集群服务器还用于当为非首次时,当两条通信通道传输带宽不等时,按照下述方式配置每条通道的传输数据量:第一通信通道优先完成任务,耗时TA_1第一通信通道A的任务速率和第二通信通道B的任务速率分别通过集群服务器监测得到,SA_1和SB_1;第一通信通道A相比第二通信通道B先完成任务,TA_1时刻时的任务公式:KA_1=TA_1×SA_1;第二通信通道B在TA_1时刻并未完成数据传输,且差了HB_1数据量,第二通信通道B的任务公式:KB_1=TA_1×SB_1+HB_1;第一通信通道A根据上次任务得出的下次任务占比为XA-2={KA_1+[SA_1÷(SA_1+SB_1)]×HB_1},第二通信通道B据上次任务经验得出的的下次任务占比为XB_2={(KB_1-HB_1)+[SB_1÷(SA_1+SB_1)]×HB_1};第一通信通道A下次任务分配公式:KA_2=[KA_1÷(KA_1+KB_1)+XA_2÷(XA_2+XB_2)]÷2以此类推第一路径A的第n次任务分配公式:KA_n=[KA_1÷(KA_1+KB_1)+KA_2÷(KA_2+KB_2)+…+XA_n÷(XA_n+XB_n)]÷n。优选地,集群服务器还用于当为非首次时,当两条通信通道传输带宽相等时,获取集群服务器与储存服务器之间每条通信通道的带宽以及获取本次传输数据信息的数据总量;通过(该通信通道带宽÷所有通信通道的带宽总和)×数据总量,得出每条通信通道的数据传输量,并基于每条通信通道的数据传输量传输数据信息。优选地,集群服务器还用于实时监测各个储存服务器的已用储存量,当某一储存服务器的已用储存量超出储存量阈值时,集群服务器向所述储存服务器的虚拟储存管理发出虚拟储存量配置指令,使所述虚拟储存管理模块配置集群服务器发出预设数量的虚拟储存器,配置虚拟储存器的储存量,对虚拟储存器进行地址编码,还实时获取虚拟储存器的当前储存量以及储存服务器空余储存量。优选地,集群服务器还用于实时监测集群储存量,当已用集群储存量超过阈值时,获取每个储存服务器的本地存储区域可用储存量;当某一储存服务器的本地存储区域可用储存量高于预设本地储存阈值时,集群服务器向所述储存服务器的虚拟储存管理模块发送集群存储区域扩充控制指令,使所述虚拟储存管理模块对将虚拟储存器的本地存储区域可用储存量转为集群储存区域。优选地,集群服务器还用于实时监测集群储存量,当已用集群储存量超过阈值时,获取每个储存服务器的可用储存量,当某一储存服务器可用储存量高于预设储存阈值时,集群服务器向所述储存服务器的虚拟储存管理模块发送集群存储区域扩充控制指令,使所述虚拟储存管理模块将本地存储区域储存的数据信息储存至储存服务器内,再将虚拟储存器的本地存储区域可用储存量转为集群储存区域。优选地,集群服务器用于实时监测集群中是否增加新储存服务器,如果有新增储存服务器,与储存服务器通信连接;集群服务器配置新增储存服务器的集群储存服务器地址信息以及集群虚拟储存器地址信息,还获取新增储存服务器的储存量,虚拟储存器的总储存量,本地存储区域储存量和集群储存区域储存量,并将新增储存服务器配置到序列表中;集群服务器将新增储存服务器的集群储存区域的储存量配置为集群储存量。优选地,集群服务器还用于实时监测集群储存量,当已用集群储存量超过阈值时,集群服务器发送储存量超阈值提示,并实时监测集群中是否增加新储存服务器,如果有新增储存服务器,与新增储存服务器通信连接;集群服务器将新增储存服务器的集群储存区域的储存量配置为集群储存量。从以上技术方案可以看出,本专利技术具有以下优点:在本专利技术的系统中如果系统集群的储存量无法满足云存储量则可以根据虚拟储存量配置指令,配置虚拟储存器预设数量的虚拟储存器,配置每个虚拟储存器的储存量,对虚拟储存器进行地址编码,还实时获取每个虚拟储存器的当前储存量以及空余储存量。这样储存服务器配置出一定数量的虚拟储存器可以满足储存需要。在集群中,集群服务器获取每个储存服务器的储存量,虚拟储存器的总储存量,本地存储区域储存量和集群储存区域储存量,并将储存服务器排列成一序列表;集群服务器将每个储存服务器的集群储存区域的储存量配置为集群储存量。集群服务器可以根据集群当前储存量的需要扩充储存空间,满足云存储的需要。采用搭建特定的虚拟化环境,构建虚拟机,通过虚拟机来模拟共享存储的真是工作过程,通过对物理主机、虚拟机和网络之间的通信、数据输入输出、数据共享、负载均衡等来模拟出真实的存储服务器工作的场景,让用户可以真实体验到普通服务器通过软件升级带来的高性能存储服务,提高工作效率,提升使用快感。本专利技术中,配置了多个储存服务器及相应的虚拟储存后,集本文档来自技高网...

【技术保护点】
1.一种基于云存储的集群存储及均衡传输系统,其特征在于,包括:集群服务器以及多个储存服务器;储存服务器配置有虚拟储存管理模块;虚拟储存管理模块用于根据集群服务器发送的虚拟储存量配置指令,配置预设储存量的虚拟储存器;还用于划分虚拟储存器的储存区域,将虚拟储存器的储存区域划分成本地存储区域和集群储存区域;配置本地存储区域的储存量;配置集群储存区域的储存量;集群服务器分别与每个储存服务器分别与通信连接;集群服务器与储存服务器之间配置有至少两条通信通道;集群服务器用于配置每个储存服务器的地址信息,还获取每个储存服务器的储存量,储存服务器的虚拟储存器的总储存量,本地存储区域储存量和集群储存区域储存量,并将储存服务器排列成一序列表;集群服务器将每个储存服务器的集群储存区域的储存量配置为集群储存量。

【技术特征摘要】
1.一种基于云存储的集群存储及均衡传输系统,其特征在于,包括:集群服务器以及多个储存服务器;储存服务器配置有虚拟储存管理模块;虚拟储存管理模块用于根据集群服务器发送的虚拟储存量配置指令,配置预设储存量的虚拟储存器;还用于划分虚拟储存器的储存区域,将虚拟储存器的储存区域划分成本地存储区域和集群储存区域;配置本地存储区域的储存量;配置集群储存区域的储存量;集群服务器分别与每个储存服务器分别与通信连接;集群服务器与储存服务器之间配置有至少两条通信通道;集群服务器用于配置每个储存服务器的地址信息,还获取每个储存服务器的储存量,储存服务器的虚拟储存器的总储存量,本地存储区域储存量和集群储存区域储存量,并将储存服务器排列成一序列表;集群服务器将每个储存服务器的集群储存区域的储存量配置为集群储存量。2.根据权利要求1所述的基于云存储的集群存储及均衡传输系统,其特征在于,集群服务器还用于向储存服务器发出数据储存任务,并判断发送的数据储存任务是否为首次;当为首次时,获取集群服务器与储存服务器之间每条通信通道的带宽以及获取本次传输数据信息的数据总量;通过(该通信通道带宽÷所有通信通道的带宽总和)×数据总量,得出每条通信通道的数据传输量,并基于每条通信通道的数据传输量传输数据信息。3.根据权利要求2所述的基于云存储的集群存储及均衡传输系统,其特征在于,集群服务器与储存服务器之间配置有两条通信通道;集群服务器还用于当为非首次时,当两条通信通道传输带宽不等时,按照下述方式配置每条通道的传输数据量:第一通信通道优先完成任务,耗时TA_1第一通信通道A的任务速率和第二通信通道B的任务速率分别通过集群服务器监测得到,SA_1和SB_1;第一通信通道A相比第二通信通道B先完成任务,TA_1时刻时的任务公式:KA_1=TA_1×SA_1;第二通信通道B在TA_1时刻并未完成数据传输,且差了HB_1数据量,第二通信通道B的任务公式:KB_1=TA_1×SB_1+HB_1;第一通信通道A根据上次任务得出的下次任务占比为XA-2={KA_1+[SA_1÷(SA_1+SB_1)]×HB_1},第二通信通道B据上次任务经验得出的的下次任务占比为XB_2={(KB_1-HB_1)+[SB_1÷(SA_1+SB_1)]×HB_1};第一通信通道A下次任务分配公式:KA_2=[KA_1÷(KA_1+KB_1)+XA_2÷(XA_2+XB_2)]÷2以此类推第一路径A的第n次任务分配公式:KA_n=[KA_1÷(KA_1+KB_1)+KA_2÷(KA_2+KB_2)+…+XA_n÷(XA_n+XB_n)]÷n。4.根据权利要求2所述的基于云存储的集群存储及均衡传输系统,其...

【专利技术属性】
技术研发人员:冯晶张震
申请(专利权)人:郑州云海信息技术有限公司
类型:发明
国别省市:河南,41

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1