【技术实现步骤摘要】
基于段单元的分布式存储系统的负载均衡方法和系统
本专利技术属于计算机信息安全领域，更具体地说，涉及一种基于段单元的分布式存储系统的负载均衡方法和系统。
技术介绍
在现实的生产环境中，传统网络存储已无法满足大规模存储应用的需要，分布式存储系统应用而生。分布式存储系统利用多台存储服务器（节点）分担存储负载，以提高系统的可靠性、可用性、存储性能和扩展性等。数据存储的负载均衡是将数据平均分布到不同服务器上的不同存储介质（如磁盘）上，让系统内的所有存储介质上的用户数据量基本相同。数据存储的负载均衡在分布式存储系统中是无法避免的，正是由于数据负载均衡，才使得每台服务器和每个存储介质的均衡地提供等量的IO。现有的分布式存储系统的数据均衡算法只考虑如何均匀分布数据，但是在分布式存储集群中，一份数据存在多个副本。尽管每个副本的数据是一致的，但是不同副本数据读写过程中承担的任务不同，通常分为主副本（Primary，简称P）和从副本(Secondary，简称S)，主副本相对从副本承担更多的IO负载。因此，尽管数据被均匀分布了，但是...
【技术保护点】
1.一种基于段单元的分布式存储系统的负载均衡方法，用于分布式存储系统中卷的创建、数据迁移和数据恢复，其特征在于：/n卷的创建包括：/na1、构建主段单元、从段单元及主段单元和从段单元的组合均衡分布的段列表；所述均衡分布具体是指：（1）同属于一个段的段单元需分布在不同的节点上，且每个节点属于不同的组；（2）同一个段的主段单元和从段单元分别创建在不同的节点上，使主段单元、从段单元及主段单元和从段单元的组合均匀分布在节点上；/na2、从步骤a1的段列表中选取一个段，并在目的节点上创建主段单元和从段单元；/na3、若不能在目的节点上创建主段单元和从段单元，则随机创建一个段，该段的主...
【技术特征摘要】
1.一种基于段单元的分布式存储系统的负载均衡方法，用于分布式存储系统中卷的创建、数据迁移和数据恢复，其特征在于：
卷的创建包括：
a1、构建主段单元、从段单元及主段单元和从段单元的组合均衡分布的段列表；所述均衡分布具体是指：（1）同属于一个段的段单元需分布在不同的节点上，且每个节点属于不同的组；（2）同一个段的主段单元和从段单元分别创建在不同的节点上，使主段单元、从段单元及主段单元和从段单元的组合均匀分布在节点上；
a2、从步骤a1的段列表中选取一个段，并在目的节点上创建主段单元和从段单元；
a3、若不能在目的节点上创建主段单元和从段单元，则随机创建一个段，该段的主段单元、从段单元应均衡分布；
当进行数据迁移时，需要进行数据迁移的卷按照卷的创建要求进行创建，数据迁移包括：
b1、如果在某一个节点上的主段单元的实际分布值和期望分布值之间的差额百分比超过阈值X时，则主段单元从该节点迁移到另一个主段单元分布未达到期望分布值的节点，其中，5%≤X≤30%；
b2、如果在某一个节点上的主段单元和从段单元的组合的实际分布值和期望分布值之间的差额百分比超过阈值X时，则将从段单元从该节点迁移到主段单元和从段单元的组合的分布未达到期望分布值的目的节点上，其中，5%≤X≤30%；
当进行数据恢复时，需要进行数据恢复的卷按照卷的创建要求进行创建，数据恢复包括：
c1、在一个段的从段单元中选择一个作为主段单元；
c2、如果所有的段中都有主段单元，且该段中从段单元的数量少于2个时，则重新选择一个节点，在该节点上创建该段的从段单元。
2.根据权利要求1所述的基于段单元的分布式存储系统的负载均衡方法，其特征在于：当进行卷的创建时，如果一个段已经创建了一个主段单元和两个从段单元，还存在其他的节点，该节点与已经创建的一个主段单元和两个从段单元所在的节点均不属于同一组，则给每个从段单元分配不超过2个冗余的从段单元，所述冗余的从段单元分别分布在不同的节点上。
3.根据权利要求1所述的基于段单元的分布式存储系统的负载均衡方法，其特征在于：当进行数据迁移时，所述b1包括以下步骤：
b11、根据节点权重计算所...
【专利技术属性】
技术研发人员：张传印，王中原，陈靓，
申请(专利权)人：南京鹏云网络科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。