一种分布式数据存储系统中的负载均衡方法技术方案

本发明专利技术公开了一种分布式数据存储系统中的负载均衡方法。方法包括：通过实时的节点存储状况与提出的节点负载优先级规则，构建系统中节点的负载状况队列；通过实时的待上传缓冲池中的文件信息与提出的文件优先级规则，构建文件缓冲队列；通过提出的内容分发方案，选取特定的存储节点与文件缓冲队列中的特定文件，实现具备负载均衡的文件分发。通过本方案的实现使得分布式数据存储系统中的文件较为均衡的占用不同分布式节点的资源，系统整体负载处于相对动态均衡的状态，从而实现空间的实时高效利用。效利用。效利用。

【技术实现步骤摘要】
一种分布式数据存储系统中的负载均衡方法


[0001]本专利技术涉及分布式数据存储领域，具体涉及一种分布式数据存储系统中的负载均衡方法。

技术介绍

[0002]随着计算机技术与网络技术的高速发展，数据存储技术的应用越来越广泛。传统的数据库技术日趋成熟，数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足：数据按实际需要已在网络上分布存储，再采用集中式处理，势必造成通信开销大；应用程序集中在一台计算机上运行，一旦该计算机发生故障，则整个系统受到影响，可靠性不高；集中式处理引起系统的规模和配置都不够灵活，系统的可扩充性差。在这种形势下，集中式数据库的“集中计算”概念向“分布计算”概念发展。分布计算主要体现在客户机/服务器模式和分布式数据库体系结构两个方面。
[0003]由于分布式数据库的计算分布在所有的节点上，整个分布式系统中的信息与数据无法在单一节点上汇总，即不存在完全了解整个系统态势的节点。因此，分布式系统不能像集中式系统那样对全局资源进行统一调度与管理。分布式系统这种缺乏集中管控能力的特性，势必造成资源分配不平衡等问题，。
[0004]综上所述，为了实现分布式数据存储系统中资源的高效利用，需要设计一种分布式数据存储系统中的负载均衡方法。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种分布式数据存储系统中的负载均衡方法，能够解决分布式数据存储系统中资源分配不平衡问题。
[0006]为了解决上述技术问题，本专利技术是这样实现的：
[0007]通过实时的节点存储状况与提出的节点负载优先级规则，构建节点负载状况队列；
[0008]通过实时的待上传缓冲池中的文件信息与提出的文件优先级规则，构建文件缓冲队列；
[0009]通过提出的内容分发方案，选取特定的存储节点与文件缓冲队列中的特定文件，实现具备负载均衡的文件分发。
[0010]所述的节点负载状况队列构建方法包括：
[0011]定义用户接入节点为AN，分布式系统中节点列表为LN，节点为Ni，节点存储空间为SNi，定义节点负载状况队列NQ，定义节点负载状况队列构造算法为BNQ。
[0012]用户接入节点AN按照节点列表LN依次向节点Ni请求其存储空间SNi，然后根据队列构造算法BNQ构造节点负载状况队列NQ。
[0013]所述的文件缓冲队列构建方法包括：
[0014]定义用户接入节点AN待存储文件列表为FL，其中每一个文件的大小为FSj，定义文
件缓冲队列FQ，定义文件缓冲队列构造算法为BFQ。
[0015]用户接入节点AN根据待存储文件列表FL中每一个文件的大小FSj，根据文件缓冲队列构造算法BFQ为构造文件缓冲队列FQ。
[0016]所述的内容分发方案包括：
[0017]定义内容分发算法CDF。
[0018]根据算法CDF，将文件缓冲队列FQ中的文件分发到节点负载状况队列NQ上去，实现存储空间的均衡利用。
[0019]本专利技术具有如下技术效果：
[0020]本专利技术首先通过实时的节点存储状况与提出的节点负载优先级规则，构建节点负载状况队列；然后通过实时的待上传缓冲池中的文件信息与提出的文件优先级规则，构建文件缓冲队列；最后通过提出的内容分发方案，选取特定的存储节点与文件缓冲队列中的特定文件，实现具备负载均衡的文件分发，实现空间的高效利用。
附图说明
[0021]图1为本专利技术所提供的一种分布式数据存储系统中的负载均衡方法流程图。
具体实施方式
[0022]本专利技术提供了一种分布式数据存储系统中的负载均衡方法，其基本思想是：首先用户接入节点按照节点列表依次向各节点请求其存储空间大小，根据队列构造方法构造节点负载状况队列。然后，用户接入节点根据待存储文件列表中每一个文件的大小，根据文件缓冲队列构造方法构造文件缓冲队列。最终根据内容分发方法，将文件缓冲队列中的文件分发到节点负载状况队列上去，实现存储空间的均衡利用。通过本方案的实现使得分布式数据存储系统中的文件较为均衡的占用不同分布式节点的资源，系统整体负载处于相对动态均衡的状态，从而实现空间的实时高效利用。
[0023]下面结合附图并举实施例，对本专利技术进行详细描述。
[0024]实施例一
[0025]本专利技术实施例提供了一种节点负载状况队列的构建方法，方法流程包括：
[0026]定义用户接入节点为AN，分布式系统中节点列表为LN，节点为Ni，节点存储空间为SNi，定义节点负载状况队列NQ，定义节点负载状况队列构造算法为BNQ。
[0027]用户接入节点AN按照节点列表LN依次向各节点Ni请求其存储空间SNi，然后根据队列构造算法BNQ构造节点负载状况队列NQ。
[0028]算法1:节点负载状况队列构造算法
[0029][0030]这样就实现了节点负载队列NQ的构建，为之后的内容均衡分发做准备。
[0031]实施例二
[0032]本专利技术实施例提供了一种构建全局文件存储状况的获取方法：
[0033]定义用户接入节点AN待存储文件列表为FL，其中每一个文件的大小为FSj，定义文件缓冲队列FQ，定义文件缓冲队列构造算法为BFQ。
[0034]用户接入节点AN根据待存储文件列表FL中每一个文件的大小FSj，根据文件缓冲队列构造算法BFQ构造文件缓冲队列FQ。
[0035]算法2:文件缓冲队列构造算法BFQ
[0036][0037][0038]这样就实现了文件缓冲队列FQ的构建，为之后的内容均衡分发做准备。
[0039]实施例三
[0040]结合上述实施例一和实施例二的内容，本实施例提供一种内容分发算法CDF。方法，本实施例具体方法流程为：
[0041]算法3:内容分发算法CDF
[0042]Input:节点负载状况队列NQ，文件缓冲队列
[0043]FQ
[0044]Output:文件与缓存主机对应关系键值对列
[0045]表HL
[0046][0047]这样就实现了文件缓冲队列中的文件向各个节点的分发，实现存储空间的均衡利用。
[0048]综上所述，以上仅为本专利技术的较佳实施例而已，并非用于限定本专利技术的保护范围。凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据存储系统中的负载均衡方法，其特征在于，包括：用户接入节点按照节点列表依次向节点请求其存储空间，然后根据队列构造算法构造节点负载状况队列；用户接入节点根据待存储文件列表中每一个文件的大小，根据文件缓冲队列构造算法构造文件缓冲队列；根据内容分发算法，将文件缓冲队列中的文件分发到节点负载状况队列上去，实现存储空间的均衡利用。2.根据权利要求1所述的方法，其特征在于，所述的节点负载队列构造方法包括：定义用户接入节点AN待存储文件列表为FL，其中每一个文件的大小为FSj，定义文件缓冲队列FQ，定义文件缓冲队列构造算法为BFQ；用户接入节点AN根据待存储文件列表FL中每一个文件的大小FSj，根据文件缓冲队列构造算法BFQ为构造文件缓冲队列FQ。3.根...

【专利技术属性】
技术研发人员：杨树杰，许长桥，郝昊，赵楠，皮文超，熊永平，
申请(专利权)人：南京泛函智能技术研究院有限公司，
类型：发明
国别省市：