基于对象存储设备的负载平衡方法技术

基于对象存储设备的负载平衡方法，属于计算机存储技术领域，目的在于通过合理调度Ｉ／Ｏ负载和热点数据迁移，使系统负载均衡分布于各存储节点间，以充分发挥各高性能存储设备节点的性能优势。本发明专利技术顺序包括：（１）主动负载检测步骤；（２）设备负载统计步骤；（３）对象迁移和副本管理步骤；（４）对象属性扩展步骤；（５）Ｉ／Ｏ请求处理步骤。本发明专利技术对对象存储设备（ＯＳＤ）的ＳＣＳＩ协议标准进行了扩展，借助对象存储模式的优点，为Ｉ／Ｏ调度提供决策依据，充分利用所有存储设备节点的处理能力，达到负载均衡，降低存储系统响应时间，提高存储系统吞吐率。

【技术实现步骤摘要】

本专利技术属于计算机存储
，具体涉及一种。
技术介绍
随着计算机技术和网络通信技术的飞速发展，全球信息存储量以每年超过30％的速度急剧增长，存储在硬盘上的数据增长率更是高达114％。面对数据量的爆炸性增长以及人们对存储系统的容量、安全性、可扩展性和可用性等方面的需求，传统的直接存储模式(Direct Access Storage，DAS)已显得力不从心，这使得网络存储成为存储
必然的趋势。当前网络存储的主要架构有附网存储(NAS，Network Attached Storage)和存储区域网(SAN，Storage Area Network)。NAS和SUN虽然解决了直接存储的许多问题，但是也有其自身的局限性，在一定程度上不能完全满足存储技术发展的要求。面向对象存储技术(OBS，Object Basedstorage)是以数据为中心网络存储模式，采用了对象作为基本传输单位，使数据存储和元数据管理分离，突破了NAS中常见的数据路径瓶颈和SAN的文件共享限制，并在安全性、跨平台性、可用性和可扩展性等特性中更胜一筹，可能成为下一代互联网络存储的标准。对象存储系统(OBSS，Obiect-Based Storage System)将对象接口和智能存储设备相结合，可达到PB级的存储规模。而随着存储系统规模的扩大和使用频率的增强，存储节点间负载不均衡的现象不可避免的会显现，成为整个系统的瓶颈，严重时甚至会导致整个系统的性能急剧下降。
技术实现思路
本专利技术提供一种，目的在于通过合理调度I/O负载和热点数据迁移，使系统负载均衡分布于各存储节点间，以充分发挥各高性能存储设备节点的性能优势。本专利技术的一种，顺序包括下述步骤(1)主动负载检测步骤，各设备节点主动进行自身的负载检测，并将负载因子发送到元数据服务器；(2)设备负载统计步骤，按照归一化方法计算各设备节点的负载，并依据负载情况对各设备节点进行排序；(3)对象迁移和副本管理步骤，对负载值超过迁移阈值的设备节点作为热点对象并对其进行迁移和副本管理；(4)对象属性扩展步骤，对OSD SCSI协议标准的属性页进行了扩展，自定义一个负载属性页，预定义负载值、热度、主副本判断、副本信息和负载权值这五个属性项，将需要的各设备节点的负载信息、迁移信息以对象属性的方式保存；(5)I/O请求处理步骤，依据对象的分布信息，在各设备节点间调度I/O请求，使得各设备节点负载均衡。所述的，其特征在于所述主动负载检测步骤顺序包括下述过程(1)各设备节点从/proc虚拟文件系统中读取系统队列长度以及磁盘、CPU、内存和网络的负载信息；(2)计算各设备节点负载因子；(3)对各设备节点负载因子进行判断，负载因子≤30，延时10秒；若30＜负载因子≤60，延时30秒；负载因子＞60，延时60秒； (4)再次从/proc虚拟文件系统中读取系统队列长度以及磁盘、CPU、内存和网络的负载信息；(5)向元数据服务器发送各设备节点负载因子，转过程(1)。所述的，其特征在于所述设备负载统计步骤顺序包括下述过程(1)定义负载因子，将各设备节点负载因子LOAD定义为LOAD＝W1*Lrql+W2*Ldisk+W3*Lcpu+W4*Lmem+W5*Lnet进行归一化管理，Lrql、Ldisk、Lcpu、Lmem和Lnet分别为对象存储设备的系统队列长度、磁盘负载、CPU负载、内存负载和网络负载，W1、W2、W3、W4、W5为对应的权值，且∑Wi(i＝1，2，3，4，5)＝1；(2)设定初始负载权值，以文件系统标准测试程序Iozone对各设备节点的负载全面测试后得到的负载值为依据设置Wi初始值；(3)判断单项负载状况；(4)根据负载信息修正负载权值Wi，连续五次检测单项负载值均大于80或小于20，则其对应权值增加或降低10％，否则不变；(5)计算各设备节点负载因子；(6)向元数据服务器发送各设备节点负载因子；(7)元数据服务器按各设备节点负载因子大小进行排序，维护升序设备队列，转过程(3)。所述的，其特征在于所述对象迁移和副本管理步骤顺序包括下述过程(1)设定迁移阈值，该迁移阈值为进行迁移的临界条件；(2)检测负载，检测各设备节点负载，并统计各设备节点最近十次的负载均值； (3)判断负载均值，对各设备节点最近十次负载均值进行判断，若该均值大于迁移阈值，转过程(4)，否则转过程(5)；(4)元数据服务器从邻近选择负载因子最小的设备节点作为迁移目标，对对象进行迁移；迁移完成后元数据服务器更新副本信息；(5)若最近十次负载均值小于阈值的一半，删除副本，更新对象元数据信息，否则，转过程(2)。所述的，其特征在于所述对象属性扩展步骤顺序包括下述过程(1)确定扩展方式，确定使用临时属性扩展方式；(2)规定各设备节点的属性页码，各设备节点的属性页码为C000 0000h到EFFF FFFFh，即D＝C000 0000h，则D+5h表示C000 0005h；(3)定义负载属性页结构，定义负载值、热度、主副本判断、副本信息和负载权值这五个属性项。所述的，其特征在于所述I/O请求处理步骤顺序包括下述过程(1)判断用户请求类型，读请求，进行过程(2)；写请求，进行过程(3)；更新请求，进行过程(4)；(2)判断请求的对象是否存在副本，存在则选择轻负载副本读取，转过程(5)；否则直接从该对象读取，转过程(5)；(3)根据文件大小决定分片数目N，元数据服务器选择系统中负载因子最低的N个设备节点进行写操作，转过程(5)；(4)判断对象的主副本信息后，对对象主本进行更新操作，更新完成后，再更新对象所有副本，进行下一过程；(5)更新元数据信息和对象属性信息。本专利技术适用于基于对象的大规模存储系统，具有以下特点(1)对象存储设备主动获取各项负载、发送负载值；(2)各项负载的权值依据实测数据，并可动态修正；(3)通过扩展对象的负载值属性、热度属性、主副本判断属性和副本信息属性提供决策信息；(4)通过负载检测和属性扩展为元数据服务器进行I/O操作的流程进行优化调度提供决策依据；(5)根据动态负载信息实现热点数据的负载迁移；本专利技术不仅可以实现系统的负载均衡，同样适用于重要数据的备份选择以及元数据服务器的后备节点选择等需要动态选择设备的应用。附图说明图1为本专利技术的流程框图；图2为本专利技术的主动负载检测步骤流程图；图3为本专利技术的负载统计步骤流程图；图4为本专利技术对象迁移和副本管理步骤流程图；图5为本专利技术的对象属性扩展步骤流程图；图6为本专利技术的扩展属性页结构示意图；图7为本专利技术的I/O请求处理步骤流程图。具体实施例方式下面结合附图和实施例对本专利技术进一步详细说明。图1为本专利技术的流程框图。本专利技术包括(1)主动负载检测步骤；(2)设备负载统计步骤；(3)对象迁移和副本管理步骤；(4)对象属性扩展步骤；(5)I/O请求处理步骤。图2为本专利技术的主动负载检测步骤流程图。从/proc虚拟文件系统中读取的负载信息；计算负载因子，对各设备节点负载因子进行判断，若负载因子较高，则说明设备处于忙碌状态，应减少负载统计的次数，否则说明设备处于空闲状态，可以增加负载统计次数，设定负载因子≤30，延时10秒；若30＜负载因子≤60，延时30秒；负载因子＞60，延时60秒；再次本文档来自技高网...

【技术保护点】
一种基于对象存储设备的负载平衡方法，顺序包括下述步骤：（１）主动负载检测步骤，各设备节点主动进行自身的负载检测，并将负载因子发送到元数据服务器；（２）设备负载统计步骤，按照归一化方法计算各设备节点的负载，并依据负载情况对各设 备节点进行排序；（３）对象迁移和副本管理步骤，对负载值超过迁移阈值的设备节点作为热点对象并对其进行迁移和副本管理；（４）对象属性扩展步骤，对ＯＳＤＳＣＳＩ协议标准的属性页进行了扩展，自定义一个负载属性页，预定义负载值、热 度、主副本判断、副本信息和负载权值这五个属性项，将需要的各设备节点的负载信息、迁移信息以对象属性的方式保存；（５）Ｉ／Ｏ请求处理步骤，依据对象的分布信息，在各设备节点间调度Ｉ／Ｏ请求，使得各设备节点负载均衡。

【技术特征摘要】

【专利技术属性】
技术研发人员：王芳，冯丹，施展，陈亮，彭万利，岳银亮，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：83[中国|武汉]