一种用户读写请求的调度方法及装置制造方法及图纸

一种用户读写请求的调度方法及装置。该方法中，能力均衡设备获取分布式存储系统中全部节点上各用户的每秒读写次数IOPS，针对每一用户，分别确定用户的IOPS在用户归属的逻辑单元LUN中全部用户的IOPS中所占的第一IOPS比例，并依据第一IOPS比例确定第一用户权值，将小于初始用户权值的用户权值划分为低负载用户权值集合，并将大于初始用户权值的用户权值划分为高负载用户权值集合，并确定低负载用户权值集合中各用户的第二用户权值以及低负载用户权值集合的待转移用户权值。根据待转移用户权值，确定高负载用户权值集合中各用户的第二用户权值，以在保证LUN权值的前提下，使各用户IOPS比例与用户权值成比例。

Scheduling method and device for user read-write request

Scheduling method and device for user read-write request. In this method, a second balanced device access in distributed storage system on all nodes of each user to read and write the number of IOPS for each user, the first IOPS respectively to determine the proportion of users in the IOPS logic unit LUN users belonging in all users of the IOPS, and according to the first user to determine weights of first IOPS ratio the user will be less than the initial weights, divided into low weight user load user set of weights, the user weight division and will be greater than the initial user weights for high load user set of weights, and to determine the weight of each user second low load user set user weight and low load user to transfer the user weight set of weights. According to the weight of the user to be transferred, the second user weights of each user in the set of high load user weights are determined, so that the proportion of each user IOPS is proportional to the user's weight in the premise of guaranteeing the weight of the LUN.

【技术实现步骤摘要】
一种用户读写请求的调度方法及装置
本专利技术涉及通信
，尤其涉及一种用户读写请求的调度方法及装置。
技术介绍
每秒读写次数(InputOutputOperationsPerSecond，IOPS)作为用户读写请求服务质量的重要指标，逐渐成为了存储系统关注和研究的热点。基于不同的IOPS能力保障，能够为用户的读写请求提供差异化服务。目前，可在调度用户的读写请求时，为不同的用户设置不同的权值，并依据权值为不同用户调度不同的IOPS能力。图1所示为一种集中式调度方案。图1中，用户f和用户g的权值分别为2和1。预先为不同权值的用户的读写请求分别设置标签，其中，同一用户的读写请求标签间的间隔与用户权值成反比，即权值越大的用户，其读写请求标签的间隔越小，反之越大，例如用户f的权值为2，标签间隔为0.5。用户g的权值为1，标签间隔为1。在进行用户读写请求调度时，通过同一调度器(图1中的调度堆栈)，按照标签值的大小，对用户f和用户g进行读写请求调度，标签值较小的读写请求优先得到调度。这种调度机制确保不同用户得到的IOPS能力与设置的权值成正比。图2所示为一种分布式调度请求方案，图2中，用户f和用户g通过不同的节点(图2中的11A和11B)接入不同的存储节点(图2中的20A和20B)，并通过不同的调度器(图2中的12A和12B)实现读写请求的调度。每个节点在下发读写请求到存储节点时，携带用户的delay信息，所述delay信息是指当前用户在最近两次发送读写请求到当前存储节点的时间间隔内，发送到除当前节点外其他所有节点的读写请求数目之和。调度器在接收到delay信息后，根据用户权值和delay信息，为用户的读写请求设置标签。例如图2中，调度器12A和调度器12B分别确定用户g对存储节点20A和存储节点20B的读写请求次数，并设置不同的标签，以调整对存储节点20A和存储节点20B读写请求，达到满足用户g权值的IOPS比例保障。然而，图1所示的集中式调度方案，只适用于单节点调度场景，并不适用分布式存储场景。图2所示的分布式调度方案，各调度器对各存储节点的读写操作进行独立并行调度，可适用于分布式存储场景，但也仅适用于存储资源不共享的场景，并不适用于存储资源共享的分布式存储系统。存储资源共享的分布式存储系统中，一系列分布在不同节点上的磁盘组成一个共享存储资源池。该共享存储资源池以统一接口对外提供存储服务，不可避免的会造成各用户在进行读写操作过程中存在IOPS争抢的现象。所述IOPS争抢是指，提供存储服务的接口在为一部分用户提供的IOPS能力与该部分用户权值成比例的前提下，不能保证为除该部分以外的其它用户提供的IOPS能力与用户权值成比例。例如，图2中，若存储节点70A为用户f提供了IOPS能力保障，此时则有可能不能满足用户g权值的IOPS比例保障。故，如何提供一种适用于存储资源共享的分布式存储系统中用户读写请求调度方式，以保障各用户的IOPS比例与用户权值成比例，是急需解决的问题。
技术实现思路
本专利技术实施例提供一种用户读写请求的调度方法及装置，以保障分布式存储系统中各用户的IOPS比例与用户权值成比例。第一方面，提供一种用户读写请求的调度方法，在该方法中，分布式存储系统中各节点分别确定各自节点上各用户的IOPS，并将各用户的IOPS发送给能力均衡设备。能力均衡设备获取分布式存储系统中全部节点上各用户的IOPS，针对每一用户，分别确定所述用户的IOPS在所述用户归属的LUN中全部用户的IOPS中所占的第一IOPS比例，并依据所述第一IOPS比例确定用户权值。能力均衡设备将小于初始用户权值的用户权值划分为低负载用户权值集合，并将大于初始用户权值的用户权值划分为高负载用户权值集合。能力均衡设备确定低负载用户权值集合中各用户的第二用户权值，并确定低负载用户权值集合的待转移用户权值，根据所述待转移用户权值，确定高负载用户权值集合中各用户的第二用户权值。能力均衡设备将确定的第二用户权值，发送给用户归属的节点，用户归属的节点获取各用户的用户权值，并对用户的读写请求进行满足所述用户权值的IOPS调度，以在保证LUN权值的前提下，使各用户IOPS比例与用户权值成比例，并保证同一LUN中的用户间权值均衡的分配。一种可能的设计中，可由节点上的IOPS统计器统计节点上的各用户的IOPS，节点将IOPS统计器统计的各用户IOPS向能力均衡设备发送。另一种可能的设计中，每一节点接收到用户发起的读写请求，为该读写请求分配LUN，向能力均衡设备发送用户加入LUN报告。能力均衡设备根据收集的用户加入LUN报告，维护用户、LUN、节点三者之间的映射关系。在该映射关系中，一个用户只能映射到一个LUN和节点，而一个LUN或者一个节点则可以映射到多个用户。又一种可能的设计中，能力均衡设备确定第一用户权值时，可按照用户和LUN的映射关系，将预先设置的每一LUN的权值分配到归属于该LUN的用户中。诸如采用公式确定第一用户权值。其中，occupyWeight_i表征依据所述第一IOPS比例确定的第一用户权值，W_l为LUNl的权值，iops_i为用户i的IOPS，为归属于LUNl的全部用户的IOPS，表征用户i的IOPS在用户i归属的LUN中全部用户的IOPS中所占的第一IOPS比例。又一种可能的设计中，可采用公式确定初始用户权值。其中，initWeight_i为用户i的初始权值，W_l为LUNl的权值，|i∈l|表示归属于LUNl中的用户数量。又一种可能的设计中，通过比较occupyWeight_i(1+α)和initWeight_i的大小，划分低负载用户权值集合和高负载用户权值集合。其中，α为大于0小于1的数值，若occupyWeight_i(1+α)＜initWeight_i，则用户i属于低负载集合否则，用户i属于高负载集合通过上述确定低负载用户权值集合和高负载用户权值集合方式，可为低负载用户集合中的用户设置较为充裕的用户权值。又一种可能的设计中，可采用公式allocWeight_i＝(1+α)·occupyWeight_i，确定低负载用户权值集合中各用户的第二用户权值。其中，allocWeight_i为低负载用户权值集合中用户的用户权值，α为大于0小于1的数值，occupyWeight_i表征依据所述第一IOPS比例确定的第一用户权值。能力均衡设备利用allocWeight_i更新依据所述第一IOPS比例确定的第一用户权值，并将更新后的用户权值，作为低负载用户权值集合中用户的第二用户权值；其中，第二用户权值大于依据所述第一IOPS比例确定的第一用户权值，且第二用户权值与依据所述第一IOPS比例确定的第一用户权值之差小于等于初始用户权值。又一种可能的设计中，待转移用户权值满足如下公式：其中，removeWeight_l为待转移用户权值，initWeight_i为用户i的初始用户权值，allocWeight_i为依据所述第一IOPS比例确定的第一用户权值，表征归属于LUNl，且属于低负载用户权值集合的用户余量权值总和。又一种可能的设计中，可将低负载用户权值集合的待转移用户权值分配给高负载用户权值集合中的用户，以使各用户IOPS比例与用户权值成比例。一种可能的本文档来自技高网...

【技术保护点】
一种用户读写请求的调度方法，其特征在于，包括：能力均衡设备获取分布式存储系统中全部节点上各用户的每秒读写次数IOPS；所述能力均衡设备针对每一用户，分别确定所述用户的IOPS在所述用户归属的逻辑单元LUN中全部用户的IOPS中所占的第一IOPS比例，并依据所述第一IOPS比例确定第一用户权值，其中，所述第一用户权值在所述用户归属的LUN中所占用的权值与所述第一IOPS比例成正比例；所述能力均衡设备将小于初始用户权值的用户权值划分为低负载用户权值集合，并将大于初始用户权值的用户权值划分为高负载用户权值集合，其中，初始用户权值为归属同一LUN中各用户平均分配所述LUN的权值得到的LUN权值均值；所述能力均衡设备确定低负载用户权值集合中各用户的第二用户权值以及低负载用户权值集合的待转移用户权值，其中，所述待转移用户权值为低负载用户权值集合中各用户的余量权值总和，所述余量权值是指用户的初始用户权值与第一用户权值之差；所述能力均衡设备根据所述待转移用户权值，确定高负载用户权值集合中各用户的第二用户权值；所述能力均衡设备将确定的第二用户权值，发送给用户归属的节点。

【技术特征摘要】
1.一种用户读写请求的调度方法，其特征在于，包括：能力均衡设备获取分布式存储系统中全部节点上各用户的每秒读写次数IOPS；所述能力均衡设备针对每一用户，分别确定所述用户的IOPS在所述用户归属的逻辑单元LUN中全部用户的IOPS中所占的第一IOPS比例，并依据所述第一IOPS比例确定第一用户权值，其中，所述第一用户权值在所述用户归属的LUN中所占用的权值与所述第一IOPS比例成正比例；所述能力均衡设备将小于初始用户权值的用户权值划分为低负载用户权值集合，并将大于初始用户权值的用户权值划分为高负载用户权值集合，其中，初始用户权值为归属同一LUN中各用户平均分配所述LUN的权值得到的LUN权值均值；所述能力均衡设备确定低负载用户权值集合中各用户的第二用户权值以及低负载用户权值集合的待转移用户权值，其中，所述待转移用户权值为低负载用户权值集合中各用户的余量权值总和，所述余量权值是指用户的初始用户权值与第一用户权值之差；所述能力均衡设备根据所述待转移用户权值，确定高负载用户权值集合中各用户的第二用户权值；所述能力均衡设备将确定的第二用户权值，发送给用户归属的节点。2.如权利要求1所述的方法，其特征在于，针对低负载用户集合中的每一用户，所述能力均衡设备分别采用如下方式确定低负载用户权值集合中各用户的第二用户权值：更新依据所述第一IOPS比例确定的第一用户权值，并将更新后的用户权值，作为低负载用户权值集合中用户的用户权值；其中，更新后的用户权值大于依据所述第一IOPS比例确定的第一用户权值，且更新后的用户权值与依据所述第一IOPS比例确定的第一用户权值之差小于等于初始用户权值。3.如权利要求1或2所述的方法，其特征在于，所述能力均衡设备根据所述待转移用户权值，确定高负载用户权值集合中各用户的第二用户权值，包括：针对高负载用户权值集合中每一用户，分别确定所述用户的IOPS在高负载用户权值集合中全部用户的IOPS中所占的第二IOPS比例；依据所述第二IOPS比例，确定所述每一用户在所述待转移用户权值中所占用的待转移用户权值，所述用户在所述待转移用户权值中所占用的待转移用户权值与所述第二IOPS比例成正比例；将所述用户的初始用户权值和所述用户在所述待转移用户权值中所占用的待转移用户权值之和，作为高负载用户权值集合中用户的用户权值。4.如权利要求1至3任一项所述的方法，其特征在于，所述能力均衡设备确定第二用户权值之后，所述方法还包括：分别确定分布式存储系统中每个节点上的用户的第二用户权值总和，得到节点权值；分别确定每一节点权值在对存储资源池进行读写操作的全部节点权值中所占的权值比例，并依据所述权值比例确定每一节点的IOPS能力；其中，所述节点的IOPS能力为所述节点在存储资源池提供的IOPS能力中所占用的IOPS能力，节点在存储资源池提供的IOPS能力中所占用的IOPS能力与所述节点的权值比例成正比；向节点发送所述节点在存储资源池提供的IOPS能力中所占用的IOPS能力。5.一种用户读写请求的调度方法，其特征在于，包括：节点获取能力均衡设备发送的用户权值、以及所述节点的每秒读写次数IOPS能力；所述节点确定所述节点的IOPS能力能够支持对用户的读写请求进行满足所述用户权值的IOPS调度情况下，对用户的读写请求进行满足所述用户权值的IOPS调度。6.如权利要求5所述的方法，其特征在于，节点获取能力均衡设备发送的用户权值之前，所述方法还包括：所述节点确定节点上各用户的IOPS，并将各用户的IOPS发送给能力均衡设备。7.一种用户读写请求的调度装置，其特征在于，包括：获...

【专利技术属性】
技术研发人员：王成，赵聪，龚骏辉，余思，王工艺，
申请(专利权)人：成都华为技术有限公司，
类型：发明
国别省市：四川,51