【技术实现步骤摘要】
一种分布式存储系统的流控方法及装置
本专利技术涉及互联网
,特别涉及一种分布式存储系统的流控方法及装置。
技术介绍
随着互联网中数据量的不断增加,可以通过将多台服务器组成分布式存储系统,从而克服单台服务器存储容量有限的问题。当前常见的分布式存储系统例如可以包括TFS(TaobaoFileSystem,淘宝文件系统)、FastDFC、MooseFS、GlusterFS、Ceph等。目前,在分布式存储系统中可以通过内部数据迁移,来实现系统扩容并且增强系统的稳定性。内部数据迁移通常会消耗一定的磁盘IO(Input/Output,输入输出总线)资源,此外,系统在处理外部的用户请求时,也会消耗一定的磁盘IO资源。当内部数据迁移与外部业务请求同时触发时,会严重消耗磁盘的IO资源,从而导致外部的业务请求的响应速度变慢,甚至会使得业务请求失败。鉴于此,分布式存储系统通常会自带内部数据迁移速度的调控指令,当管理人员发现当前参与数据迁移的节点过多,可能会影响外部业务请求的处理效率时,可以通过人为输入调控指令的方式来降低数据的迁移速度。然而,这种通过人工处理的方式具备较低的效率,另外,管理人员在实际操作中也无法准确判断出最适合的迁移速度,从而导致通过调控指令调整后的迁移速度无法很好地适用于分布式存储系统,进而会降低分布式存储系统的整体性能。
技术实现思路
本申请的目的在于提供一种分布式存储系统的流控方法及装置,能够提高流控的效率和精度。为实现上述目的,本申请一方面提供一种分布式存储系统的流控方法,所述方法包括:在分布式存储系统中确定存在数据迁移的对象存储设备;获取所述对象存储 ...
【技术保护点】
1.一种分布式存储系统的流控方法,其特征在于,所述方法包括:在分布式存储系统中确定存在数据迁移的对象存储设备;获取所述对象存储设备对应的磁盘的标准负载范围,并获取所述对象存储设备的迁移速度参数;检测所述磁盘的当前负载值,并将所述当前负载值与所述标准负载范围进行比较,以根据比较结果确定所述对象存储设备目前应当执行的流控事件;根据确定的所述流控事件,调整所述对象存储设备的迁移速度参数。
【技术特征摘要】
1.一种分布式存储系统的流控方法,其特征在于,所述方法包括:在分布式存储系统中确定存在数据迁移的对象存储设备;获取所述对象存储设备对应的磁盘的标准负载范围,并获取所述对象存储设备的迁移速度参数;检测所述磁盘的当前负载值,并将所述当前负载值与所述标准负载范围进行比较,以根据比较结果确定所述对象存储设备目前应当执行的流控事件;根据确定的所述流控事件,调整所述对象存储设备的迁移速度参数。2.根据权利要求1所述的方法,其特征在于,在分布式存储系统中确定存在数据迁移的对象存储设备包括:获取分布式存储系统中各个放置组当前的状态参数,并从所述分布式存储系统中筛选出状态参数异常的放置组;从所述状态参数异常的放置组中确定存在数据迁移的目标放置组,并将所述目标放置组所处的对象存储设备作为存在数据迁移的对象存储设备。3.根据权利要求1所述的方法,其特征在于,在分布式存储系统中确定存在数据迁移的对象存储设备包括:检测分布式存储系统中各个对象存储设备对应的磁盘负载值,并筛选出磁盘负载值处于标准负载范围之外的目标对象存储设备;在所述目标对象存储设备中检测是否存在数据迁移的放置组,若存在,将所述目标对象存储设备作为存在数据迁移的对象存储设备。4.根据权利要求1所述的方法,其特征在于,根据比较结果确定所述对象存储设备目前应当执行的流控事件包括:若所述当前负载值小于所述标准负载范围的下限值,确定所述对象存储设备目前应当执行的流控事件为增速事件;若所述当前负载值大于所述标准负载范围的上限值,确定所述对象存储设备目前应当执行的流控事件为减速事件;若所述当前负载值大于或者等于所述标准负载范围的下限值,并且小于或者等于所述标准负载范围的上限值,确定所述对象存储设备无需执行流控事件。5.根据权利要求1所述的方法,其特征在于,所述迁移速度参数按照参数区间进行划分,并且所述参数区间具备参数上调步长和参数下调步长。6.根据权利要求5所述的方法,其特征在于,根据确定的所述流控事件,调整所述对象存储设备的迁移速度参数包括:确定所述对象存储设备的迁移速度参数所处的目标参数区间;若所述流控事件为增速事件,按照所述目标参数区间的参数下调步长减少所述迁移速度参数;若所述流控事件为减速事件,按照所述目标参数区间的参数上调步长提高所述迁移速度参数。7.根据权利要求1或6所述的方法,其特征在于,在调整所述对象存储设备的迁移速度参数之后,所述方法还包括:再次检测所述磁盘在调整迁移速度参数之后的负载值,并将再次检测的所述负载值与所述标准负载范围进行比较,以根据比较结果确定所述对象存储设备在调整迁移速度参数之后应当执行的流控事件。8.根据权利要求1所述的方法,其特征在于,在根据比较结果确定所述对象存储设备目前应当执行的流控事件之后,所述方法还包括:读取所述对象存储设备上一次应当执行的流控事件,并判断所述上一次应当执行的流控事件与所述目前应当执行的流控事件是否为同一事件;若为同一事件,基于所述目前应当执行的流控事件提高或者减少所述对象存储设备的迁移速度参数;若不是同一事件,基于所述上一次应当执行的流控事件提高或者减少所述对象存储设备的迁移速度参数。9.根据权利要求8所述的方法,其特征在于,基于所述目前应当执行的流控事件提高...
【专利技术属性】
技术研发人员:梁伟林,
申请(专利权)人:网宿科技股份有限公司,
类型:发明
国别省市:上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。