本申请实施例提供一种多对象存储桶的选择方法、装置、处理器及存储介质。方法包括：获取在设置的周期内，从用户端上传测试文件到各个对象存储桶的写入延迟时间；根据所述写入延迟时间，计算各个对象存储桶的上传延迟权重；根据所述上传延迟权重，利用权重随机算法，选择对应的对象存储桶，执行写入新文件操作。通过本申请的技术方案，通过比较各个对象存储桶的最近一段时间上传的平均延迟，调整每个对象存储桶所占的权重，再根据权重来选择本次写入的对象存储桶，尽可能的选中当前压力最小，延迟最低的对象存储桶，来实现整体的延迟和吞吐的提升。的提升。的提升。
【技术实现步骤摘要】
多对象存储桶的选择方法、装置及处理器
[0001]本申请涉及数据存储
，具体涉及一种多对象存储桶的选择方法、装置、处理器及机器可读存储介质。
技术介绍
[0002]当前云原生文件系统已成为数据湖(Data Lake)方案中的一个热点，其基本形态就是该文件系统会有一个集中的元数据服务器用于存储文件的元数据，其数据会存放在一个或者多个对象存储的桶里，用来突破云服务厂商对于单个对象存储桶的iops或者带宽限制，来提升文件系统整体的性能。
[0003]现有的技术在写新文件的时候，需要先选定一个对象存储桶用于写入，如果配置了多个对象存储桶的话，一般都是采取轮询的策略，实现比较简单，但是没有考虑到不同的桶之间是有可能出现性能差异的，因为不同的桶可能存储在不同的云服务器机架，不同的机房，甚至不同的地域，会导致客户端到对象存储桶的写入延迟本来就不一致，而且在写入压力比较大时，会遇到请求被限流的情景，所以写入操作的延迟会出现比较大的抖动，整体的迟延和吞吐没有达到最优，甚至有可能出现桶临时故障，造成写入失败。
技术实现思路
[0004]本申请实施例的目的是提供一种多对象存储桶的选择方法、装置、存储介质及处理器。
[0005]为了实现上述目的，本申请第一方面提供一种多对象存储桶的选择方法，包括：获取在设置的周期内，从用户端上传测试文件到各个对象存储桶的写入延迟时间；根据所述写入延迟时间，计算各个对象存储桶的上传延迟权重；根据所述上传延迟权重，利用权重随机算法，选择对应的对象存储桶，执行写入新文件操作。
[0006]在本申请实施例中，根据所述写入延迟时间，计算各个对象存储桶的上传延迟权重包括：利用公式W＝C*(1/t)计算各个对象存储桶的上传延迟权重，其中C为可变缩放系数，W为对象存储桶的上传延迟权重，t为写入延迟时间。
[0007]进一步地，如果写入延迟时间超过预设超时阈值时，设置所述对象存储桶的上传延迟权重为0。
[0008]进一步地，当设置所述对象存储桶的上传延迟权重为0时，判断该对象存储桶为故障对象存储桶，剔除写入列表。
[0009]进一步地，利用权重随机算法，选择对应的对象存储桶包括：根据各个对象存储桶的上传延迟权重，计算全部对象存储桶的上传延迟权重总和；计算各个对象存储桶的上传延迟权重比例，其中各个对象存储桶的上传延迟权重比例＝各个对象存储桶的上传延迟权重/全部对象存储桶的上传延迟权重总和；根据所述各个对象存储桶的上传延迟权重比例，计算出各个对象存储桶覆盖区域；根据所述各个对象存储桶覆盖区域，划分出各个对象存储桶的范围；利用随机数生成器生成在零至全部对象存储桶的上传延迟权重总和之间的整
数；选择所述整数落在所述范围的对象存储桶作为所述对应的对象存储桶。
[0010]本申请第二方面提供一种多对象存储桶的选择装置，包括：统计模块，用于获取在设置的周期内，从用户端上传文件到各个对象存储桶的写入延迟时间；计算模块，用于根据所述写入延迟时间，计算各个对象存储桶的上传延迟权重；选择模块，根据所述上传延迟权重，利用权重随机算法，选择对应的对象存储桶，执行写入新文件操作。
[0011]在本申请实施例中，所述计算模块被配置为：利用公式W＝C*(1/t)计算各个对象存储桶的上传延迟权重，其中C为可变缩放系数，W为对象存储桶的上传延迟权重，t为写入延迟时间；如果写入延迟时间超过预设超时阈值时，设置所述对象存储桶的上传延迟权重为0，判断该对象存储桶为故障对象存储桶，剔除写入列表。
[0012]进一步地，所述选择模块被配置为：根据各个对象存储桶的上传延迟权重，计算全部对象存储桶的上传延迟权重总和；计算各个对象存储桶的上传延迟权重比例，其中各个对象存储桶的上传延迟权重比例＝各个对象存储桶的上传延迟权重/全部对象存储桶的上传延迟权重总和；根据所述各个对象存储桶的上传延迟权重比例，计算出各个对象存储桶覆盖区域；根据所述各个对象存储桶覆盖区域，划分出各个对象存储桶的范围；利用随机数生成器生成在零至全部对象存储桶的上传延迟权重总和之间的整数；选择所述整数落在所述范围的对象存储桶作为所述对应的对象存储桶。
[0013]本申请第三方面提供一种处理器，被配置成执行上述的多对象存储桶的选择方法。
[0014]本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的多对象存储桶的选择方法。
[0015]本申请第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述多对象存储桶的选择方法。
[0016]通过上述技术方案，在多个对象存储桶已经确定的前提下，在写入新文件的时候，通过比较各个对象存储桶的最近一段时间上传的平均延迟，调整每个对象存储桶所占的权重，再根据权重来选择本次写入的对象存储桶，尽可能的选中当前压力最小，延迟最低的对象存储桶，来实现整体的延迟和吞吐的提升。
[0017]本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0018]附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：
[0019]图1示意性示出了根据本申请实施例的多对象存储桶的选择方法流程图；
[0020]图2示意性示出了根据本申请实施例的统计各个对象存储桶写入延迟示意图；
[0021]图3示意性示出了根据本申请实施例的计算上传权重的流程图；
[0022]图4示意性示出了根据本申请实施例的选择对象存储桶的示意图；
[0023]图5示意性示出了根据本申请实施例的多对象存储桶的选择装置的结构框图；
[0024]图6示意性示出了根据本申请实施例的计算机设备的内部结构图。
具体实施方式
[0025]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0026]需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后
……
)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0027]另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多对象存储桶的选择方法，其特征在于，所述方法包括：获取在设置的周期内，从用户端上传测试文件到各个对象存储桶的写入延迟时间；根据所述写入延迟时间，计算各个对象存储桶的上传延迟权重；根据所述上传延迟权重，利用权重随机算法，选择对应的对象存储桶，执行写入新文件操作。2.根据权利要求1所述的方法，其特征在于，根据所述写入延迟时间，计算各个对象存储桶的上传延迟权重包括：利用公式W＝C*(1/t)计算各个对象存储桶的上传延迟权重，其中C为可变缩放系数，W为对象存储桶的上传延迟权重，t为写入延迟时间。3.根据权利要求2所述的方法，其特征在于，如果写入延迟时间超过预设超时阈值时，设置所述对象存储桶的上传延迟权重为0；当设置所述对象存储桶的上传延迟权重为0时，判断该对象存储桶为故障对象存储桶，剔除写入列表。4.根据权利要求1所述的方法，其特征在于，利用权重随机算法，选择对应的对象存储桶包括：根据各个对象存储桶的上传延迟权重，计算全部对象存储桶的上传延迟权重总和；计算各个对象存储桶的上传延迟权重比例，其中各个对象存储桶的上传延迟权重比例＝各个对象存储桶的上传延迟权重/全部对象存储桶的上传延迟权重总和；根据所述各个对象存储桶的上传延迟权重比例，计算出各个对象存储桶覆盖区域；根据所述各个对象存储桶覆盖区域，划分出各个对象存储桶的范围；利用随机数生成器生成在零至全部对象存储桶的上传延迟权重总和之间的整数；选择所述整数落在所述范围的对象存储桶作为所述对应的对象存储桶。5.一种多对象存储桶的选择装置，其特征在于，所述装置包括：统计模块，用于获取在设置的周期内，从用户端上传文件到各个对象存储桶的写入延迟时间；...
【专利技术属性】
技术研发人员：陈积，崔啸天，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。