【技术实现步骤摘要】
基于云存储的多异构文件联合延迟尾概率凸优化算法
本专利技术属于云存储
,具体涉及一种基于云存储的多异构文件联合延迟尾概率凸优化算法。
技术介绍
对于擦除编码存储系统,文件被编码成多个大小相等的数据块,允许从任何子集进行重建。因此,重建文件需要从不同的服务器获取不同的块,这导致尾部延迟显著增加,因为在这样的系统中,服务延迟是由最热的存储节点以最高的拥塞和最慢的速度决定的,这实际上成了性能瓶颈。尽管存在负载平衡和资源管理等机制,但对大型存储系统的评估表明,延迟性能具有高度的随机性。为了提供同构文件的平均服务延迟上限,现有技术利用Fork-join队列分析通过将每个文件请求分叉到所有存储节点来提供平均服务延迟的上限。或者基于排队论分析的块调度策略,它只允许缓冲区头部的第一个请求向前移动。然而,由于状态爆炸问题,这两种方法都无法量化尾部延迟,因为相应队列模型的状态不仅必须封装当前系统的快照(包括块放置和排队请求),而且还必须封装单个节点处理块请求的过去历史。随后,利用顺序统计分析和概率请求调度策略,虽然降低平均延迟被发 ...
【技术保护点】
1.基于云存储的多异构文件联合延迟尾概率凸优化算法,其特征在于,包括如下步骤:/n步骤S1:在n
【技术特征摘要】
1.基于云存储的多异构文件联合延迟尾概率凸优化算法,其特征在于,包括如下步骤:
步骤S1:在ni个存储节点Si上分布存储一组r文件,索引为i=1,2,L,r,根据文件索引i将每个文件划分为ki个固定大小的数据块,使用(ni,ki)MDS擦除代码对其进行编码,生成与文件索引i相同大小的ni个不同编码块,将编码块分配并存储在ni个不同的存储节点Si上;
步骤S2:以预定概率P(Ai)将文件重建请求发送到对应的存储节点Si处,其中每个存储节点在本地队列中缓冲请求并按顺序处理;
步骤S3:量化具有任意服务时间分布的擦除编码中的尾延迟,建立联合延迟尾概率模型,计算调度概率π、文件的放置参数S和辅助参数t;
步骤S4:对联合延迟尾概率模型进行优化尾延迟。
2.根据权利要求1所述的基于云存储的多异构文件联合延迟尾概率凸优化算法,其特征在于:所述步骤S2具体为:
S21:当文件重建请求到达时,随机选择具有已知概率的可用编码块的存储节点,并将编码块请求分派给每个选定的存储节点;
S22:每个存储节点独立管理其本地队列,并按顺序继续处理请求,如果文件请求的所有编码块请求都由单个节点处理,则该文件请求将完成。
3.根据权利要求2所述的基于云存储的多异构文件联合延迟尾概率凸优化算法,其特征在于:所述步骤3具体为:
S31:设定编码块请求在存储节点j中花费的时间为Qj,根据随机选择的存储节点集的最大编码块响应时间确定文件i请求的响应时间,用Li表示;
S32:根据编码块请求在存储节点j处的到达形成速率和服务器处理单个块的服务时间的矩生成函数,计算存储节点j处的逗留时间的Laplace-Stieltjes变换:
s=σ+jt
其中,Qj是节点j的逗留时间,ρj是存储节点j的请求强度,Λj是存储节点j的到达率,s表示节点随时间的...
【专利技术属性】
技术研发人员:许小媛,刘芳,李海波,
申请(专利权)人:江苏开放大学江苏城市职业学院,
类型:发明
国别省市:江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。