一种分布式存储系统自适应防御的方法技术方案

技术编号:43086630 阅读:25 留言:0更新日期:2024-10-26 09:35
本发明专利技术公开了一种分布式存储系统自适应防御的方法,该方法通过在分布式存储系统内的各核心节点、数据流经的核心路径增加防御检测,用主动拒绝的方式快速返回响应给上层;当不满足防御检测时返回Backoff,有助于上层进一步决策;在处理Backoff时,采用Reprocess机制,启动自适应方法,保证请求成功率、用户体验的同时,避免无效重试,在系统异常时快速处理请求,减轻系统负载;该方法不仅适用于系统提供的对外服务,对外适时限流自我防御,而且适用于系统内部核心模块之间的交互,模块交互、数据读写时先进行防御检测,保证系统内部的请求调用顺利进行、进入系统的请求能被尽快妥善处理,充分考虑了分布式存储系统内部核心模块之间的调用、核心数据的流转路径。

【技术实现步骤摘要】

本专利技术涉及软件工程,尤其涉及一种分布式存储系统自适应防御的方法


技术介绍

1、随着近些年来移动、产业互联网的爆发式增长,云计算、大数据、ai等技术的蓬勃发展离不开海量数据与分布式存储系统,分布式存储系统的优势在于:并行处理能力强、可扩展性高、系统可用性高、数据持久性高。海量数据存储使分布式存储系统的规模越来越大,大型系统涉及到的服务器数量成千上万,磁盘等硬件数量更是数以万计,而且多跨地域部署。如此庞大的系统在正常运行时,可能发生的服务器宕机、硬件损坏、进程崩溃、机房断电等故障属于结果确定型的,因为一旦发生,故障点确定无法继续提供服务。

2、往往系统在设计实现初期就会考虑此类故障的容错,从而当问题发生时,对系统可用性、服务质量影响较小,甚至无影响;但是庞大、复杂的分布式存储系统在长期高负载运行中会出现各种问题,存在设计时无法预知、无法被归类于结果确定型的故障。此类异常在本专利技术中被统称为非确定型异常,例如:某台服务器连接数暴增、某地机房网络延时显著增加、某些磁盘过热,读写变慢、某个进程线程数暴增等,这些情况的发生通常是一个累积过程,系统一本文档来自技高网...

【技术保护点】

1.一种分布式存储系统自适应防御的方法,其特征在于:在元数据节点、存储节点增加防御模块,在计算节点增加防御模块、自适应模块,使得在请求到达计算节点、元数据节点、存储节点时,首先做防御检测,只有通过防御检测才会继续处理请求,没有通过防御检测的请求返回Backoff,代表此节点目前不接受新请求,处于自我防御状态,用主动拒绝的方式快速返回响应给上层,上层启动自适应方法进一步处理。

2.如权利要求1所述的分布式存储系统自适应防御的方法,其特征在于:如果只有某台计算节点发生不确定型异常,其他计算节点正常处理请求,系统正常对外提供服务。

3.如权利要求1所述的分布式存储系统自...

【技术特征摘要】

1.一种分布式存储系统自适应防御的方法,其特征在于:在元数据节点、存储节点增加防御模块,在计算节点增加防御模块、自适应模块,使得在请求到达计算节点、元数据节点、存储节点时,首先做防御检测,只有通过防御检测才会继续处理请求,没有通过防御检测的请求返回backoff,代表此节点目前不接受新请求,处于自我防御状态,用主动拒绝的方式快速返回响应给上层,上层启动自适应方法进一步处理。

2.如权利要求1所述的分布式存储系统自适应防御的方法,其特征在于:如果只有某台计算节点发生不确定型异常,其他计算节点正常处理请求,系统正常对外提供服务。

3.如权利要求1所述的分布式存储系统自适应防御的方法,其特征在于:客户端收到backoff后进行重试,如果只是系统局部异常,重试存在被正常的计算节点处理的可能性。

4.如权利要求1所述的分布式存储系统自适应防御的方法,其特征在于:分布式存储系统提供的核心接口是读写删接口,针对这三个接口的具体流程为:

5.如权利要求1所述的分布式存储系统自适应防御的方法,其特征在于:...

【专利技术属性】
技术研发人员:魏玮董昌坤江峰杨超李桐
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1