System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于算力网关的云存储场景冷热数据快速转发的方法及装置制造方法及图纸_技高网

基于算力网关的云存储场景冷热数据快速转发的方法及装置制造方法及图纸

技术编号:40984028 阅读:3 留言:0更新日期:2024-04-18 21:29
本发明专利技术公开基于算力网关的云存储场景冷热数据快速转发方法及装置,其中,该方法包括:在边缘云NPE下挂算力网关,作为用户存储访问的边缘网关;用户通过HTTP方式请求存储对象中的数据文件,DNS解析返回算力网关在用户VPN中的IP地址给NPE;算力网关缓存本地用户所有元数据,将用户对数据文件的HTTP访问请求映射为存储对象+物理地址;算力网关将用户对数据文件的HTTP访问请求转发到存储VPN;算力网关通过L3VPN接入云专网,学习所有数据中心的VPN路由,从而将用户对数据文件的HTTP访问请求转发到数据中心的业务网关。该方法及装置将用户的冷热数据自动重定向到最终云存储资源池,减少网络路由跳数,提高算力路由效率,进而降低用户请求时延,提高服务质量。

【技术实现步骤摘要】

本专利技术涉及云存储场景领域,尤其是基于算力网关的云存储场景冷热数据快速转发的方法及装置


技术介绍

1、云服务提供商在对消费者提供存储服务时,数据文件会存放在数据中心,而数据中心最大的成本是电力,为降低成本,通常云服务提供商会对数据文件的存取频率进行分析,将长期不用的数据文件作为冷数据,复制到电力成本较低的数据中心,而将使用频率较高的数据文件作为热数据,存放在就近的数据中心,同时,数据文件的存储位置作为元数据存放在区域运营中心的数据库中。

2、图1是目前用户访问云存储文件的情况,用户的数据存放在资源池a中,但是现有的负载均衡不能根据对象存储的实际物理存储位置进行负载路由,只是简单地负载到了多个代理上,比如将请求转发到资源池b。同时,资源池b的分布式代理只缓存一部分元数据。因此资源池b的代理也可能要和中心代理交互,查询租户对象存储具体位置,存在网络访问路径绕转的情况。这种情况下,云网络路由效率较低,端到端网络时延大,用户体验不好。

3、算力网关作为算力资源提供方及消费方接入算力网络的边界设备,提供算力资源状态感知、传播及目标寻址功能,维护算力服务的拓扑信息以及算力资源和网络资源的实时状态信息,平衡了数据存取的效率和成本,是东数西存的战略落地的必要基础设施。


技术实现思路

1、为解决当前云服务提供商在云存储场景存在的寻址效率低,机械转发导致的路由绕转,用户体验时延大等问题,本专利技术提供基于算力网关的云存储场景冷热数据快速转发的方法及装置,使用算力网关可以将用户的冷热数据自动直接重定向到最终云存储资源池,减少应用的网络路由跳数,提高算力路由效率,进而达到降低用户请求时延,提高服务质量的目的。

2、为实现上述目的,本专利技术采用下述技术方案:

3、在本专利技术一实施例中,提出了基于算力网关的云存储场景冷热数据快速转发的方法,该方法包括:

4、在边缘云npe下挂算力网关,作为用户存储访问的边缘网关;

5、用户通过http方式请求存储对象中的数据文件,dns解析返回算力网关在用户vpn中的ip地址给npe;

6、算力网关缓存本地用户所有元数据,将用户对数据文件的http访问请求映射为存储对象+物理地址;

7、算力网关将用户对数据文件的http访问请求转发到存储vpn;

8、算力网关通过l3vpn接入云专网,学习所有数据中心的vpn路由,从而将用户对数据文件的http访问请求转发到数据中心的业务网关。

9、进一步地,算力网关包括vrouter模块、http反向代理模块和bgp服务模块,vrouter模块用于路由转发;bgp服务模块用于将每个用户vpn中的算力网关的ip地址发布给npe;http反向代理模块用于根据用户对数据文件的http访问请求,查询存储云数据库,获取存储对象实际的物理地址,将用户对数据文件的http访问请求转发至存储vpn,并将实际存储对象的业务网关的ip地址作为目的进行转发,最终获取实际存储对象,并返回给用户。

10、进一步地,http反向代理模块和bgp服务模块基于linux 4.8以上版本的内核能力,可以监听多个用户侧vrf。

11、进一步地,linux上为每个用户建立一个用户侧vrf,存储侧建立一个全局存储vrf,与vrouter模块上对应vrf连接。

12、在本专利技术一实施例中,还提出了基于算力网关的云存储场景冷热数据快速转发的装置,该装置包括:

13、dns,用于解析用户对存储对象中的数据文件的http访问请求,返回算力网关在用户vpn中的ip地址给npe;

14、算力网关,用于缓存本地用户所有元数据,将用户对数据文件的http访问请求映射为存储对象+物理地址;将用户对数据文件的http访问请求转发到存储vpn;通过l3vpn接入云专网,学习所有数据中心的vpn路由,从而将用户对数据文件的http访问请求转发到数据中心的业务网关。

15、进一步地,算力网关包括vrouter模块、http反向代理模块和bgp服务模块,vrouter模块用于路由转发;bgp服务模块用于将每个用户vpn中的算力网关的ip地址发布给npe;http反向代理模块用于根据用户对数据文件的http访问请求,查询存储云数据库,获取存储对象实际的物理地址,将用户对数据文件的http访问请求转发至存储vpn,并将实际存储对象的业务网关的ip地址作为目的进行转发,最终获取实际存储对象,并返回给用户。

16、进一步地,http反向代理模块和bgp服务模块基于linux 4.8以上版本的内核能力,可以监听多个用户侧vrf。

17、进一步地,linux上为每个用户建立一个用户侧vrf,存储侧建立一个全局存储vrf,与vrouter模块上对应vrf连接。

18、在本专利技术一实施例中,还提出了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现前述基于算力网关的云存储场景冷热数据快速转发的方法。

19、在本专利技术一实施例中,还提出了一种计算机可读存储介质,计算机可读存储介质存储有执行基于算力网关的云存储场景冷热数据快速转发的方法的计算机程序。

20、有益效果:

21、1、本专利技术通过一个算力网关实例能够支持多个用户,部署方式简洁,资源占用少,易于进行水平扩张。

22、2、本专利技术的端到端网络路径短,路由直达,无绕转,转发效率更高,对网络带宽浪费少。

23、3、本专利技术的网络全部通过路由方式打通,相比通过nat的方式,配置简洁清晰,步骤少,易于理解和维护。

24、4、本专利技术在vrouter.vpp(vrouter的一个具体实现)上使用vrf与linux上用户vrf连接,方案通用性、扩展性好,可以比较容易支持其它业务类型。

25、5、本专利技术在vpn内路由隔离,不需要nat修改ip头,支持bgp md5,安全性好,容易被客户接受。

本文档来自技高网...

【技术保护点】

1.基于算力网关的云存储场景冷热数据快速转发的方法,其特征在于,该方法包括:

2.根据权利要求1所述的基于算力网关的云存储场景冷热数据快速转发的方法,其特征在于,所述算力网关包括vRouter模块、HTTP反向代理模块和BGP服务模块,VRouter模块用于路由转发;BGP服务模块用于将每个用户VPN中的算力网关的IP地址发布给NPE;HTTP反向代理模块用于根据用户对数据文件的HTTP访问请求,查询存储云数据库,获取存储对象实际的物理地址,将用户对数据文件的HTTP访问请求转发至存储VPN,并将实际存储对象的业务网关的IP地址作为目的进行转发,最终获取实际存储对象,并返回给用户。

3.根据权利要求2所述的基于算力网关的云存储场景冷热数据快速转发的方法,其特征在于,所述HTTP反向代理模块和BGP服务模块基于Linux 4.8以上版本的内核能力,可以监听多个用户侧VRF。

4.根据权利要求3所述的基于算力网关的云存储场景冷热数据快速转发的方法,其特征在于,所述Linux上为每个用户建立一个用户侧VRF,存储侧建立一个全局存储VRF,与VRouter模块上对应VRF连接。

5.基于算力网关的云存储场景冷热数据快速转发的装置,其特征在于,该装置包括:

6.根据权利要求5所述的基于算力网关的云存储场景冷热数据快速转发的装置,其特征在于,所述算力网关包括vRouter模块、HTTP反向代理模块和BGP服务模块,VRouter模块用于路由转发;BGP服务模块用于将每个用户VPN中的算力网关的IP地址发布给NPE;HTTP反向代理模块用于根据用户对数据文件的HTTP访问请求,查询存储云数据库,获取存储对象实际的物理地址,将用户对数据文件的HTTP访问请求转发至存储VPN,并将实际存储对象的业务网关的IP地址作为目的进行转发,最终获取实际存储对象,并返回给用户。

7.根据权利要求6所述的基于算力网关的云存储场景冷热数据快速转发的装置,其特征在于,所述HTTP反向代理模块和BGP服务模块基于Linux 4.8以上版本的内核能力,可以监听多个用户侧VRF。

8.根据权利要求7所述的基于算力网关的云存储场景冷热数据快速转发的装置,其特征在于,所述Linux上为每个用户建立一个用户侧VRF,存储侧建立一个全局存储VRF,与VRouter模块上对应VRF连接。

9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-4任一项所述方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1-4任一项所述方法的计算机程序。

...

【技术特征摘要】

1.基于算力网关的云存储场景冷热数据快速转发的方法,其特征在于,该方法包括:

2.根据权利要求1所述的基于算力网关的云存储场景冷热数据快速转发的方法,其特征在于,所述算力网关包括vrouter模块、http反向代理模块和bgp服务模块,vrouter模块用于路由转发;bgp服务模块用于将每个用户vpn中的算力网关的ip地址发布给npe;http反向代理模块用于根据用户对数据文件的http访问请求,查询存储云数据库,获取存储对象实际的物理地址,将用户对数据文件的http访问请求转发至存储vpn,并将实际存储对象的业务网关的ip地址作为目的进行转发,最终获取实际存储对象,并返回给用户。

3.根据权利要求2所述的基于算力网关的云存储场景冷热数据快速转发的方法,其特征在于,所述http反向代理模块和bgp服务模块基于linux 4.8以上版本的内核能力,可以监听多个用户侧vrf。

4.根据权利要求3所述的基于算力网关的云存储场景冷热数据快速转发的方法,其特征在于,所述linux上为每个用户建立一个用户侧vrf,存储侧建立一个全局存储vrf,与vrouter模块上对应vrf连接。

5.基于算力网关的云存储场景冷热数据快速转发的装置,其特征在于,该装置包括:

6.根据权利要求5所述的基于算力网关的云存储场景冷热数据...

【专利技术属性】
技术研发人员:李江涛蔡旭晖张新纪
申请(专利权)人:中盈优创资讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1