System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、电子设备及存储介质制造方法及图纸_技高网

数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41304382 阅读:3 留言:0更新日期:2024-05-13 14:50
本申请公开了一种数据处理方法,应用于CDN边缘设备,所述方法包括:接收上传客户端发送的数据上传请求;对所述数据上传请求包含的数据基于对应的缓存策略进行缓存;生成第一索引信息,所述第一索引信息包括所述边缘设备的地址、已缓存数据的存储路径以及所述已缓存数据的标识信息;所述第一索引信息用于下载客户端发送针对所述已缓存数据的数据下载请求;所述边缘设备是用于代理数据上传服务的CDN边缘设备中离所述上传客户端最近的边缘设备。本申请的数据处理方法,实现了对数据上传请求包含的数据的缓存,有效地减少了中心服务器的带宽、存储和计算负载压力,直接在边缘设备缓存临时文件,极大地提高了文件上传的速度。

【技术实现步骤摘要】

本申请涉及云计算,具体涉及一种数据处理方法、数据处理装置、电子设备及计算机可读存储介质。


技术介绍

1、云计算是传统的物联网系统数据处理的典型方式。具体来说,用户或终端利用物联网技术将数据资源上传到云端,即中心服务器,利用中心服务器强大的存储能力和计算能力对数据资源进行集中的存储、计算和处理。继而,中心服务器将计算结果反馈给用户,完成云计算处理。

2、传统集中式大数据处理模式更多采用了集中式的数据存储和数据处理,通过建造云计算中心集中式解决计算和存储问题。

3、然而,随着智能终端数量的增长,其产生的数据亦是爆发式增长,传统的基于云计算的集中式数据处理方式大大增加了数据传输的带宽占用,同时增加了中心服务器的存储和计算负载压力。通过部署边缘设备为用户提供应用服务和功能接口,用户可以通过调用这些接口来获取所需的边缘计算服务,然而,在边缘式大数据处理时代,智能终端设备产生的海量实时数据,很多都是临时文件,比如监控摄像头的记录,只需要临时缓存一段时间,为此专门部署一套分布式存储系统来支持分布式上传,将耗费大量的部署成本。


技术实现思路

1、本申请的目的是提供一种数据处理方法、数据处理装置、电子设备及计算机可读存储介质,以用于减轻中心服务器的存储和计算负载压力,同时减少了部署新的分布式存储系统带来的成本浪费。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。

2、根据本申请实施例的一个方面,提供一种数据处理方法,应用于cdn边缘设备,所述方法包括:

3、接收上传客户端发送的数据上传请求;

4、对所述数据上传请求包含的数据基于对应的缓存策略进行缓存;

5、生成第一索引信息,所述第一索引信息包括所述边缘设备的地址、已缓存数据的存储路径以及所述已缓存数据的标识信息;

6、所述第一索引信息用于下载客户端发送针对所述已缓存数据的数据下载请求;

7、所述边缘设备是用于代理数据上传服务的cdn边缘设备中离所述上传客户端最近的边缘设备。

8、在本申请的一些实施例中,所述数据上传请求中还包含有上传鉴权信息和客户信息;

9、在对所述数据上传请求包含的待缓存数据进行缓存之前,所述方法还包括:

10、若根据所述上传鉴权信息所得到的鉴权结果为所述上传客户端具有上传权限,则根据所述客户信息为所述待缓存数据配置缓存时长。

11、在本申请的一些实施例中,所述方法还包括:

12、向中心服务器发送所述第一索引信息以及已缓存数据的被访问信息和/或业务类型;

13、接收所述中心服务器发送的数据获取请求,向所述中心服务器发送所述数据获取请求对应的已缓存数据;

14、接收所述中心服务器生成的第二索引信息,所述第二索引信息至少包括所述边缘设备所属内容分发服务的域名以及所述已缓存数据的标识信息;

15、所述第二索引信息用于替代第一索引信息,以使客户端发送针对所述已缓存数据的数据下载请求。

16、在本申请的一些实施例中,所述方法还包括:

17、接收并处理下载客户端基于第二索引信息发送的数据下载请求;

18、判断是否存在待下载数据;

19、若是,则将所述待下载数据发送给所述下载客户端;

20、若否,则向所述中心服务器获取所述待下载数据后发送给所述下载客户端。

21、在本申请的一些实施例中,所述方法还包括:

22、接收并处理下载客户端基于第一索引信息发送的数据下载请求;

23、判断是否存在待下载数据;

24、若是,则将所述待下载数据发送给所述下载客户端;

25、若否,则向所述下载客户端发送提示所述待下载数据已被删除的信息或错误提示信息。

26、根据本申请实施例的另一个方面,提供一种数据处理方法,应用于中心服务器,所述方法包括:

27、接收边缘设备发送的第一索引信息以及已缓存数据的被访问信息和/或业务类型;

28、向所述边缘设备发送数据获取请求,接收所述边缘设备发送的对应于所述数据获取请求的已缓存数据;

29、生成并向所述边缘设备发送第二索引信息,所述第二索引信息至少包括所述边缘设备所属内容分发服务的域名以及所述已缓存数据的标识信息;

30、所述第二索引信息用于替代第一索引信息,以使客户端发送针对所述已缓存数据的数据下载请求。

31、根据本申请实施例的另一个方面,提供一种数据处理装置,应用于cdn边缘设备,所述装置包括:

32、接收模块,用于接收上传客户端发送的数据上传请求;

33、缓存模块,用于对所述数据上传请求包含的数据基于对应的缓存策略进行缓存;在一个实施例中,上传数据是直接落到cdn缓存目录上的,这样可以通过简单的接口设置,在现有的cdn系统上实现上传和临时存储的功能扩展;

34、生成模块,用于生成第一索引信息,所述第一索引信息包括所述边缘设备的地址、已缓存数据的存储路径以及所述已缓存数据的标识信息;

35、所述第一索引信息用于下载客户端发送针对所述已缓存数据的数据下载请求;

36、所述边缘设备是用于代理数据上传服务的cdn边缘设备中离所述上传客户端最近的边缘设备。

37、根据本申请实施例的另一个方面,提供一种数据处理装置,应用于中心服务器,所述装置包括:

38、接收模块,用于接收边缘设备发送的第一索引信息以及已缓存数据的被访问信息和/或业务类型;

39、发送模块,用于向所述边缘设备发送数据获取请求,

40、所述接收模块,还用于接收所述边缘设备发送的对应于所述数据获取请求的已缓存数据;

41、生成模块,用于生成并向所述边缘设备发送第二索引信息,所述第二索引信息至少包括所述边缘设备所属内容分发服务的域名以及所述已缓存数据的标识信息;

42、所述第二索引信息用于替代第一索引信息,以使客户端发送针对所述已缓存数据的数据下载请求。

43、根据本申请实施例的另一个方面,提供一种电子设备,包括存储有计算机程序的计算机可读存储介质和处理器,所述计算机程序被所述处理器读取并运行时,实现上述任一项所述的方法。

44、根据本申请实施例的另一个方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器读取并运行时,实现上述任一项所述的方法。

45、本申请实施例的其中一个方面提供的技术方案可以包括以下有益效果:

46、本申请实施例提供的数据处理方法,接收上传客户端发送的数据上传请求,对数据上传请求包含的数据基于对应的缓存策略进行缓存,生本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,应用于CDN边缘设备,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据上传请求中还包含有上传鉴权信息和客户信息;

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

6.一种数据处理方法,其特征在于,应用于中心服务器,所述方法包括:

7.一种数据处理装置,其特征在于,应用于CDN边缘设备,所述装置包括:

8.一种数据处理装置,其特征在于,应用于中心服务器,所述装置包括:

9.一种电子设备,其特征在于,包括存储有计算机程序的计算机可读存储介质和处理器,所述计算机程序被所述处理器读取并运行时,实现如权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器读取并运行时,实现如权利要求1-6中任一项所述的方法。

【技术特征摘要】

1.一种数据处理方法,其特征在于,应用于cdn边缘设备,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据上传请求中还包含有上传鉴权信息和客户信息;

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

6.一种数据处理方法,其特征在于,应用于中心服务器,所述方法包括:

7....

【专利技术属性】
技术研发人员:吴斌斌童剑
申请(专利权)人:贵州白山云科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1