一种数据回源的方法、装置及边缘服务器制造方法及图纸

本发明专利技术实施例公开了一种数据回源的方法、装置及边缘服务器，该方法中，第一边缘服务器接收前端设备发送的多个下载请求，对下载请求中的数据区间进行合并，获得总数据区间，确定合并后可覆盖所述总数据区间的各分段数据为所需分段数据，向后端设备获取所述第一边缘服务器本地未存储的所需分段数据，针对每一个下载请求，将所需分段数据中的该下载请求所请求下载的数据传输到对应的前端设备中。由于本发明专利技术实施例将多个前端设备发送的对同一待下载文件的下载请求进行了合并，确定合并后可覆盖所述总数据区间的各所需分段数据，只从后端设备下载本地没有的所需分段数据，能够针对回源某一文件部分数据的情况，减少数据回源对网络带宽的消耗。

【技术实现步骤摘要】

本专利技术涉及数据传输领域，特别涉及一种数据回源的方法、装置及边缘服务器。
技术介绍
目前，数据存储网络普遍采用分层的拓扑结构，其中:由一个或几个中心存储服务器集群作为中心存储器，存储全部的数据，这些存储器是不对客户端服务的；中心存储器连接边缘服务器，中心存储器不对客户端服务，由边缘服务器对客户端提供服务。由于边缘服务器不可能存储全部数据，因此，会出现客户端设备向边缘服务器请求数据而该服务器没有相应数据的情况。此时，边缘服务器就需要向后端的中心存储器请求数据，并将所请求到的数据转发给客户端设备，这个边缘服务器向后端的中心存储器请求数据再转发给客户端设备的过程就被称为:数据回源。在现有技术中，若客户端只需要一个文件的某一个部分的数据，边缘服务器仍会下载该文件的全部数据，并存储该文件的全部数据，然后把用户需要的那部分转发给用户，这样就会多下载用户不需要的文件数据，造成了带宽浪费；其次，边缘服务器不会存储所述完整文件数据中的用户需要的那部分文件数据，当有客户端再次请求该部分数据时，则需要边缘服务器重新进行数据回源，也会对带宽造成浪费；再次，如果遇到同时有多个用户请求回源同一个数据时，边缘服务器会向后端的中心存储器进行多次数据回源操作，回源相同的数据，会造成效率低下和带宽的浪费的问题；最后，在现有的数据回源技术中，边缘服务器对每个客户端的数据请求按照请求其到达边缘服务器的先后顺序，依次进行数据回源，而不区分每个客户端的数据请求的优先级，如果先来的请求是个优先级低的请求，后来的请求是个优先级高的请求，则先来的优先级低的请求会抢占带宽，影响用户体验。【专利技术内容】本专利技术实施例的目的在于提供一种数据回源的方法、装置及边缘服务器，能够针对回源某一文件部分数据的情况，减少数据回源对网络带宽的消耗。为达到上述目的，本专利技术实施例公开了一种文件回源的方法，应用于第一边缘服务器，所述第一边缘服务器与前端设备以及后端设备连接，所述前端设备为客户端设备或第二边缘服务器，所述后端设备为第三边缘服务器或中心存储器，其中，所述后端设备和所述第一边缘服务器中均存储有文件的分段数据，所述方法包括:步骤S1、接收所述前端设备发送的多个下载请求，各个所述下载请求中均包含有所请求下载的数据所属的目标文件的文件标识和所请求的数据区间，所述下载请求所请求下载的数据均来自同一个目标文件；步骤S2、对下载请求中的数据区间进行合并，获得总数据区间；步骤S3、确定合并后可覆盖所述总数据区间的各分段数据，将可覆盖所述总数据区间的各分段数据确定为所需分段数据；步骤S4、向所述后端设备获取所述第一边缘服务器本地未存储的所需分段数据；步骤S5、针对每一个下载请求，将所述所需分段数据中的该下载请求所请求下载的数据提取出，传输到发送该下载请求的前端设备中。较佳的，所述步骤S4，包括:步骤S4.1、将所述总数据区间按照预设的划分规则，划分为多个子区间；步骤S4.2、针对每一个子区间，判断本地是否存储有包含该子区间所对应的数据的所需分段数据，若否，则向所述后端设备获取所述所需分段数据。较佳的，各个所述下载请求中还均包含有该下载请求的优先级信息，在所述步骤S4.1之后、所述步骤S4.2之前，还包括:步骤S4.11、根据每个下载请求的优先级标识信息，确定每个所述子区间的优先级；相应的，所述步骤S4.2，包括:按照所述子区间的优先级从高到低的顺序，依次选取每个子区间作为当前子区间，在本地所有具有所述文件标识的分段数据中，查找是否存在包含该当前子区间所对应的数据的所需分段数据，若否，则向所述后端设备获取所述所需分段数据，并读取所述所需分段数据，若是，则从本地直接读取所述所需分段数据；所述步骤S5，包括:确定请求该当前子区间内的数据的下载请求，从所述读取的所需分段数据中读取所确定的各下载请求所请求下载的数据，将读取的数据传输到发送所确定的下载请求的前端设备中。较佳的，所述步骤S4.11，包括:对每个子区间:将请求该子区间对应数据的优先级最高的下载请求的优先级，确定为该子区间的优先级。较佳的，在所述向所述后端设备获取所述所需分段数据之后，还包括:将所述获取的所述所需分段数据保存在本地。本专利技术实施例还公开了一种文件回源的装置，应用于第一边缘服务器，所述第一边缘服务器与前端设备以及后端设备连接，所述前端设备为客户端设备或第二边缘服务器，所述后端设备为第三边缘服务器或中心存储器，其中，所述后端设备和所述第一边缘服务器中均存储有文件的分段数据，所述装置包括:下载请求接收模块，用于接收所述前端设备发送的多个下载请求，各个所述下载请求中均包含有所请求下载的数据所属的目标文件的文件标识和所请求的数据区间，所述下载请求所请求下载的数据均来自同一个目标文件；区间合并模块，用于对下载请求中的数据区间进行合并，获得总数据区间；所需分段数据确定模块，用于确定合并后可覆盖所述区间合并模块获得的总数据区间的各分段数据，将可覆盖所述总数据区间的各分段数据确定为所需分段数据；所需分段数据获取模块，用于向所述后端设备获取所述第一边缘服务器本地未存储的所需分段数据；数据发送模块，用于针对每一个下载请求，将所述所需分段数据中的该下载请求所请求下载的数据提取出，传输到发送该下载请求的前端设备中。较佳的，所述所需分段数据获取模块，包括:子区间划分子模块，用于将所述总数据区间按照预设的划分规则，划分为多个子区间；子区间所需分段数据获取子模块，用于针对每一个子区间，判断本地是否存储有包含该子区间所对应的数据的所需分段数据，若否，则向所述后端设备获取所述所需分段数据。较佳的，各个所述下载请求中还均包含有该下载请求的优先级信息，所述所需分段数据获取模块，还包括:子区间优先级确定子模块，用于根据每个下载请求的优先级标识信息，确定每个所述子区间的优先级；所述子区间所需分段数据获取子模块，具体用于按照所述子区间的优先级从高到低的顺序，依次选取每个子区间作为当前子区间，在本地中所有具有所述文件标识的分段数据中，查找是否存在包含该当前子区间所对应的数据的所需分段数据，若否，则向所述后端设备获取所述所需分段数据，并读取所述所需分段数据，若是，则从本地直接读取所述所需分段数据；所述数据发送模块，具体用于确定请求该当前子区间内的数据的下载请求，从所述读取的所需分段数据中读取所确定的各下载请求所请求下载的数据，将读取的数据传输到发送所确定的下载请求的前端设备中。较佳的，所述子区间优先级确定模块，具体用于对每个子区间:将请求该子区间对应数据的优先级最高的下载请求的优先级，确定为该子区间的优先级。本专利技术实施例还公开了一种边缘服务器，将所述边缘服务器记为第一边缘服务器，所述第一边缘服务器与前端设备以及后端设备连接，所述前端设备为客户端设备或第二边缘服务器，所述后端设备为第三边缘服务器或中心存储器，其中当前第1页1 2 3 4 5 本文档来自技高网...

【技术保护点】
一种文件回源的方法，其特征在于，应用于第一边缘服务器，所述第一边缘服务器与前端设备以及后端设备连接，所述前端设备为客户端设备或第二边缘服务器，所述后端设备为第三边缘服务器或中心存储器，其中，所述后端设备和所述第一边缘服务器中均存储有文件的分段数据，所述方法包括：步骤S1、接收所述前端设备发送的多个下载请求，各个所述下载请求中均包含有所请求下载的数据所属的目标文件的文件标识和所请求的数据区间，所述下载请求所请求下载的数据均来自同一个目标文件；步骤S2、对下载请求中的数据区间进行合并，获得总数据区间；步骤S3、确定合并后可覆盖所述总数据区间的各分段数据，将可覆盖所述总数据区间的各分段数据确定为所需分段数据；步骤S4、向所述后端设备获取所述第一边缘服务器本地未存储的所需分段数据；步骤S5、针对每一个下载请求，将所述所需分段数据中的该下载请求所请求下载的数据提取出，传输到发送该下载请求的前端设备中。

【技术特征摘要】

【专利技术属性】
技术研发人员：张硕，王大伟，何广，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11