一种下载管理设备、方法及数据下载系统技术方案

本发明专利技术公开了一种下载管理设备、方法及数据下载系统，其中，该下载管理设备包括：缓存器，被配置为缓存从数据源节点获得的各个文件以及各个文件的内容摘要，该文件的内容摘要是对文件的内容采用特定数据转换生成的数据；解析器，被配置为获得来自客户端设备的文件下载请求，并根据文件下载请求的下载地址解析出所请求的文件的内容摘要；查找器，被配置为根据文件的内容摘要在缓存器中查找，如果查找到，则将所请求的文件传输至客户端设备；以及回源器，被配置为当在缓存器中没有查找到时，从相关的数据源节点获取所请求的文件，并传输至客户端设备，以及将所请求的文件提供给缓存器进行缓存。

【技术实现步骤摘要】
一种下载管理设备、方法及数据下载系统
本专利技术涉及数据下载
，具体涉及一种用于边缘节点中的下载管理设备、一种数据下载系统，以及一种用于数据下载系统中的下载管理方法。
技术介绍
现有CDN(ContentDeliveryNetwork，内容分发网络)通过将数据分发到各个边缘节点，拉近与客户端的距离来提高数据访问速度。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。但是，由于现有的每个CDN节点都会尽可能地缓存数据源中所有的文件，因此会带来较大的存储成本。而且有些文件的内容并没有发生变化，仅仅是下载地址，如文件的URL发生了变化，按照现有CDN的缓存方式，也会在一个节点中缓存多份内容相同、URL不同的文件，即重复数据缓存，从而进一步导致了存储的成本较高。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的用于边缘节点中的下载管理设备、数据下载系统，以及用于数据下载系统中的下载管理方法。依据本专利技术的一个方面，提供了一种用于边缘节点中的下载管理设备，包括：缓存器，被配置为缓存从数据源节点获得的各个文件以及各个文件的内容摘要，文件的内容摘要是对文件的内容采用特定数据转换生成的数据；解析器，被配置为获得来自客户端设备的文件下载请求，并根据文件下载请求的下载地址解析出所请求的文件的内容摘要；查找器，被配置为根据解析器解析出的所请求的文件的内容摘要在缓存器中查找所请求的文件，如果查找到，则将所请求的文件传输至客户端设备；以及回源器，被配置为当查找器在缓存器中没有查找到所请求的文件时，从所请求的文件相关的数据源节点获取所请求的文件，并传输至客户端设备，以及将所请求的文件提供给缓存器进行缓存。可选的，回源器适于逐个部分地从数据源节点获取所请求的文件的各部分，并同时向客户端设备传输所请求的文件中所获取的部分，直到完全获取了所请求的文件为止。可选的，回源器包括：数据源查询模块，被配置为根据已知的回源表和所请求的文件的下载地址查询所请求的文件相关的数据源节点；直接回源模块，被配置为当边缘节点为第一运营商网络的边缘节点，并且所查询到的所请求的文件相关的数据源节点包括第一运营商网络的数据源节点时，直接从第一运营商网络的数据源节点获取所请求的文件；代理回源模块，被配置为当边缘节点为第一运营商网络的边缘节点，并且所查询到的所请求的文件相关的数据源节点是第二运营商网络的数据源节点时，通过第一运营商网络至第二运营商网络的代理集群从第二运营商网络相关的数据源节点获取所请求的文件；以及缓存通知模块，被配置为将通过直接回源模块或代理回源模块获取到所请求的文件之后，通知缓存器对所请求的文件进行缓存。可选的，文件的内容摘要包括：安全哈希演算sha系列数据中的一种，或，信息摘要演算MD系列数据中的一种。可选的，下载管理设备是varniash缓存服务器。根据本专利技术的又一方面，提供了一种数据下载系统，包括边缘节点、为不同运营商网络之间提供信息交互服务的代理集群，以及数据源节点，其中边缘节点包括以上所述的下载管理设备。可选的，还包括：以上所述的用于提供文件下载地址的管理设备，边缘节点接收到的文件下载请求的下载地址由用于提供文件下载地址的管理设备所提供。可选的，为不同运营商网络之间提供信息交互服务的代理集群包括第一运营商网络至第二运营商网络的代理集群，以及第二运营商网络至第一运营商网络的代理集群，其中，第一运营商网络至第二运营商网络的代理集群包括：边缘侧第一运营商网络代理集群，被配置为接收来自第一运营商网络的边缘节点的文件下载请求，以及向第一运营商网络的边缘节点返回所请求的文件；传输通道，被配置为从边缘侧第一运营商网络代理集群向源侧第二运营商网络代理集群传输信息，以及从源节点侧第二运营商网络代理集群向边缘侧第一运营商网络代理集群传输信息；以及源节点侧第二运营商网络代理集群，被配置为根据通过传输通道接收的来自边缘侧第一运营商网络代理集群的文件下载请求，向第二运营商网络相关的数据源节点发送文件下载请求，以及接收第二运营商网络相关的数据源节点返回的所请求的文件，并通过传输通道传输至边缘侧第一运营商网络代理集群；第二运营商网络至第一运营商网络的代理集群包括：边缘侧第二运营商网络代理集群，被配置为接收来自第二运营商网络的边缘节点的文件下载请求，以及向第二运营商网络的边缘节点返回所请求的文件；传输通道，被配置为从边缘侧第二运营商网络代理集群向源节点侧第一运营商网络代理集群传输信息，以及从源节点侧第一运营商网络代理集群向边缘侧第二运营商网络代理集群传输信息；以及源节点侧第一运营商网络代理集群，被配置为根据通过传输通道接收的来自边缘侧第二运营商网络代理集群的文件下载请求，向第一运营商网络相关的数据源节点发送文件下载请求，以及接收第一运营商网络相关的数据源节点返回的所请求的文件，并通过传输通道传输至边缘侧第二运营商网络代理集群。根据本专利技术的另一方面，提供了一种用于数据下载系统中的下载管理方法，数据下载系统至少包括边缘节点和数据源节点，该下载管理方法包括：边缘节点获得来自客户端设备的文件下载请求，并根据文件下载请求的下载地址解析出所请求的文件的内容摘要；边缘节点根据所请求的文件的内容摘要在缓存中查找是否存在所请求的文件，如果存在，则将所请求的文件传输至客户端设备；以及如果在缓存中没有查找到所请求的文件，则边缘节点从所请求的文件相关的数据源节点获取所请求的文件，并传输至客户端设备；边缘节点缓存从数据源节点获得的文件以及文件的内容摘要，文件的内容摘要是对文件的内容采用特定数据转换生成的数据。根据本专利技术的实施例，可以将从所请求文件下载地址解析出的文件内容摘要作为缓存文件查询依据，在缓存中查询是否已经存储了所请求的文件，而不是根据文件的整个URL作为索引查询，同理，在缓存中存储文件时也是根据文件的内容摘要是否相同判断是否为同一份文件。因此，如果两个文件的URL不同，但文件的内容数据实质相同，那么该文件的内容摘要就是相同的，进而，如果该文件此前已经在边缘节点中缓存过了，那么后续即便是客户端设备再发来一个不同的文件下载地址URL，只要该文件的内容摘要和缓存中的一致，那么边缘节点也不会再去数据源节点重复下载该文件，而是直接根据该文件的内容摘要从缓存中找到该文件提供给客户端设备。由此，一方面减少了缓存中的重复数据，另一方面也提高了为客户端设备下载文件的效率。进一步，边缘节点通过代理集群从数据源节点获取文件，当文件较大时，可以逐个部分的从数据源节点获取所请求文件的各部分，并同时向客户端设备传输所请求文件中已获取的部分，即非阻塞模式的回源，可以实现边缓存边让客户端设备下载。避免了使用CDN时，需要等到整个文件完全缓存才能下载的问题，整个过程客户端设备不用等待。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过本文档来自技高网...

【技术保护点】
一种用于边缘节点中的下载管理设备，包括：缓存器，被配置为缓存从数据源节点获得的各个文件以及各个文件的内容摘要，所述文件的内容摘要是对所述文件的内容采用特定数据转换生成的数据；解析器，被配置为获得来自客户端设备的文件下载请求，并根据所述文件下载请求的下载地址解析出所请求的文件的内容摘要；查找器，被配置为根据所述解析器解析出的所述所请求的文件的内容摘要在所述缓存器中查找所请求的文件，如果查找到，则将所请求的文件传输至客户端设备；以及回源器，被配置为当所述查找器在所述缓存器中没有查找到所请求的文件时，从所请求的文件相关的数据源节点获取所请求的文件，并传输至所述客户端设备，以及将所请求的文件提供给所述缓存器进行缓存。

【技术特征摘要】
1.一种用于边缘节点中的下载管理设备，包括：缓存器，被配置为缓存从数据源节点获得的各个文件以及各个文件的内容摘要，所述文件的内容摘要是对所述文件的内容采用特定数据转换生成的数据；解析器，被配置为获得来自客户端设备的文件下载请求，并根据所述文件下载请求的下载地址解析出所请求的文件的内容摘要；查找器，被配置为根据所述解析器解析出的所述所请求的文件的内容摘要在所述缓存器中查找所请求的文件，如果查找到，则将所请求的文件传输至客户端设备；以及回源器，被配置为当所述查找器在所述缓存器中没有查找到所请求的文件时，从所请求的文件相关的数据源节点获取所请求的文件，并传输至所述客户端设备，以及将所请求的文件提供给所述缓存器进行缓存。2.如权利要求1所述的下载管理设备，所述回源器适于逐个部分地从所述数据源节点获取所请求的文件的各部分，并同时向所述客户端设备传输所请求的文件中所获取的部分，直到完全获取了所请求的文件为止。3.如权利要求1或2所述的下载管理设备，所述回源器包括：数据源查询模块，被配置为根据已知的回源表和所请求的文件的下载地址查询所述所请求的文件相关的数据源节点；直接回源模块，被配置为当所述边缘节点为第一运营商网络的边缘节点，并且所查询到的所请求的文件相关的数据源节点包括所述第一运营商网络的数据源节点时，直接从所述第一运营商网络的数据源节点获取所请求的文件；代理回源模块，被配置为当所述边缘节点为第一运营商网络的边缘节点，并且所查询到的所请求的文件相关的数据源节点是第二运营商网络的数据源节点时，通过所述第一运营商网络至第二运营商网络的代理集群从所述第二运营商网络相关的数据源节点获取所请求的文件；以及缓存通知模块，被配置为将通过所述直接回源模块或代理回源模块获取到所请求的文件之后，通知所述缓存器对所请求的文件进行缓存。4.如权利要求1至3中任一项所述的下载管理设备，所述文件的内容摘要包括：安全哈希演算sha系列数据中的一种，或，信息摘要演算MD系列数据中的一种。5.如权利要求1至4中任一项所述的下载管理设备，所述下载管理设备是varniash缓存服务器。6.一种数据下载系统，包括边缘节点、为不同运营商网络之间提供信息交互服务的代理集群，以及数据源节点，其中所述边缘节点包括如权利要求1至5中任一项所述下载管理设备。7.根据权利要求6所述的系统，还包括：用于提供文件下载地址的管理设备，所述边缘节点接收到的文件下载请求的下载地址由所述用于提供文件下载地址的管理设备所提供；其中，所述用于提供文件下载地址的管理设备包括：资源定位器，被配置为根据文件在数据源节点中的存储路径生成所述文件的资源定位信息；摘要生成器，被配置为对所述文件的内容采用特定数据转换生成所述文件的内容摘要；以及下载地址生成器，被配置为至少根据所述资源定位器提供的...

【专利技术属性】
技术研发人员：徐铁城，陈超，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11