分层高速缓存填充制造技术

本发明专利技术的一个实施例提出了用于在服务器网络内复制文件的技术。该技术包括确定区域服务器集群中所包括的一个或多个区域主服务器，并且使得每个区域主服务器从填充源中获取文件。该技术还包括：针对区域服务器集群中所包括的至少一个本地服务器集群，确定至少一个本地服务器集群中所包括的一个或多个本地主服务器，并且使得每个本地主服务器从一个或多个区域主服务器的一个区域主服务器中获取文件。

Layered cache filling

One of the embodiments of the invention provides a technique for copying files within a server network. The technology includes determining one or more regional master servers included in the regional server cluster, and enabling each regional master server to get files from the filled source. The technology includes: the regional server cluster of at least one of the local server cluster, determining at least one local server in the cluster includes one or more local servers, and allows each local master server to retrieve files from one or more regions of the main server in an area of main server.

【技术实现步骤摘要】
【国外来华专利技术】分层高速缓存填充相关申请的交叉引用本公开要求享有于2015年4月30日提交的序列号为62/155,430且代理人案号为NETF/0094USL的美国临时专利申请、以及于2016年3月10日提交的序列号为15/067,099且代理人案号为NETF/0094US的美国专利申请的权益。这些相关申请的主题通过引用结合于此。
本专利技术的实施例一般地涉及计算机网络上的数据传输，并且更具体地，涉及分层高速缓存填充。
技术介绍
许多基于web的应用通过互联网以分布式的方式提供诸如流式音频和/或流式视频之类的服务。一般而言，这种应用通过在位于一个或多个网络位置的多个服务器上分发每个内容标题(例如，音频文件或视频文件)的多个副本来进行操作。通过在多个服务器之间镜像内容，该内容可以被大量用户访问，而这些用户不需要经历显着的等待时间。此外，维护特定内容标题的多个副本使得基于web的应用在关于特定服务器的硬件或软件故障发生时能够快速且无缝地恢复。为了进一步减少与向用户提供内容标题相关联的延迟时间和总体网络需求，其上存储内容标题的服务器通常在地理上分布在由web应用服务的一个或多个区域中。web应用然后被配置为将每个用户引导到位于用户附近的特定服务器，以便更有效地向用户提供内容标题。管理在大的地理区域内或跨越不同地理区域分布的服务器上所存储的内容标题可能带来若干挑战。具体地，将给定的内容标题复制到位于大地理区域的多个服务器可能会消耗大量的网络资源，例如，带宽。网络资源的消耗增加了基于web的应用的成本，特别是当全部或部分网络基础设施是由第三方提供的时候。另外，用于将给定内容标题复制到多个服务器的传统技术通常会导致最先接收内容标题的服务器在带宽使用和处理负载方面经历显着的波动，例如，当其他网络服务器以对内容标题的副本的请求“淹没(flood)”最先接收内容标题的服务器时。这种波动会对这些“初始的”服务器的性能产生负面影响，这会降低通过初始的服务器向访问基于web的应用的用户提供的服务的质量和/或导致初始的服务器经历软件和/或硬件故障。如前所述，用于在服务器网络上分发内容的改进技术将是有用的。
技术实现思路
本专利技术的一个实施例提出了一种用于在服务器网络内复制文件的方法。该方法包括确定区域服务器集群中所包括的一个或多个区域主服务器，并且使得每个区域主服务器从填充源获取文件。该方法还包括：针对区域服务器集群中所包括的至少一个本地服务器集群，确定至少一个本地服务器集群中所包括的一个或多个本地主服务器，并且使得每个本地主服务器从一个或多个区域主服务器中的一个区域主服务器中获取文件。除此之外，另外的实施例提供了被配置为实施上述方法的控制服务器和非暂态计算机可读介质。所公开的技术的至少一个优点是可以经由特定的内容服务器层以可预测的、分散式的和高度容错的方式在网络中复制每个文件，而不需要维护主索引的实体。另外，可以将预定延迟分配给每层，以便防止较低层淹没较高层所包括的内容服务器，这降低了通过网络基础设施复制新文件或现有文件时的服务器负载波动的严重性。此外，因为每层所包括的内容服务器是基于与文件相关联的标识符来确定的，所以每个文件可以经由不同的内容服务器序列通过网络基础设施传播。因此，网络和处理负载被更均匀地分布在内容服务器之间，这提高了通过内容服务器向访问基于web的应用的用户提供的服务的整体质量。附图说明为了能够以更详细的方式理解本专利技术的上述特征，可以通过参考实施例(其中一些在附图中示出)来提供对上面简要总结的本专利技术的更具体的描述。然而应当注意，附图仅示出了本专利技术的典型实施例，因此不应被视为限制了本专利技术的范围，因为本专利技术可以承认其它同等有效的实施例。图1示出根据本专利技术的各种实施例的用于将内容分发到内容服务器和端点设备的网络基础设施；图2是根据本专利技术的各种实施例的可以结合图1的网络基础设施实现的内容服务器的框图；图3是根据本专利技术的各种实施例的可以结合图1的网络基础设施实现的控制服务器的框图；图4示出了根据本专利技术的各种实施例的图1的内容服务器在地理上是如何分布的；图5A-5C示出了根据本专利技术的各种实施例的用于在图1的地理上分布的内容服务器的不同层之间复制文件的技术；和图6A和图6B示出了根据本专利技术的各种实施例的用于在地理上分布的内容服务器之间复制文件的方法步骤的流程图。具体实施方式在下面的描述中，阐述了许多具体细节以提供对本专利技术的更透彻的理解。然而，可以在没有这些具体细节中的一个或多个细节的情况下实践本专利技术对于本领域技术人员是显而易见的。图1示出了根据本专利技术的各种实施例的用于向内容服务器110和端点设备115分发内容的网络基础设施100。如图所示，网络基础设施100包括内容服务器110、控制服务器120和端点设备115，其中的每一个经由通信网络105连接。每个端点设备115经由网络105与一个或多个内容服务器110(也称为“高速缓存”或“节点”)通信以下载内容，例如文本数据、图形数据、音频数据、视频数据以及其他类型的数据。在本文也被称为“文件”的可下载内容然后被呈现给一个或多个端点设备115的用户。在各种实施例中，端点设备115可以包括计算机系统、机顶盒、移动计算机、智能手机、平板电脑、控制台和手持式视频游戏系统、数字录像机(DVR)、DVD播放器、连接的数字电视、专用媒体流式传输设备(例如机顶盒)和/或具有网络连接性并且能够向用户呈现内容(例如，文本、图像、视频和/或音频内容)的任何其他技术上可行的计算平台。每个内容服务器110可以包括web服务器、数据库和服务器应用217，其被配置为与控制服务器120通信以确定由控制服务器120跟踪和管理的各种文件的位置和可用性。每个内容服务器110还可以与填充源130和一个或多个其他内容服务器110通信，以便用各种文件的副本“填充”每个内容服务器110。另外，内容服务器110可以对从端点设备115接收到对文件的请求进行响应。然后可以从内容服务器110或经由更广泛的内容分发网络来分发文件。在一些实施例中，内容服务器110使得用户能够进行认证(例如，使用用户名和密码)以访问存储在内容服务器110上的文件。尽管在图1中仅示出单个控制服务器120，但是在各种实施例中，多个控制服务器120可以被实施来跟踪和管理文件。在各种实施例中，填充源130可以包括在线存储服务(例如，简单存储服务，云存储等)，其中包括数千或数百万个文件的文件目录被存储和访问，以便填充内容服务器110。尽管在图1中仅示出了单个填充源130，但是在各种实施例中，可以实现多个填充源130以服务对文件的请求。图2是根据本专利技术的各种实施例的可以结合图1的网络基础设施100来实现的内容服务器110的框图。如图所示，内容服务器110包括但不限于中央处理单元(CPU)204、系统盘206、输入/输出(I/O)设备接口208、网络接口210、互连212以及系统存储器214。CPU204被配置为检索并执行存储在系统存储器214中的编程指令，例如服务器应用217。类似地，CPU204被配置为存储应用数据并从系统存储器214中获取应用数据。互连212被配置为促进在CPU204、系统盘206、I/O设备接口208、网络接口210和系统存储器214之间传输数据(例如，本文档来自技高网...

【技术保护点】
一种方法，包括：确定区域服务器集群中所包括的一个或多个区域主服务器；使得每个区域主服务器从填充源获取文件；以及针对所述区域服务器集群中所包括的至少一个本地服务器集群：确定所述至少一个本地服务器集群中所包括的一个或多个本地主服务器；以及使得每个本地主服务器从所述一个或多个区域主服务器中的一个区域主服务器中获取所述文件。

【技术特征摘要】
【国外来华专利技术】2015.04.30 US 62/155,430;2016.03.10 US 15/067,0991.一种方法，包括：确定区域服务器集群中所包括的一个或多个区域主服务器；使得每个区域主服务器从填充源获取文件；以及针对所述区域服务器集群中所包括的至少一个本地服务器集群：确定所述至少一个本地服务器集群中所包括的一个或多个本地主服务器；以及使得每个本地主服务器从所述一个或多个区域主服务器中的一个区域主服务器中获取所述文件。2.如权利要求1所述的方法，还包括：针对所述至少一个本地服务器集群中所包括的每个清单服务器集群：确定所述清单服务器集群中所包括的一个或多个清单主服务器；以及使得每个清单主服务器从与所述本地服务器集群相关联的本地主服务器中获取所述文件。3.如权利要求2所述的方法，其特征在于，还包括：使得至少一个本地主服务器在从所述一个或多个区域主服务器中的一个区域主服务器中获取所述文件之前等待第一预定时间段，并且使得至少一个清单主服务器在从所述至少一个本地主服务器中获取所述文件之前等待第二预定时间段。4.如权利要求1所述的方法，还包括：基于多个服务器标识符(ID)执行第一哈希运算以生成哈希数据结构，其中，所述多个服务器ID中所包括的每个服务器ID与所述区域服务器集群中所包括的不同服务器相关联；以及基于与所述文件相关联的文件ID执行第二哈希运算以生成第一哈希值，其中，确定所述一个或多个区域主服务器包括将所述第一哈希值与所述哈希数据结构进行比较。5.如权利要求4所述的方法，其中，确定所述一个或多个本地主服务器包括基于所述第一哈希值对所述哈希数据结构执行过滤操作。6.如权利要求5所述的方法，还包括：针对所述至少一个本地服务器集群中所包括的每个清单服务器集群：基于所述第一哈希值过滤所述哈希数据结构以确定所述清单服务器集群中所包括的一个或多个清单主服务器；以及使得每个清单主服务器从与所述本地服务器集群相关联的本地主服务器中获取所述文件。7.如权利要求4所述的方法，其中，所述哈希数据结构包括哈希环，并且所述第一哈希运算和所述第二哈希运算包括一致性哈希运算。8.如权利要求4所述的方法，其中，执行所述第一哈希运算包括针对每个服务器ID：将所述服务器ID与多个不同的值进行组合以生成多个不同的服务器ID实例；对所述多个服务器ID实例中的每一个执行所述第一哈希运算以生成多个哈希数据结构值；以及将所述多个哈希数据结构值存储在哈希数据结构中。9.如权利要求1所述的方法，其中，所述区域主服务器的数量和本地主服务器的数量基于与所述文件相关联的至少一个复制因子。10.一种控制服务器，包括：存储控制应用的存储器；以及耦合到所述存储器的处理器，其中当由所述处理器执行时，所述控制应用将所述处理器配置为：确定区域服务器集群中所包括的第一多个区域主服务器；使得每个区域主服务器从填充源中获取文件；并且针对所述区域服务器集群中所包括的至少一个本地服务器集群：确定所述至少一个本地服务器集群中所包括的一个或多个本地主服务器；并且使得每个本地主服务器从所述第一多个区域主服务器中的一个区域主服务器中获取所述文件。11.如权利要求10所述的控制服务器，其中，所述控制应用还将所述处理器配置为：针对所述至少一个本地服务器集群中所包括的每个清单服务器集群：确定所述清单服务器集群中所包括的一个或多个清单主服务器；以及使得每个清单主服务器从与所述本地服务器集群相关联的本地主服务器中获取所述文件。12.如权利要求11所述的控制服务器，其中，所述控制应用还将所述处理器配置为：使得至少一个本地主服务器在从所述第一多个区域主服务器中的一个区域主服务器中获取所述文件之前等待第一预定时间段，以及使得...

【专利技术属性】
技术研发人员：安德鲁·陈，克里斯托弗·布兰德，丹尼尔·P·埃利斯，亚历克斯·古塔林，
申请(专利权)人：奈飞公司，
类型：发明
国别省市：美国,US