同步数据传送系统及方法技术方案

一种同步数据传送系统（２００）包括：存储处理器节点（１０３）；主干通信开关１０１；多个标题，划分成子块（１１３ａ）－（１１３ｅ）并且跨在多个节点上分布；用户过程（２０７），在第一节点（２０１）上执行；传送过程（２１５），在第二节点（２０３）上执行；及管理过程（２１９），在管理节点（２０５）上执行。用户过程发送时间戳读取请求，以请求相应子块。传送过程把消息发送到管理过程用于每个接收的读取请求，其中每条消息识别源和目的地节点。管理过程广播传送命令以启动顺序传送时段，接收消息，及从接收的消息中选择，以保证每个节点在每个传送时段期间发送或接收仅一个子块。管理过程为每条选择消息发送一个传送请求，并且传送过程响应于传送命令而发送由传送请求识别的子块。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及交互式宽带服务器系统，并且更具体地说，涉及一种采用同步数据传送系统以促进以高速输送多路同时等时(isochronous)数据流的交互式内容引擎。
技术介绍
希望提供一种流式媒体内容的存储和传送的解决方案。可量测性的初始目标是在4兆比特每秒(Mbps)每流下的从100至1,000,000同时的各个等时内容流，尽管考虑到不同的数据速率。可用的总带宽由最大可用底板(backplane)开关所限制。当今的最大开关在每秒兆兆比特的范围中，或者约200,000同时输出流。输出流的数量一般与每流比特速率成反比。内容存储的最简单模型是连接到单个处理器上的单个盘驱动器，该单个处理器具有单个网络连接器。数据从盘读取，置于存储器中，以及经网络以分组形式分配给每个用户。传统数据，如Web页等可异步地传送。换句话说，有具有随机时间延迟的随机量数据。低容量、低分辨率视频可从Web服务器传送。实时媒体内容，如视频和声频，要求等时传输、或具有保证传送时间的传输。在这种情形下，带宽约束在盘驱动器处存在。盘具有其主张的臂运动和转动等待。如果系统在任何给定时间只能维持从驱动器到处理器的6个同时连续内容流，那么第7个用户的请求必须等待以前6个用户之一中止内容流。这种设计的优点是简单。缺点是作为在设计中的唯一机械装置只能这么快地访问和传输数据。通过添加另一个驱动器、或诸驱动器并且交错驱动器访问可进行改进。而且，重复内容可存储在每个驱动器上以提高冗余度和性能。这样会更好，但仍有几个问题。只有如此多的内容可放置在本地驱动器或诸驱动器上。盘驱动器、CPU、及存储器是可能灾难性的每个单一失效点。这种系统的规模只能与盘控制器能处置的驱动器数量成比例。即使对于多个单元，也有关于标题分配的问题。在现实世界中，每个人都想看最新影片。根据经验，80％的内容请求是仅对于20％的标题。所有机器的带宽不能由一个标题耗尽，因为它会堵塞对于仅在该机器上存储的较不流行标题的访问。结果，“高度需要”标题必须装载在大多数或所有机器上。简单地说，如果用户想看老影片，则该用户可能不幸运-尽管该影片装载在系统中。对于较大的库，所述比率可能远大于在这个例子中使用的80/20标准。如果系统基于在数据处理中使用的标准局域网(LAN)，则会有其它缺陷。现代基于以太网的TCP/IP系统是保证传送的奇迹，但包括由包冲突和部分丢失包的重新传输引起的时间代价和使它全部工作所需要的管理。不能保障及时内容流集合可用。而且，每个用户消耗一个开关端口，并且每个内容服务器消耗一个开关端口。因而，开关端口计数必须是服务器计数的两倍，限制了总在线带宽。附图说明本专利技术的好处、特征及优点相对于如下描述和附图将变得更好理解，其中图1是根据本专利技术的典型实施例实现的交互式内容引擎(ICE)的一部分的简化方块图；和图2是图1的ICE的一部分的逻辑方块图，表明根据本专利技术的实施例实现的同步数据传送系统。具体实施例方式呈现如下描述，以使本领域的技术人员能够实现和使用在具体应用和其要求的上下文内所提供的本专利技术。然而，对于优选实施的各种修改对于本领域的技术人员将是显然的，并且这里限定的一般原理可以应用于其它实施例。因此，本专利技术不打算限于这里表示和描述的具体实施例，而是符合与这里公开的原理和新颖特征相一致的最宽范围。这里描述的结构包容变化能力的各个元件，以避免设施限于进行初始系统购买时的时间点。商品元件的使用保证了最近证明良好的技术、单一源的避免、及最低成本每流。容许个别元件失效。在多种情况下，从用户的角度出发没有性能的显著变化。在其它情况下，有简短的“自修理”周期。在多种情况下，可以容许多重失效。而且，在不是所有也是大多数情况下，系统可恢复而不要求即时注意，使得它对于“关灯(lights out)”操作很理想。内容存储分配和内部带宽由最少最近使用(LRU)算法自动地管理，该算法保证在RAM高速缓冲器和硬驱动器阵列高速缓冲器中的内容对于当前需要是适当的，并且底板开关带宽以最高效方式使用。在系统内的带宽很少(如果有的话)过度预定，所以不必丢弃或延迟包的传输。该结构提供完全利用每个元件的合成带宽的能力，所以可以满足保证，并且网络是专有的并且在完全控制下，所以即使在非预期的波峰需求的情形下，也没有数据路径被过载。任何比特速率的流可被包容，但典型的流期望保持在1至20Mbps范围中。在可用带宽基础上容纳非等时内容。如果应用要求，则可以故意保留带宽。文件可以具有使存储效率最大的任何尺寸。图1是根据本专利技术的典型实施例实现的交互式内容引擎(ICE)100的一部分的简化方块图。为了清楚起见，没有表示不适用于本专利技术的充分和完全理解的部分。ICE 100包括适当的多重端口(或多端口)吉比特以太网(GbE)开关101，作为具有联接到多个存储处理器节点(SPN)103上的多重以太网端口的底板结构。每个SPN 103是一个简化服务器，包括两个吉比特以太网端口、一个或多个处理器107、存储器109(例如，随机存取存储器(RAM))、及适当数量的(例如，四至八个)盘驱动器111。在每个SPN 103上的第一Gb端口105连接到开关101的对应端口上以便全双工操作(在每个SPN/端口连接处的同时传输和接收)，并且用来在ICE 100内移动数据。另一个Gb端口(未表示)把内容输出传送到用户(未表示)。每个SPN 103具有对于其本地盘驱动器和在每五个SPN组中的其它四个SPN的其它盘驱动器的高速访问。开关101是用于ICE 100的底板，而不仅仅是在SPN 103之间的通信装置。为了说明目的，仅表示五个SPN 103，其中要理解，ICE 100典型地包括大量服务器。每个SPN 103起内容的存储、处理及发送器的作用。在显示的构造中，每个SPN 103构造成使用现成的元件，并且不是在通常意义上的计算机。尽管考虑到标准操作系统，但这样的中断驱动操作系统可能带来不必要的瓶颈。每个标题(例如，视频、影片或其它媒体内容)不是全部存储在任何单一盘驱动器111上。而是，用于每个标题的数据被划分，并且存储在ICE 100内的几个盘驱动器中，以实现交错访问的速度优势。单个标题的内容跨在多重SPN 103的多重盘驱动器上分布。标题内容的短“时间帧”以循环(round robin)方式从每个SPN 103中的每个驱动器收集。以这种方式，实际负载跳出SCSI和IDE的驱动器计数限制而散布，得到一种失效-安全操作形式，及组织和管理大量标题。在显示的具体构造中，每个内容标题划分成固定大小的分立块(典型地约2兆位(MB)每块)。每块以循环方式存储在不同组的SPN 103上。每块划分成四个子块，并且创建代表奇偶性的第五子块。每个子块存储在不同SPN 103的盘驱动器上。在显示和描述的配置中，约512千字节(KB)(其中“K”是1024)的子块大小与盘驱动器111的每一个额定数据单元相匹配。SPN 103每次五个分一组，并且每组或SPN集合存储标题的数据块。如表示的那样，五个SPN 103标有1-4和“Parity(奇偶性)”，它们集体地把块113存储为分别存储在SPN 1、2、3、4及Parity上的五个分离子块113a、113b、113c、113d及113e。子块1本文档来自技高网...

【技术保护点】
一种同步数据传送系统，包括：多个处理器节点；主干网络开关，联接到所述多个处理器节点上以能够实现在所述多个处理器节点之间的通信；多个存储装置，跨在所述多个处理器节点上分布并且存储多个标题，每一个标题被划分成跨在所述多个 存储装置上分布的多个子块；多个传送过程，每一个在所述多个处理器节点的对应一个上执行，并且可操作以发送消息以为了将从本地存储装置传送到目的地处理器节点的每个子块，每条消息包括源节点识别符和目的地节点识别符；及同步开关管理器过程 ，在所述多个处理器节点的至少一个上执行，该过程定期地广播一个传送命令以启动多个顺序传送时段的每一个，该过程接收多条消息，并且在每个传送时段之前，该过程从所述多条消息中选择，以保证每个处理节点在每个传送时段期间发送最多至一个子块和接收最多至一个子块，及发送与被选择消息相对应的多个传送请求；以及其中，发送至少一条消息并且从识别对应子块的所述同步开关管理器过程接收了传送请求的每个传送过程，在由广播传送命令启动的下一个传送时段期间发送所述对应子块。

【技术特征摘要】
【国外来华专利技术】US 2003-12-2 60/526,437;US 2004-11-30 10/999,6611.一种同步数据传送系统，包括多个处理器节点；主干网络开关，联接到所述多个处理器节点上以能够实现在所述多个处理器节点之间的通信；多个存储装置，跨在所述多个处理器节点上分布并且存储多个标题，每一个标题被划分成跨在所述多个存储装置上分布的多个子块；多个传送过程，每一个在所述多个处理器节点的对应一个上执行，并且可操作以发送消息以为了将从本地存储装置传送到目的地处理器节点的每个子块，每条消息包括源节点识别符和目的地节点识别符；及同步开关管理器过程，在所述多个处理器节点的至少一个上执行，该过程定期地广播一个传送命令以启动多个顺序传送时段的每一个，该过程接收多条消息，并且在每个传送时段之前，该过程从所述多条消息中选择，以保证每个处理节点在每个传送时段期间发送最多至一个子块和接收最多至一个子块，及发送与被选择消息相对应的多个传送请求；以及其中，发送至少一条消息并且从识别对应子块的所述同步开关管理器过程接收了传送请求的每个传送过程，在由广播传送命令启动的下一个传送时段期间发送所述对应子块。2.根据权利要求1所述的同步数据传送系统，其中，所述多条消息的每一条包括时间戳；并且所述同步开关管理器过程基于时间戳顺序把所述多条消息的优先级排序，并且按时间戳顺序发送所述多个传送请求。3.根据权利要求2所述的同步数据传送系统，还包括多个用户过程，每一个在所述多个处理器节点的对应一个上执行并且可操作以发送多个时间戳读取请求；并且其中，每个传送过程把来自一个对应时间戳读取请求的时间戳包含到对应消息中。4.根据权利要求3所述的同步数据传送系统，其中所述同步开关管理器过程把所述多条消息按时间戳顺序组织成一个准备消息列表，刚好在所述多个顺序传送时段的每一个之前按时间戳顺序扫描所述准备消息列表，及基于时间戳优先级选择消息。5.根据权利要求4所述的同步数据传送系统，其中如果在随后传送时段期间一个被识别的源处理器节点尚未被选择用于传送一个子块，并且如果在所述随后传送时段期间一个被识别的目的地处理器节点尚未被选择用于接收一个子块，则所述同步开关管理器过程选择一个消息。6.根据权利要求1所述的同步数据传送系统，还包括所述多个传送过程的每一个把接收的子块读取请求存储到一个读取请求队列中，每个子块读取请求指示一个本地存储子块；所述多个存储装置的每一个按实际顺序读取在本地读取请求队列中识别的子块；所述多个处理器节点的每一个把由对应存储装置成功读取的子块列成一个成功读取队列；及所述多个传送过程的每一个为相应成功读取队列中的每个条目发送一条消息到所述同步开关管理器过程。7.根据权利要求6所述的同步数据传送系统，其中每个所述子块读取请求包括时间戳读取请求，其中在每个所述成功读取队列中的条目按时间戳顺序被列表，及其中每个传送过程按时间戳顺序为在相应成功读取队列中的每个条目发送消息。8.根据权利要求6所述的同步数据传送系统，还包括所述多个传送过程的每一个从相应成功请求队列中除去一个条目，其中所述条目与由相应传送请求识别的子块相关联；和多个网络传送过程，每一个在所述多个处理器节点的对应一个上执行，并且每一个可操作以建立用来响应传送命令把被识别子块传送到目的地处理器节点的网络分组。9.根据权利要求1所述的同步数据传送系统，其中所述网络开关包括具有多个端口的吉比特以太网开关，并且所述多个处理器节点的每一个联接到所述网络开关的一个对应端口上。10.根据权利要求1所述的同步数据传送系统，其中所述多个处理器节点包括执行所述同步开关管理器过程的管理节点。11.根据权利要求1所述的同步数据传送系统，其中所述多个处理器节点包括执行所述同步开关管理器过程的第一管理节点、和执行镜像同步开关管理器过程的第二管理节点。12.一种在联接到网络开关上的多个处理器节点之间同步传送数据的分布子块的方法，所述方法包括通过在多个处理器节点的至少一个上执行的管理过程，定期地广播传送命令以启动多个顺序传送时段的每一个；通过具有待发送的至少一个子块的每个处理器节点，把一个消息发送...

【专利技术属性】
技术研发人员：史蒂文W罗斯，
申请(专利权)人：交互式内容引擎有限责任公司，
类型：发明
国别省市：US[美国]