基于块映射表缓冲存储和虚拟文件系统的可堆叠文件系统模块的分布式存储结构技术方案

一种分布式存储结构和分层缓冲存储系统被使用在视频点播或流媒体应用中，基于块映射表缓存和虚拟文件系统的可堆叠文件系统模块的分布式存储结构的说明性的实施例包括控制器、第一计算机和第二计算机、第一和第二交换机以及存储设备。第一计算机包括本地文件系统，且使用此系统将本地文件系统中的资源文件存储在第一存储设备上。第一计算机使用用于为每一资源文件产生块映射表的程序，所述块映射表包括关于资源文件存储在第一存储设备上的界限的信息。

【技术实现步骤摘要】
【国外来华专利技术】
本公开一般涉及用于例如分布数据例如流视频数据的分布式存储系统。
技术介绍
涉及本文公开的主题的背景信息可以在下列参考中找出(1)E.Zadok等人，“Extending File Systems Using StackableTemplates，”Proc.1999 USENIX Annual Technical Conf.，1999年6月；(2)D.Rosenthal，“Evolving the Vnode Interface，”Proceedings of thesummer USENIX Conference，107-117页，1999年6月；(3)A.Dan等人，“Buffer Management Policy for an On-Demand videoserver，”IBM Research Report RC19347(4)A.Dan等人，“Buffering and Caching in Large-scale video servers，”Proc.Compcon，217-224页，1995年3月；以及(5)M.Bar等人，“Long-term Movie Popularity Models inVideo-on-Demand Systems，”Proceedings of ACM Multimedia Conference，349-357页，1997年11月。附图说明图1示意性的描述了一实施例中的分布式存储组(complex)。图1A示意性的描述了图1所描述的系统的一个多服务器装置。图2说明了块缓冲存储文件系统(BCFS)读取操作的例子。图3说明了一典型的块映射表(block map)。图4说明了层1和层2缓冲存储器的放大作用的例子。图5说明了跨缓冲存储器层的流分布的例子。图6说明了间隔缓冲存储的例子。具体实施例方式用于视频服务器组的共享存储系统可以基于缓冲存储块映射表的概念。所述系统可以实现多台视频服务器从服务器组的一公共存储池共同流资源，同时降低分布式文件系统的开销和复杂程度。所述系统可以允许资源的一公共资源池作为视频服务器上的本地文件，并明显地，通过存储区域网络(SAN)将流读出请求重定向到存储装置，所述网络例如为光纤通道存储区域网络(SAN)。另外，高度可伸缩的视频服务器组可以基于分层缓冲存储的概念。所述系统可以使多台视频服务器能够共同流式传输从分布式组中的一公共存储池的资源。所述系统可以允许存储带宽、存储容量以及流带宽与终端用户需求相联系。依据一实施例，用于流式传输数据的分布式存储系统可以包括一控制器、一第一计算机和一第二计算机、第一和第二交换机以及一存储设备。所述第一计算机包括一本地文件系统，且可使用所述本地文件系统将资源文件存储在第一存储设备上。另外，所述第一计算机可使用用于创建块映射表的程序，包括关于资源文件存储在第一存储设备上的界限的信息。可创建用于每一资源文件的块映射表。根据另一实施例，可使用层缓存系统来用于流传输数字资源。这样的系统一典型的实施包括存储所述资源的一第三层高速缓冲存储器，和连接到所述第三层缓冲存储器的多个视频泵。每一视频泵可以包括一第二层高速缓冲存储器，其接收自所述第三层高速缓冲存储器的资源的复本，并发出一或更多流，以及包括一第一层高速缓冲存储器，其接收自第二层高速缓冲存储器的资源的复本，并发出多个流。所述系统还可包括一资源控制器，其从多个视频泵中选择一视频泵以流动所述资源。图1说明了分布式存储系统的一实施例，其能够流动数据。如所示，所述系统可以包括控制器10、第一计算机12和第二计算机14、第一和第二交换机16和18以及存储设备20。第一计算机12可以包括一本地文件系统12B，其可以用于将本地文件系统中的资源文件存储在第一存储设备20上。另外，第一计算机12可以使用程序12A为每一资源文件产生一块映射表。所述块映射表包括关于资源文件存储在第一存储设备20上的界限的信息。程序12A可以将块映射表的副本存储在第二存储设备14A上，所述第二存储设备14A连接到第二计算机14设备。如所示，第二计算机14还可以连接到第一存储设备20。另外，所述系统可以包括虚拟文件系统14B，其使第二计算机14使用存储在存储设备14A中的块映射表的副本能够存取第一存储设备20上的资源文件。块布局算法可以被第一计算机12的本地文件系统使用，并可以当第一计算机存储资源文件时，连续地写多个本地文件系统块。另外，交换机18可以提供在第一计算机12、第二计算机14和存储设备20之间的并行无阻碍的存取。程序12A可以产生包括指针的“提示文件”(下面将讨论)以在资源文件中定位。一种读取自存储在第一存储设备上的第一存储文件的数据的方法包括存储第二文件中的块映射表，其中所述块映射表可以包括逻辑块地址列表，且所述列表中的每一逻辑块地址可以识别用于存储第一文件中的数据的扇区。所述方法还可包括发出系统调用以读取自与所述第一文件相关的虚拟文件的数据，检索与所述数据相关的逻辑块地址，和使用所述相关的逻辑块地址读取自所述第一存储设备的数据。所述说明性的系统的另一方面涉及一种用于流数字资源的分层缓冲存储系统。这样的系统的一个典型的实施例可以包括存储资源的第三层高速缓冲存储器。这可包括例如图1的存储设备20。另外，所述示例性的系统可以进一步包括连接到所述第三层高速缓冲存储器的一或更多视频泵(例如第二计算机14)。这里，视频泵可以包括第二层高速缓冲存储器14A(第二存储设备)，其接收自所述第三层高速缓冲存储器的所述资源的副本。并发出一或更多流；第一层高速缓冲存储器14C，其接收自第二层高速缓冲存储器的所述资源的副本，并发出多个流；和资源控制器(例如控制器10)，其从多个视频泵中选择一视频泵以流所述资源。分布式存储结构图1A描述了一种可伸缩的视频服务器组的说明性实施例。这样的组可以包括资源控制器10、许多内容复写器12，一或更多所述复写器可以管理一或更多文件系统，以及许多视频泵14。一些或者所有这些部件可以通过以太网和光纤通道交换机16和18被相互连接。这些光纤通道交换机18可以提供视频泵14、内容复写器12和存储阵列20之间的并行无阻的存取。内容复写器12管理自外部光纤通道存储阵列20的一或更多文件系统的容积。所述存储设备20可以作为本地文件系统安装在所述内容复写器12上。所述系统可以被设计成使得所述组中没有任何其他部件直接安放所述文件系统，但这种结构实现视频泵14自存储设备20流式传输，就如同其被本地地安装在每个视频泵上。一或更多文件系统可以包括一单独的LUN(逻辑单元号)，其存在于RAID存储阵列上。摄取(ingest)或者资源装载可以由内容复写器12执行。这些被摄取的资源可以被写入到所述内容复写器的本地文件系统。资源控制器10可以引导资源在文件系统中的分布，确保资源被统一地和随机地装载在所述存储阵列中。组中的内容复写器12的数量c可以通过所需要的总摄取容量确定。由于每一内容复写器具有固定的最大摄取容量，因此c简单地为所述组的所期望的总摄取容量除以每一内容复写器的容量摄取。视频泵14的数量v可以通过所述组提供的流的数量确定，并简单地为期望的流的总数除以每一视频泵的容量。存储阵列2本文档来自技高网...

【技术保护点】
一种用于流式传输数据的分布式存储系统，所述系统包括：　　　　第一计算机，其能够在本地文件系统中存储一个或更多资源文件于第一存储设备，并产生用于所述资源文件的块映射表；　　　　一程序，其能够将所述块映射表的副本存储在第二存储设备，所述第二存储设备连接到第二计算机，其中所述第二计算机还连接到所述第一存储设备；　　　　一文件系统，其能够实现所述第二计算机存取所述第一存储设备上的所述资源文件；。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：杰弗里L迪克，彼得李，
申请(专利权)人：海滩无极限有限公司，
类型：发明
国别省市：US[美国]