用于集群环境中的作业的管理的系统和方法技术方案

本发明专利技术提供用于集群环境中的作业的管理的系统和方法。集群的每个节点执行与复制的数据库接口的作业管理器，以能够在集群内实现作业的集群范围的管理。作业在复制的数据库中排队并被作业管理器恢复以供执行。每个作业管理器确保作业被处理至完成，或者如果失败则在其它存储系统上重排队以供执行。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及集群的计算机环境，尤其涉及在集群的计算机环境中的作业的管理。
技术介绍
存储系统典型包含一个或者多个存储装置，可自由地把信息输入到所述存储装置并从中获取信息。存储系统包括通过尤其(inter alia)在由系统所执行的存储服务的支持下调用存储操作从功能上组织系统的存储操作系统。可根据各种存储构造实现存储系统，所述存储构造包括、但不限于网络附连的存储环境、存储区域网和直接附连到客户或主计算机上的磁盘集合。存储装置一般是以磁盘阵列组织的磁盘驱动器，其中术语“磁盘”通常描述独立旋转式磁介质存储装置。本文中的术语“磁盘”与硬盘驱动器(hard disk drive：HDD)或直接存取存储器(direct access storage device：DASD)同义。存储系统的存储操作系统可实现例如文件系统的高级模块，以从逻辑上把存储在卷(volume)上的信息组织为数据容器(datacontainer)、例如文件和逻辑单元的分级构造。例如，可把每个“盘上(on-disk)”文件实现为配置来存储信息、例如文件的实际数据的数据结构集合，即磁盘块(disk block)。这些数据块被组织在由文件系统维持的卷块号(volume block number：vbn)空间内。文件系统还为文件中的每个数据块分配相应的“文件偏移量(file offset)”或文件块号(file block number：fbn)。文件系统一般以每个文件为基础分配fbn序列，然而在更大的卷地址空间上分配vbn。文件系统把vbn空间内的数据块组织为“逻辑卷”；每个逻辑卷可以、但不是必须与-->其自身的文件系统关联。一种已知类型的文件系统是不在磁盘上重写数据的写入任意位置(write-anywhere)文件系统。如果数据块被从磁盘恢复(读)到存储系统的存储器，并被新数据“弄脏(dirty)”(即被更新或被修改)，那么此后把该数据块存储(写)到磁盘上的新位置以使写入性能最优化。写入任意位置文件系统可最初假定最优布局(layout)，使得数据基本上连续地排列在磁盘上。最优磁盘布局导致被定向到磁盘的有效的访问操作，尤其是对于有序的读操作。配置来操作存储系统的写入任意位置文件系统的示例是可从California的Sunnyvale的NetworkAppliance公司得到的写入任意位置文件布局(Write Anywhere FileLayout：)文件系统。可把存储系统进一步配置成根据信息交付的客户机/服务器的模式运行，从而允许多客户机访问存储在系统上的数据容器。在此模式中，客户机可包括在计算机上执行的应用程序、如数据库应用程序，该计算机通过例如点对点链路、共享的局域网(LAN)、广域网(WAN)或在例如因特网的公共网上所实现的虚拟专用网(virtual privatenetwork：VPN)的计算机网络“连接”到存储系统。每个客户机可以在网络上通过向该系统发出基于文件和基于块的协议消息(以包的形式)请求存储系统的服务。可把多个存储系统互联以提供配置成服务多个客户机的存储系统集群。每个存储系统可配置成服务一个或多个卷，其中每个卷存储一个或多个数据容器。在某些存储系统集群中，可把数据容器的内容在配置为条带卷集(striped volume set：SVS)的多个卷上条带化，这里每个卷由不同的存储系统服务，从而在多个存储系统中为单个数据容器分配负载(load)。在Richard Jernigan等人的名为《用于在集群的卷上条带化数据容器内容的存储系统构造》(STORAGE SYSTEMARCHITECTURE FOR STRIPING DATA CONTAINER CONTENTACROSS VOLUMES OF A CLUSTER)的美国专利申请11/119278中-->描述了数据容器条带化的集群环境。为了管理存储系统集群而执行的管理任务中的多数包括复杂的和/或可能长期运行的操作。可要求某些任务(作业)在集群内的特定存储系统上运行，而其它的任务(作业)可在集群内的任意存储系统上运行。作业可包含多个以有组织的方式操作以完成任务的进程(process)和/或线程(thread)。常规的集群存储系统的一个显著缺点是启动作业的管理命令可能必须在要在其上完成该作业的的特定存储系统上执行。这由于需要存储系统集群的管理员登录进(log into)每一个存储器以执行某些作业而使集群管理变得复杂。然而，正确管理的显著要求是一旦作业已经开始，即使在存储系统发生故障的情况下该作业也必须运行至完成。另外，如果该作业不能运行至完成，则该作业必须通过如删除创建的任意临时文件等实现“干净的(clean)”退出。在典型的存储系统集群中，这些要求使得代表系统管理员的人工干预成为必要，从而降低任务关键(mission-critical)的集群环境的系统鲁棒性。例如，如果在特定存储系统上启动作业，而该存储系统在作业完成之前遭遇故障，那么管理员需要识别该作业没有完成并在其它存储系统上人工重新初始化该作业。
技术实现思路
本专利技术通过提供用于存储系统集群环境中的作业的管理的系统和方法克服了先有技术的缺点。根据本专利技术，作业管理器(job manager：JM)在集群环境内的每个存储系统上运行，以便提供用于调度和/或执行集群内的作业的框架。JM确保作业执行直至完成，并且如果发生存储系统的故障，在该存储系统(一旦它已经复原)或存储集群内的其它存储系统上重新启动该作业。为此，JM与包含一个或多个队列的复制的数据库(replicated data base：RDB)接口，用于跟踪各个作业及其对特定存储系统的亲和力——即作业是否必须在该存储系-->统上执行。响应发布命令以执行管理操作的用户，创建配置对象并将其传递给JM。配置对象示例性地包含由用户在发布命令时所指定的参数和/选项。JM使用此对象来创建作业对象。作业对象示例性地包含执行作业需要的数据状况(data situation)和/或可执行指令。JM接着把创建的作业对象加载到RDB的队列上。存储系统集群内的每个JM监视最新加载作业的队列。要是作业包含对特定存储系统的亲和力(affinity)，该特定存储系统的JM就从RDB的队列恢复该作业并处理该作业。如果作业不包含特定存储系统的亲和力，则集群内具有可用处理带宽的任意JM将恢复并处理该作业。为了确保作业执行直至完成，集群内的JM之一被指定为主作业管理器并监视集群中存储系统的状态。在发现存储系统的故障之上，主作业管理器等待预定的超时期间过去。如果超时期间过去，发生故障的存储系统没有复原，那么主作业管理器把该作业标记为未被主张(unclaimed)，以致于集群内其它JM之一可以依照其正常作业获取程序(routine)主张该作业并处理该作业至完成。只有具有集群亲和力的那些作业能被集群内的第二JM复原。附图说明通过参考结合附图的以下说明，可以更好地理解本专利技术的上述和其他优点，附图中，相似的参考标号表示相同的或功能上相似的单元：图1是根据本专利技术实施例的互联为集群的多个节点的示意框图；图2是根据本专利技术实施例的节点的示意框图；图3是可优选配合本专利技术使用的存储操作系统的示意框图；图4是根据本发本文档来自技高网...

【技术保护点】
一种用于存储系统集群内的作业的管理的方法，所述方法包括以下步骤：　创建与所述作业关联的配置对象；　利用所述配置对象创建作业对象；　把所述创建的作业对象在复制的数据库上排队；以及　从所述复制的数据库恢复所述作业对象。

【技术特征摘要】
【国外来华专利技术】US 2006-4-28 11/414,6961.一种用于存储系统集群内的作业的管理的方法，所述方法包括以下步骤：创建与所述作业关联的配置对象；利用所述配置对象创建作业对象；把所述创建的作业对象在复制的数据库上排队；以及从所述复制的数据库恢复所述作业对象。2.如权利要求1所述的方法，还包括执行所述恢复的作业对象内的函数的步骤。3.如权利要求1所述的方法，其中，所述作业对象包括函数调用集合。4.如权利要求3所述的方法，还包括使用所述函数调用集合的运行函数初始化所述作业的执行的步骤。5.如权利要求3所述的方法，还包括使用所述函数调用集合的重启函数在所述复制的数据库中的所述作业的排队之后重新初始化所述作业的执行的步骤。6.如权利要求1所述的方法，其中，所述作业对象包括数据类集合。7.如权利要求6所述的方法，其中，所述数据类集合包括含有与所述作业关联的状态信息的作业记录。8.如权利要求1所述的方法，其中，恢复所述作业对象的所述步骤包括在计算机上执行作业管理器以从所述复制的数据库返回所述作业对象的步骤。9.一种用于多台计算机的集群内的作业的管理的系统，所述系统包括：作业管理器，在所述集群内的所述多台计算机的每台计算机上执行，所述作业管理器的每个作业管理器适合使用配置对象来创建作业对象。10.如权利要求9所述的系统，其中，响应用户的命令的执行创建所述配置对象。11.如权利要求9所述的系统，其中，所述作业管理器还适合把所述创建的作业对象加载到复制的数据库的第二队列上。12.如权利...

【专利技术属性】
技术研发人员：M科默，
申请(专利权)人：网络装置公司，
类型：发明
国别省市：US[美国]