用于一丛集运算系统的主装置、从属装置及其运算方法制造方法及图纸

本发明专利技术提供一种用于一丛集运算系统的主装置、从属装置及其运算方法。该主装置用以接收该从属装置的装置信息，根据该装置信息及一工作为该从属装置选择一资源特征模型，根据该资源特征模型估测该从属装置的一容器组态参数，传送该容器组态参数至该从属装置，以及分配该工作至该从属装置。该从属装置用以：传送该装置信息至该主装置，自该主装置接收该主装置分配的该工作和该容器组态参数，根据该容器组态参数产生至少一容器以运算该工作，以及根据对应至该工作的工作信息及一规格文件建立该资源特征模型。

【技术实现步骤摘要】

本专利技术关于一种主装置、从属装置及其运算方法。更具体而言，本专利技术关于一种用于一丛集运算系统的主装置、从属装置及其运算方法。
技术介绍
对于巨量数据运算(bigdatacomputations)而言，丛集运算技术是一种相当有效的解决方案。一般而言，丛集运算乃指将多个运算单元聚集为一丛集，并透过该等运算单位的协同合作来完成一项工作(job)。在运作上，一丛集运算系统通常包含一主装置(masterdevice)及多个从属装置(slavedevices)，其中该主装置用以分配一工作给该等从属装置，而各该从属装置用以产生容器(containers)以执行对应至该工作的被分配的任务。因此，为了避免资源浪费，在进行巨量数据运算时，一丛集运算系统必须适当地进行资源分配。普遍来说，传统的丛集运算系统会因以下问题而无法有效地进行资源分配。首先，传统的从属装置所产生的容器，其容器规格(包含中央处理单元规格及存储器规格)都是固定的，故容易因工作的特性不同，而造成资源浪费。例如，当一工作的运算需求低于一容器的规格，则该容器将因无法完整被利用而造成资源浪费。再者，由于每一个容器的容器规格都是固定的，传统的从属装置所能产生的容器总数也是固定的，故容易造成资源闲置。例如，当运算一工作所需的容器数量低于容器总数，则多余的容器数量将造成资源闲置。另外，由于每一个容器的容器规格都是固定的，故当多个从属装置具有不同的装置效能时，将容易造成资源分配不当。例如，当二从属装置的容器规格相同但装置效能不同时，则因二者处理效率不同而造成资源分配不当。有鉴于此，如何针对传统的丛集运算系统提供一种有效的资源分配技术，确实为本专利技术所属
的一项重大需求。
技术实现思路
本专利技术的一目的乃是针对传统的丛集运算系统提供一种有效的资源分配技术。为达上述目的，本专利技术提供一种用于一丛集运算系统(clustercomputingsystem)的主装置(masterdevice)。该主装置包含一连接接口及一处理器。该连接接口用以与至少一从属装置(slavedevice)连接。该处理器电性连接至该连接接口，并用以接收该从属装置的装置信息，根据该装置信息及一工作(job)为该从属装置选择一资源特征模型，根据该资源特征模型估测该从属装置的一容器组态参数，传送该容器组态参数至该从属装置，以及分配该工作至该从属装置。为达上述目的，本专利技术亦提供一种用于一丛集运算系统的从属装置。该从属装置包含一连接接口及一处理器。该连接接口用以与一主装置连接。该处理器电性连接至该连接接口，并用以传送装置信息至该主装置，自该主装置接收该主装置分配的一工作和一容器组态参数，根据该容器组态参数产生至少一容器以运算该工作，以及根据对应至该工作的工作信息(jobinformation)及一规格文件(metricfile)建立一资源特征模型。为达上述目的，本专利技术更提供一种用于一丛集运算系统中一主装置的运算方法。该主装置包含一连接接口及一处理器，且该连接接口用以与至少一从属装置连接。该运算方法包含下列步骤：由该处理器接收该从属装置的装置信息；由该处理器根据该装置信息及一工作为该从属装置选择一资源特征模型；由该处理器根据该资源特征模型估测该从属装置的一容器组态参数；由该处理器传送该容器组态参数至该从属装置；以及由该处理器分配该工作至该从属装置。为达上述目的，本专利技术还提供一种用于一丛集运算系统中一从属装置的运算方法。该从属装置包含一连接接口及一处理器，且该连接接口用以与一主装置连接。该运算方法包含下列步骤：由该处理器传送装置信息至该主装置；由该处理器自该主装置接收该主装置分配的一工作和一容器组态参数；由该处理器根据该容器组态参数产生至少一容器以运算该工作；以及由该处理器根据对应至该工作的工作信息及一规格文件建立一资源特征模型。综上所述，本专利技术提供了一种用于一丛集运算系统的主装置、从属装置及其运算方法。根据本专利技术，一主装置接收各个从属装置所传送的装置信息，根据该装置信息及一工作为各个从属装置选择一资源特征模型，根据各个资源特征模型估测相对应的从属装置的一容器组态参数，传送各个容器组态参数至相对应的从属装置，以及分配该工作至该等从属装置。根据本专利技术，一从属装置传送其装置信息至一主装置，自该主装置接收该主装置分配的一工作和一容器组态参数，根据该容器组态参数产生至少一容器以运算该工作，以及根据对应至该工作的工作信息及一规格文件建立一资源特征模型。据此，本专利技术的从属装置所产生的容器，其容器规格可被动态调整，故不会因工作的特性不同，而造成资源浪费。再者，由于本专利技术的每一个容器的容器规格不再是固定的，故本专利技术的从属装置的容器总数也可被动态调整，故不会造成资源闲置。另外，由于本专利技术的从属装置所产生的容器，其容器规格与容器总数可被动态调整，故即使多个从属装置具有不同的装置效能，也不会造成资源分配不当。于参阅附图及随后描述的实施方式后，本
的技术人员便可更了解本专利技术的目的、技术手段及所达功效。附图说明以下是针对附图所记载的简单说明，并非用以限定本专利技术，其中：图1为本专利技术的一实施例的一丛集运算系统的一结构例示图；图2为图1所示丛集运算系统中主装置与单一从属装置的一运作例示图；图3为图2所示主装置中最佳资源模块的一运作例示图；图4为图2所示主装置中模型管理器的一运作例示图；图5为图2所示主装置中模型产生器的一运作例示图；图6为图2所示主装置中工作状态收集器的一运作例示图；以及图7为本专利技术的一实施例的用于一丛集运算系统中一主装置及一从属装置的运算方法的一例示图。符号说明1：丛集运算系统11：主装置111：连接接口113：处理器1131：资源管理器1133：工作管理器1135：最佳资源模块1135a：工作信息检索器1135b：有效节点检验器1135c：模型加载器1135d：最佳资源预测器1135e：最佳容器数量预测器1137：模型管理器1137a：请求处理器1137b：模型检索器1137c：同质模型引擎1137d：同质节点引擎13：从属装置1331：从属管理器1333：容器1335：模型产生器1335a：工作完成侦测器1335b：工作信息检索器1335c：支持向量回归模块产生器1337：本文档来自技高网...

【技术保护点】
一种用于丛集运算系统的主装置，包含：连接接口，用以与至少一从属装置连接；以及处理器，电性连接至该连接接口，并用以接收该从属装置的装置信息，根据该装置信息及工作为该从属装置选择资源特征模型，根据该资源特征模型估测该从属装置的容器组态参数，传送该容器组态参数至该从属装置，以及分配该工作至该从属装置。

【技术特征摘要】
2014.08.27 TW 1031294371.一种用于丛集运算系统的主装置，包含：
连接接口，用以与至少一从属装置连接；以及
处理器，电性连接至该连接接口，并用以接收该从属装置的装置信息，
根据该装置信息及工作为该从属装置选择资源特征模型，根据该资源特征模型
估测该从属装置的容器组态参数，传送该容器组态参数至该从属装置，以及分
配该工作至该从属装置。
2.如权利要求1所述的主装置，其特征在于，该丛集运算系统更包含分
布式档案系统，该主装置与该从属装置共享该分布式档案系统，该处理器为该
从属装置从该分布式档案系统内选出该资源特征模型。
3.如权利要求2所述的主装置，其特征在于，该处理器更储存对应至该
工作的工作信息至该分布式档案系统。
4.如权利要求1所述的主装置，其特征在于，该资源特征模型包含中央
处理单元特征模型及存储器特征模型，该容器组态参数包含容器数量及容器规
格，且该容器规格包含中央处理单元规格及存储器规格。
5.如权利要求1所述的主装置，其特征在于，该处理器选择相应资源特
征模型、相似资源特征模型及预设资源特征模型其中之一作为该资源特征模型，
该相应资源特征模型优先于该相似资源特征模型而被选择，且该相似资源特征
模型优先于该预设资源特征模型而被选择。
6.如权利要求1所述的主装置，其特征在于，该处理器更分割多个资源
特征模型样本为多个群组，从各该群组中选择资源特征模型样本为资源特征模
型代表，以及从该等资源特征模型代表中为该从属装置选择该资源特征模型。
7.一种用于丛集运算系统的从属装置，包含：
连接接口，用以与主装置连接；以及
处理器，电性连接至该连接接口，并用以传送装置信息至该主装置，
自该主装置接收该主装置分配的工作和容器组态参数，根据该容器组态参数产
生至少一容器以运算该工作，以及根据对应至该工作的工作信息及规格文件建
立资源特征模型。
8.如权利要求7所述的从属装置，其特征在于，该丛集运算系统更包含
分布式档案系统，该主装置与该从属装置共享该分布式档案系统，该处理器在
该分布式档案系统内建立该资源特征模型。
9.如权利要求8所述的从属装置，其特征在于，该处理器更从该分布式
档案系统中取得该工作信息。
10.如权利要求7所述的从属装置，其特征在于，该处理器更收集该容器
运算该工作的工作状态，并将对应至该工作状态的状态信息储存至该规格文件。
11.如权利要求7所述的从属装置，其特征在于，该资源特征模型包含中
央处理单元特征模型及存储器特征模型，该容器组态参数包含容器数量及容器
规格，且该容器规格包含中央处理单元规格及存储器规格。
12.如权利要求7所述的从属装置，其特征在于，该处理器根据该工作信
息及该规格文件，利用支持向量回归模块产生器建立资源特征模型。
13.一种用于丛集运算系统中主装置的运算方法，该主装置包含连接接口
与处理器，该连接接口用以与至少一从属装置连接，该运算方法包含下列步骤：
(A)由该处理器接收该从属装置的装置信息；
(B)由该处理器根据该装置信息及工作为该从属装置选择资源特征
模型；
(...

【专利技术属性】
技术研发人员：叶奇典，陈星宇，李育杰，鲍兴国，
申请(专利权)人：财团法人资讯工业策进会，
类型：发明
国别省市：中国台湾;71