丛集运算架构的资源规划方法、系统及装置制造方法及图纸

一种丛集运算架构的资源规划方法、系统及装置。资源规划装置基于所选择的待训练平台及其对应的设定值以及演算法特征，建立多个训练模型，使得主控节点装置依据各训练模型来进行运算，而获得运算时间，并且将各训练模型对应的运算时间储存至建议方案数据库。之后，依据选定的任务条件以及期望总工作时间，自建议方案数据库中获得建议方案，使得主控节点装置依据建议方案来决定丛集运算架构的硬件资源配置。通过实施本发明专利技术，可经由资源规划装置来对丛集运算架构进行训练，并建立建议方案数据库，藉以来即时提供最佳的硬件资源规划。

Resource planning method, system and device for cluster computing architecture

Resource planning method, system and device for cluster computing architecture. Resource planning device selected for training platform and the corresponding set value and algorithm based on the characteristics of the establishment of a number of training model, the main control node device on the basis of the training model to carry out operations, and the operation time, and the training model of the corresponding operation time is saved to the database scheme. Then, according to the selected task work conditions and the total expected time, since the proposal of the database to obtain the proposal, the proposal based on the main control node device to determine the configuration of hardware resources cluster computing architecture. By implementing the present invention, a cluster computing architecture can be trained through a resource planning device, and a proposal database is established to provide the best hardware resource planning immediately.

【技术实现步骤摘要】
丛集运算架构的资源规划方法、系统及装置
本专利技术是有关于一种资源规划机制，且特别是有关于一种丛集运算架构的资源规划方法、系统及装置。
技术介绍
对于大数据(bigdata)时代的来临，如何储存、处理、分析巨量数据已经成为各大企业迫切需要解决的问题。目前常见的处理方式为通过丛集运算架构来解决储存空间的扩充以及计算能力的提升。而目前常见的Spark平台、Hadoop平台等丛集运算架构一般是根据使用者设定好的硬件资源限制下，根据任务优先顺序与权重来进行资源分配来运作。然而，目前使用者只能尽可能提供最多的硬件资源交给Spark平台或Hadoop平台来分配，并没有一套可依循的建议方法提供给使用者参考。
技术实现思路
本专利技术提供一种丛集运算架构的资源规划方法、系统及装置，可即时提供最佳的硬件资源规划。本专利技术的丛集运算架构的资源规划方法，包括提供资源规划装置来建立一建议方案数据库至主控节点装置，其中建议方案数据库储存了用以部署一丛集运算架构的信息。上述由资源规划装置来建立建议方案数据库的步骤包括：依据所选择的待训练平台，自对应于待训练平台的设定档中，撷取出至少一设定值，并且撷取待训练平台所使用的至少一演算法特征，其中待训练平台为多个软件框架中的一个；基于上述设定值以及演算法特征建立至少一训练模型，并传送这些训练模型至主控节点装置，使得主控节点装置依据各训练模型来进行运算，而获得运算时间；以及自主控节点装置接收运算时间，并传送各训练模型对应的运算时间至建议方案数据库。之后，依据选定的任务条件以及期望总工作时间，通过资源规划装置自建议方案数据库中获得建议方案，而传送建议方案至主控节点装置，使得主控节点装置依据建议方案来决定丛集运算架构的硬件资源配置。在本专利技术的一实施例中，上述资源规划方法，更包括：资源规划装置通过网络连线至主控节点装置，以查询主控节点装置中的影响因子数据库以及演算法数据库，其中影响因子数据库储存各种软件框架的设定档，演算法数据库储存多个演算法特征。在本专利技术的一实施例中，上述设定值包括工作节点数量、工作节点资源配置、分析数据笔数、以及环境参数条件其中一个或其组合。演算法特征包括演算法、任务数量以及任务分割笔数其中一个或其组合。任务条件包括其中一个软件框架、分析数据笔数、环境参数条件、演算法、任务数量以及任务分割笔数其中一个或其组合。上述设定值可以为数值区间。在本专利技术的一实施例中，上述资源规划方法更包括：在选定任务条件以及期望总工作时间之后，若在建议方案数据库中不存在对应的建议方案，则资源规划装置依据选定的任务条件，针对工作节点数量以及工作节点资源配置来重新进行训练，而自主控节点装置获得对应的运算时间，并储存至建议方案数据库。在本专利技术的一实施例中，上述资源规划方法更包括：主控节点装置依据各训练模型来进行多次运算，而将多次运算所获得的时间平均值作为对应的运算时间。在本专利技术的一实施例中，传送建议方案至主控节点装置使得主控节点装置依据建议方案来决定丛集运算架构的硬件资源配置的步骤，更包括：通过主控节点装置判断丛集运算架构下所包括的工作节点数量是否少于建议方案所包括的建议数量，以及判断丛集运算架构下所包括的工作节点硬件资源是否低于建议方案所包括的资源需求。在判定工作节点数量少于建议数量或工作节点硬件资源低于资源需求时，通过主控节点装置发出提示信息，以依据一指令来额外指派符合建议方案的工作节点装置至丛集运算架构。在判定工作节点数量未少于建议数量且工作节点硬件资源未低于资源需求时，通过主控节点装置来部属符合建议数量的工作节点装置各自的硬件资源配置。本专利技术的资源规划系统，包括主控节点装置以及资源规划装置。主控节点装置用以分配丛集运算架构下的多个工作节点装置的硬件资源配置。资源规划装置通过网络与主控节点装置沟通，其中资源规划装置包括控制器。控制器依据所选择的待训练平台，自对应于待训练平台的设定档中，撷取出至少一设定值，并且撷取待训练平台所使用的至少一演算法特征，其中待训练平台为多个软件框架中的一个。控制器基于上述设定值以及演算法特征建立至少一训练模型，并传送上述训练模型至主控节点装置，使得主控节点装置依据各训练模型来进行运算，而获得运算时间。并且，控制器自主控节点装置接收运算时间，并储存各训练模型对应的运算时间至建议方案数据库中。控制器依据选定的任务条件以及期望总工作时间，自建议方案数据库中获得建议方案，而传送建议方案至主控节点装置，使得主控节点装置依据建议方案来决定丛集运算架构的硬件资源配置。本专利技术的资源规划装置，包括储存单元以及控制器。储存单元包括影响因子数据库、演算法数据库及建议方案数据库。影响因子数据库用以储存多个软件框架各自的设定档。演算法数据库用以储存多个演算法特征。控制器耦接至储存单元，并且负责分配丛集运算架构下的多个工作节点装置的硬件资源配置。控制器依据自上述软件框架中所选择的一待训练平台，自对应于待训练平台的设定档中，撷取出至少一设定值，并且撷取待训练平台所使用的至少一演算法特征，基于上述设定值以及演算法特征建立至少一训练模型，并且在依据各训练模型来进行运算，而获得运算时间之后，将各训练模型对应的运算时间储存至建议方案数据库。控制器依据选定的任务条件以及期望总工作时间，自建议方案数据库中获得建议方案，并且，控制器依据建议方案来决定丛集运算架构的硬件资源配置。基于上述，经由资源规划装置来对丛集运算架构进行训练，并建立建议方案数据库，藉以来即时提供最佳的硬件资源规划。为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。附图说明图1是依照本专利技术一实施例的资源规划系统的方块图。图2是依照本专利技术一实施例的丛集运算架构的资源规划方法流程图。图3是依照本专利技术一实施例的资源规划装置的方块图。附图标号100：资源规划系统110、310：资源规划装置111、311：控制器120：主控节点装置121：影响因子数据库122：演算法数据库123：建议方案数据库S205～S220：丛集运算架构的资源规划方法各步骤具体实施方式图1是依照本专利技术一实施例的资源规划系统的方块图。请参照图1，资源规划系统100包括资源规划装置110以及主控节点装置120。资源规划装置110例如为服务器、个人电脑、笔记本电脑、平板电脑、智能型手机等具有运算能力的电子装置。资源规划装置110包括控制器111。控制器111例如为中央处理单元(CentralProcessingUnit，CPU)、可程序化的微处理器(Microprocessor)、嵌入式控制芯片、数字信号处理器(DigitalSignalProcessor，DSP)、特殊应用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)或其他类似装置。并且，资源规划装置110还具有一储存单元(可以是存储器或固件芯片)，以储存一个或多个程序码片段。上述程序码片段在被安装后，会由控制器111来执行，进而实现丛集运算(clustercomputing)架构的资源规划方法。丛集运算架构例如为采用Hadoop、Spark、Storm等软件框架(softwareframework)的架构。在丛集运算架构中一台主机(或服务本文档来自技高网...

【技术保护点】
一种丛集运算架构的资源规划方法，其特征在于，该丛集运算架构的资源规划方法包括：提供一资源规划装置来建立一建议方案数据库至一主控节点装置，其中该建议方案数据库储存了用以部署一丛集运算架构的信息，而由该资源规划装置来建立该建议方案数据库的步骤包括：依据所选择的一待训练平台，自对应于该待训练平台的设定档中撷取至少一设定值，并且撷取该待训练平台所使用的至少一演算法特征，其中该待训练平台为多个软件框架中的一个；基于该至少一设定值以及该至少一演算法特征建立至少一训练模型，并传送该至少一训练模型至该主控节点装置，使得该主控节点装置依据每一该至少一训练模型来进行运算，而获得一运算时间；以及自该主控节点装置接收该运算时间，并传送每一该至少一训练模型对应的该运算时间至该建议方案数据库；以及依据选定的一任务条件以及一期望总工作时间，通过该资源规划装置自该建议方案数据库中获得一建议方案，并传送该建议方案至该主控节点装置，使得该主控节点装置依据该建议方案来决定该丛集运算架构的硬件资源配置。

【技术特征摘要】
2015.11.09 TW 1041367971.一种丛集运算架构的资源规划方法，其特征在于，该丛集运算架构的资源规划方法包括：提供一资源规划装置来建立一建议方案数据库至一主控节点装置，其中该建议方案数据库储存了用以部署一丛集运算架构的信息，而由该资源规划装置来建立该建议方案数据库的步骤包括：依据所选择的一待训练平台，自对应于该待训练平台的设定档中撷取至少一设定值，并且撷取该待训练平台所使用的至少一演算法特征，其中该待训练平台为多个软件框架中的一个；基于该至少一设定值以及该至少一演算法特征建立至少一训练模型，并传送该至少一训练模型至该主控节点装置，使得该主控节点装置依据每一该至少一训练模型来进行运算，而获得一运算时间；以及自该主控节点装置接收该运算时间，并传送每一该至少一训练模型对应的该运算时间至该建议方案数据库；以及依据选定的一任务条件以及一期望总工作时间，通过该资源规划装置自该建议方案数据库中获得一建议方案，并传送该建议方案至该主控节点装置，使得该主控节点装置依据该建议方案来决定该丛集运算架构的硬件资源配置。2.如权利要求1所述的丛集运算架构的资源规划方法，其特征在于，该丛集运算架构的资源规划方法更包括：该资源规划装置通过一网络连线至该主控节点装置，以查询该主控节点装置中的一影响因子数据库以及一演算法数据库，其中该影响因子数据库储存每一所述软件框架的设定档，该演算法数据库储存该至少一演算法特征。3.如权利要求1所述的丛集运算架构的资源规划方法，其特征在于，该至少一设定值包括一工作节点数量、一工作节点资源配置、一分析数据笔数、以及一环境参数条件其中一个或其组合；该至少一演算法特征包括一演算法、一任务数量以及一任务分割笔数其中一个或其组合；该任务条件包括所述软件框架其中一个、该分析数据笔数、该环境参数条件、该演算法、该任务数量以及该任务分割笔数其中一个或其组合。4.如权利要求1所述的丛集运算架构的资源规划方法，其特征在于，该至少一设定值为一数值区间。5.如权利要求1所述的丛集运算架构的资源规划方法，其特征在于，该丛集运算架构的资源规划方法更包括：在选定该任务条件以及该期望总工作时间之后，若在该建议方案数据库中不存在对应的该建议方案，则该资源规划装置依据选定的该任务条件，针对一工作节点数量以及一工作节点资源配置来重新进行训练，而自该主控节点装置获得对应的该运算时间，并储存至该建议方案数据库。6.如权利要求1所述的丛集运算架构的资源规划方法，其特征在于，该丛集运算架构的资源规划方法更包括：该主控节点装置依据每一该至少一训练模型来进行多次运算，而将多次运算所获得的时间平均值作为对应的该运算时间。7.如权利要求1所述的丛集运算架构的资源规划方法，其特征在于，传送该建议方案至该主控节点装置使得该主控节点装置依据该建议方案来决定该丛集运算架构的硬件资源配置的步骤，更包括：通过该主控节点装置判断该丛集运算架构下所包括的工作节点数量是否少于该建议方案所包括的一建议数量，以及判断该丛集运算架构下所包括的一工作节点硬件资源是否低于该建议方案所包括的一资源需求；在判定该工作节点数量少于该建议数量或该工作节点硬件资源低于该资源需求时，通过该主控节点装置发出一提示信息，以依据一指令来额外指派符合该建议方案的至少一工作节点装置至该丛集运算架构；以及在判定该工作节点数量未少于该建议数量且该工作节点硬件资源未低于该资源需求时，通过该主控节点装置来部属符合该建议数量的该至少一工作节点装置各自的该硬件资源配置。8.一种资源规划系统，其特征在于，该资源规划系统包括：一主控节点装置，分配一丛集运算架构下的硬件资源配置；以及一资源规划装置，通过一网...

【专利技术属性】
技术研发人员：林志宗，
申请(专利权)人：纬创资通股份有限公司，
类型：发明
国别省市：中国台湾,71