为应用部署分布式容器集群且执行该应用的方法和装置制造方法及图纸

根据本发明专利技术，提出了一种为应用部署分布式容器集群且执行该应用的方法，包括：根据该应用的处理平台、数据源、资源密集类型、以及所需的容器数量，为该应用建立镜像；反复执行以下容器部署过程，直到达到所需的容器数量为止，由此在物理节点上部署针对该应用的分布式容器集群：根据各物理节点的资源使用状况、该应用的所述资源密集类型、以及物理节点上已部署的容器数，计算各物理节点的用于容器部署的权重值，并选择用于容器部署的权重值最大的物理节点来部署容器；以及在所部署的所述分布式容器集群的各容器中，利用所述镜像启动该应用的所述处理平台并从所述数据源读取所需处理的数据，以执行该应用。

【技术实现步骤摘要】
为应用部署分布式容器集群且执行该应用的方法和装置
本专利技术涉及计算机
，具体而言，本专利技术涉及一种为应用部署分布式容器集群且执行该应用的方法和装置，能够基于容器技术在大数据计算中实现计算资源的动态分配和回收。
技术介绍
Docker是一个开源的应用容器引擎，基于Go语言开发并遵从Apache2.0协议开源。Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器完全使用沙箱机制，相互之间不会有任何接口，容器之间隔离性极好。基于命名空间(namespace)隔离技术，每个容器都拥有自己独立的UTS(UNIXTime-sharingSystem)，IPC(Inter-ProcessCommunication)，PID进程，网络，和Mount文件系统，互不干扰。更重要的是容器性能开销极低，由于其轻量级虚拟化的特点，Docker相比传统的虚拟机最明显的特点就是启动快，资源占用小，因此被广泛用于构建隔离的标准化的运行环境，构建自动化测试和持续集成环境，以及一切可以横向扩展的应用。现有技术(中国专利公开号：CN104951360A)提出了一种基于Docker的配置管理方式，通过获取Docker运行环境中的多个容器的配置需求，确定相应的底层系统命令，进而对Docker运行环境中的多个容器进行配置管理。上述现有技术中，只针对容器本身的配置进行管理，并没有考虑在大数据集群运行环境下容器的动态分配和使用后对容器所占用资源的及时回收问题。
技术实现思路
为了克服现有技术的上述缺陷提出了本专利技术。因此，本专利技术的目的之一是提出一种为应用部署分布式容器集群且执行该应用的方法和装置，能够基于容器技术在大数据计算中实现计算资源的动态分配和回收。根据本专利技术，提出了一种为应用部署分布式容器集群且执行该应用的方法，包括：根据该应用的处理平台、数据源、资源密集类型、以及所需的容器数量，为该应用建立镜像；反复执行以下容器部署过程，直到达到所需的容器数量为止，由此在物理节点上部署针对该应用的分布式容器集群：根据各物理节点的资源使用状况、该应用的所述资源密集类型、以及物理节点上已部署的容器数，计算各物理节点的用于容器部署的权重值，并选择用于容器部署的权重值最大的物理节点来部署容器；以及在所部署的所述分布式容器集群的各容器中，利用所述镜像启动该应用的所述处理平台并从所述数据源读取所需处理的数据，以执行该应用。优选地，所述方法还包括：将在所部署的所述分布式容器集群的各容器中执行该应用后的结果输出给用户。优选地，所述方法还包括：在应用执行完毕后，在物理节点上停止并销毁所部署的容器，并释放所述容器所占的资源。优选地，所述资源使用状况包括：CPU、内存和磁盘的使用状况，所述资源密集类型包括：CPU密集型、内存密集型和磁盘密集型。优选地，针对CPU密集型的应用，所述计算各物理节点的用于容器部署的权重值的步骤包括：为CPU、内存、磁盘设定初始权重值，其中，初始权重值之和为1，内存权重值大于磁盘权重值，并且CPU的权重值大于内存与磁盘权重值之和；计算当前物理节点上已部署容器数占所述所需的容器数量的第1比率、以及尚未部署容器数占所述所需的容器数量的第2比率；将第2比率与初始CPU权重值的乘积作为当前物理节点的新的CPU权重值；将第1比率与初始CPU权重值的乘积作为当前物理节点的不可利用的CPU权重值，将不可利用的CPU权重值按比例分配给内存和磁盘，该比例由初始内存和磁盘的权重值决定，并且将分配后的内存和磁盘权重值与各自的初始值相加，得到当前物理节点的新的内存和磁盘的权重值；以及针对当前物理节点，将新的CPU权重值与未使用CPU所占比率作乘积，将新的内存权重值与未使用内存所占比率作乘积，将新的磁盘权重值与未使用磁盘所占比率作乘积，并且对这三者相加求和得到每个物理节点的用于容器部署的权重值。优选地，针对内存密集型的应用，所述计算各物理节点的用于容器部署的权重值的步骤包括：为CPU、内存、磁盘设定初始权重值，其中，初始权重值之和为1，CPU权重值大于磁盘权重值，并且内存的权重值大于CPU与磁盘权重值之和；计算当前物理节点上已部署容器数占所述所需的容器数量的第1比率、以及尚未部署容器数占所述所需的容器数量的第2比率；将第2比率与初始内存权重值的乘积作为当前物理节点的新的内存权重值；将第1比率与初始内存权重值的乘积作为当前物理节点的不可利用的内存权重值，将不可利用的内存权重值按比例分配给CPU和磁盘，该比例由初始CPU和磁盘的权重值决定，并且将分配后的CPU和磁盘权重值与各自的初始值相加，得到当前物理节点的新的CPU和磁盘的权重值；以及针对每个物理节点，将新的CPU权重值与未使用CPU所占比率作乘积，将新的内存权重值与未使用内存所占比率作乘积，将新的磁盘权重值与未使用磁盘所占比率作乘积，并且对这三者相加求和得到每个物理节点的用于容器部署的权重值。优选地，针对磁盘密集型的应用，所述计算各物理节点的用于容器部署的权重值的步骤包括：为CPU、内存、磁盘设定初始权重值，其中，初始权重值之和为1，CPU权重值大于内存权重值，并且磁盘的权重值大于CPU与内存权重值之和；计算当前物理节点上已部署容器数占所述所需的容器数量的第1比率、以及尚未部署容器数占所述所需的容器数量的第2比率；将第2比率与初始磁盘权重值的乘积作为当前物理节点的新的磁盘权重值；将第1比率与初始磁盘权重值的乘积作为当前物理节点的不可利用的磁盘权重值，将不可利用的磁盘权重值按比例分配给CPU和内存，该比例由初始CPU和内存的权重值决定，并且将分配后的CPU和内存权重值与各自的初始值相加，得到当前物理节点的新的CPU和内存的权重值；以及针对每个物理节点，将新的CPU权重值与未使用CPU所占比率作乘积，将新的内存权重值与未使用内存所占比率作乘积，将新的磁盘权重值与未使用磁盘所占比率作乘积，并且对这三者相加求和得到每个物理节点的用于容器部署的权重值。另外，根据本专利技术，提出了一种为应用部署分布式容器集群且执行该应用的装置，包括：根据该应用的处理平台、数据源、资源密集类型、以及所需的容器数量，为该应用建立镜像的单元；反复执行以下容器部署过程，直到达到所需的容器数量为止，由此在物理节点上部署针对该应用的分布式容器集群的单元：根据各物理节点的资源使用状况、该应用的所述资源密集类型、以及物理节点上已部署的容器数，计算各物理节点的用于容器部署的权重值，并选择用于容器部署的权重值最大的物理节点来部署容器；以及在所部署的所述分布式容器集群的各容器中，利用所述镜像启动该应用的所述处理平台并从所述数据源读取所需处理的数据，以执行该应用的单元。根据本专利技术，能够基于容器技术在大数据计算中实现计算资源的动态分配和回收。附图说明通过参考附图的详细描述，本专利技术的上述目的和优点将变得更清楚，其中：图1是示出了根据本专利技术的为应用部署分布式容器集群且执行该应用的方法的流程图。图2是示出了根据本专利技术的容器镜像生成过程的图。图3是示出了根据本专利技术的在物理节点上部署容器的过程的流程图。具体实施方式为解决大数据计算环境下计算资源的高效利用和回收问题，本专利技术基于容器技术实现了一种根据本文档来自技高网...

【技术保护点】
1.一种为应用部署分布式容器集群且执行该应用的方法，包括：根据该应用的处理平台、数据源、资源密集类型、以及所需的容器数量，为该应用建立镜像；反复执行以下容器部署过程，直到达到所需的容器数量为止，由此在物理节点上部署针对该应用的分布式容器集群：根据各物理节点的资源使用状况、该应用的所述资源密集类型、以及物理节点上已部署的容器数，计算各物理节点的用于容器部署的权重值，并选择用于容器部署的权重值最大的物理节点来部署容器；以及在所部署的所述分布式容器集群的各容器中，利用所述镜像启动该应用的所述处理平台并从所述数据源读取所需处理的数据，以执行该应用。

【技术特征摘要】
1.一种为应用部署分布式容器集群且执行该应用的方法，包括：根据该应用的处理平台、数据源、资源密集类型、以及所需的容器数量，为该应用建立镜像；反复执行以下容器部署过程，直到达到所需的容器数量为止，由此在物理节点上部署针对该应用的分布式容器集群：根据各物理节点的资源使用状况、该应用的所述资源密集类型、以及物理节点上已部署的容器数，计算各物理节点的用于容器部署的权重值，并选择用于容器部署的权重值最大的物理节点来部署容器；以及在所部署的所述分布式容器集群的各容器中，利用所述镜像启动该应用的所述处理平台并从所述数据源读取所需处理的数据，以执行该应用。2.根据权利要求1所述的方法，其特征在于还包括：将在所部署的所述分布式容器集群的各容器中执行该应用后的结果输出给用户。3.根据权利要求1所述的方法，其特征在于还包括：在应用执行完毕后，在物理节点上停止并销毁所部署的容器，并释放所述容器所占的资源。4.根据权利要求1所述的方法，其特征在于，所述资源使用状况包括：CPU、内存和磁盘的使用状况，所述资源密集类型包括：CPU密集型、内存密集型和磁盘密集型。5.根据权利要求4所述的方法，其特征在于，针对CPU密集型的应用，所述计算各物理节点的用于容器部署的权重值的步骤包括：为CPU、内存、磁盘设定初始权重值，其中，初始权重值之和为1，内存权重值大于磁盘权重值，并且CPU的权重值大于内存与磁盘权重值之和；计算当前物理节点上已部署容器数占所述所需的容器数量的第1比率、以及尚未部署容器数占所述所需的容器数量的第2比率；将第2比率与初始CPU权重值的乘积作为当前物理节点的新的CPU权重值；将第1比率与初始CPU权重值的乘积作为当前物理节点的不可利用的CPU权重值，将不可利用的CPU权重值按比例分配给内存和磁盘，该比例由初始内存和磁盘的权重值决定，并且将分配后的内存和磁盘权重值与各自的初始值相加，得到当前物理节点的新的内存和磁盘的权重值；以及针对当前物理节点，将新的CPU权重值与未使用CPU所占比率作乘积，将新的内存权重值与未使用内存所占比率作乘积，将新的磁盘权重值与未使用磁盘所占比率作乘积，并且对这三者相加求和得到每个物理节点的用于容器部署的权重值。6.根据权利要求4所述的方法，其特征在于，针对内存密集型的应用，所述计算各物理节点的用于容器部署的权重值的步骤包括：为CPU、内存、磁盘设定初始权重值，其中，初始权重值之和为1，CPU权重值大于磁盘权重值，并且内存的权重值大于CPU与磁盘权重值之和；计算当前...

【专利技术属性】
技术研发人员：周绥健，刘锋，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本,JP