MPP数据库自动部署方法及装置制造方法及图纸

本申请实施例提供一种MPP数据库自动部署方法及装置，方法包括：接收MPP数据库初始化部署请求，并获取该MPP数据库初始化部署请求对应的具备数据存储功能的目标MPP数据库；应用预先存储的MPP数据库镜像文件，将目标MPP数据库自动部署在分布式资源管理系统中的对应容器内，以在对应的容器集群内形成相互之间独立的多个MPP数据库节点，各个MPP数据库节点上均安装有块存储客户端和用于提供存储服务的服务单元；将目标MPP数据库在运行过程中产生的数据存储在对应磁盘上。本申请能够实现MPP数据库在分布式资源管理框架中的自动化部署，并能够有效提高MPP数据库部署至分布式资源管理框架中的效率及有效性。

【技术实现步骤摘要】
MPP数据库自动部署方法及装置
本申请涉及数据处理
，具体涉及MPP数据库自动部署方法及装置。
技术介绍
大数据时代，各行各业每时每刻都产生着大量数据，数据已成为了一种生产资料，促进社会生产力的发展。数据的存储过程中，MPP数据库作为支持PB级数据实时分析的大规模并行处理数据库，有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。MPP数据库为大量数据的存储分析提供很好的保证。传统的MPP数据库部署的方式是通过插件或脚本人工操作来安装数据库，这样的缺点是数据库的运行、配置、管理、所有的生存周期将与当前操作系统绑定，所有安装部署需要手工操作、验证，如此一来造成数据库的可移植性差，安装十分繁琐。具体来说，目前在集群上部署MPP数据库的方式，存在如下问题：首先部署速度慢，每次部署都要进行相应的配置和操作；其次部署后与机器底层的耦合性较强，使其不利于在不同环境之间的迁移。即便应用了诸如Mesos等分布式资源管理框架，也无法直接部署MPP数据库，因为数据库属于具体数据存储功能的有状态应用，并不像无状态应用一样不用保存数据，因此无法在现有的如Mesos框架等分布式资源管理系统上部署。
技术实现思路
针对现有技术中的问题，本申请提供一种MPP数据库自动部署方法及装置，能够实现MPP数据库在分布式资源管理框架中的自动化部署，并能够有效提高MPP数据库部署至分布式资源管理框架中的效率及有效性。为解决上述技术问题，本申请提供以下技术方案：第一方面，本申请提供一种MPP数据库自动部署方法，包括：接收MPP数据库初始化部署请求，并获取该MPP数据库初始化部署请求对应的具备数据存储功能的目标MPP数据库；应用预先存储的MPP数据库镜像文件，将所述目标MPP数据库自动部署在分布式资源管理系统中的对应容器内，以在对应的容器集群内形成相互之间独立的多个MPP数据库节点，其中，各个所述MPP数据库节点上均预先安装有块存储客户端和用于提供存储服务的服务单元；将所述目标MPP数据库在运行过程中产生的数据存储在对应磁盘上，并在需要迁移所述目标MPP数据库时，将该目标MPP数据库在运行过程中产生的数据以及其所在系统打包生成对应的镜像文件，并将该镜像文件存储至一预设的私有镜像仓库中。进一步地，还包括：接收针对所述目标MPP数据库的MPP数据库迁移部署请求，并基于该MPP数据库迁移部署请求获取该目标MPP数据库对应在同一所述分布式资源管理系统中的原始容器集群和目标容器集群；在所述原始容器集群中，将所述目标MPP数据库对应的容器存储为目标迁移镜像文件，并将所述目标迁移镜像文件存储至所述私有镜像仓库中；在目标容器集群中，拉取存储在所述私有镜像仓库中的所述目标迁移镜像文件；应用所述目标迁移镜像文件，将所述目标MPP数据库自动部署在所述目标容器集群内。进一步地，在所述接收MPP数据库初始化部署请求之前，还包括：创建并存储MPP数据库镜像文件；建立所述私有镜像仓库；以及，在所述分布式资源管理系统中的各个从节点上分别安装所述块存储客户端和所述服务单元。进一步地，所述创建并存储MPP数据库镜像文件，包括：建立容器对应的操作系统的基础镜像文件，并接收容器的用户信息以及用于安装MPP数据库的各项指令；基于所述基础镜像文件和用于安装MPP数据库的各项指令创建得到用于部署MPP数据库的容器，并获取用于部署MPP数据库的容器的镜像文件；在用于部署MPP数据库的容器的所述镜像文件中添加包含有所述容器的用户信息的标签，并将添加有所述标签的镜像文件存储至一镜像库中。进一步地，所述建立所述私有镜像仓库，包括：获取预设的官方注册表镜像文件，并对该官方注册表镜像文件对应的配置文件进行修改配置，以得到一私有镜像仓库的配置文件；接收用于添加私有镜像仓库的启动模块；调用所述官方注册表镜像文件，并基于所述私有镜像仓库的配置文件和所述启动模块建立对应的私有镜像仓库。第二方面，本申请提供一种MPP数据库自动部署装置，包括：第一请求接收模块，用于接收MPP数据库初始化部署请求，并获取该MPP数据库初始化部署请求对应的具备数据存储功能的目标MPP数据库；第一自动部署模块，用于应用预先存储的MPP数据库镜像文件，将所述目标MPP数据库自动部署在分布式资源管理系统中的对应容器内，以在对应的容器集群内形成相互之间独立的多个MPP数据库节点，其中，各个所述MPP数据库节点上均预先安装有块存储客户端和用于提供存储服务的服务单元；第一数据存储模块，用于将所述目标MPP数据库在运行过程中产生的数据存储在对应磁盘上，并在需要迁移所述目标MPP数据库时，将该目标MPP数据库在运行过程中产生的数据以及其所在系统打包生成对应的镜像文件，并将该镜像文件存储至一预设的私有镜像仓库中。进一步地，还包括：第二请求接收模块，用于接收针对所述目标MPP数据库的MPP数据库迁移部署请求，并基于该MPP数据库迁移部署请求获取该目标MPP数据库对应在同一所述分布式资源管理系统中的原始容器集群和目标容器集群；第二数据存储模块，用于在所述原始容器集群中，将所述目标MPP数据库对应的容器存储为目标迁移镜像文件，并将所述目标迁移镜像文件存储至所述私有镜像仓库中；文件拉取模块，用于在目标容器集群中，拉取存储在所述私有镜像仓库中的所述目标迁移镜像文件；第二自动部署模块，用于应用所述目标迁移镜像文件，将所述目标MPP数据库自动部署在所述目标容器集群内。进一步地，还包括：镜像创建模块，用于创建并存储MPP数据库镜像文件；仓库建立模块，用于建立所述私有镜像仓库；节点安装模块，用于在所述分布式资源管理系统中的各个从节点上分别安装所述块存储客户端和所述服务单元。进一步地，所述镜像创建模块用于执行下述内容：建立容器对应的操作系统的基础镜像文件，并接收容器的用户信息以及用于安装MPP数据库的各项指令；基于所述基础镜像文件和用于安装MPP数据库的各项指令创建得到用于部署MPP数据库的容器，并获取用于部署MPP数据库的容器的镜像文件；在用于部署MPP数据库的容器的所述镜像文件中添加包含有所述容器的用户信息的标签，并将添加有所述标签的镜像文件存储至一镜像库中。进一步地，所述仓库建立模块用于执行下述内容：获取预设的官方注册表镜像文件，并对该官方注册表镜像文件对应的配置文件进行修改配置，以得到一私有镜像仓库的配置文件；接收用于添加私有镜像仓库的启动模块；调用所述官方注册表镜像文件，并基于所述私有镜像仓库的配置文件和所述启动模块建立对应的私有镜像仓库。第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的MPP数据库自动部署方法。第四方面，本申本文档来自技高网...

【技术保护点】
1.一种MPP数据库自动部署方法，其特征在于，包括：/n接收MPP数据库初始化部署请求，并获取该MPP数据库初始化部署请求对应的具备数据存储功能的目标MPP数据库；/n应用预先存储的MPP数据库镜像文件，将所述目标MPP数据库自动部署在分布式资源管理系统中的对应容器内，以在对应的容器集群内形成相互之间独立的多个MPP数据库节点，其中，各个所述MPP数据库节点上均预先安装有块存储客户端和用于提供存储服务的服务单元；/n将所述目标MPP数据库在运行过程中产生的数据存储在对应磁盘上，并在需要迁移所述目标MPP数据库时，将该目标MPP数据库在运行过程中产生的数据以及其所在系统打包生成对应的镜像文件，并将该镜像文件存储至一预设的私有镜像仓库中。/n

【技术特征摘要】
1.一种MPP数据库自动部署方法，其特征在于，包括：
接收MPP数据库初始化部署请求，并获取该MPP数据库初始化部署请求对应的具备数据存储功能的目标MPP数据库；
应用预先存储的MPP数据库镜像文件，将所述目标MPP数据库自动部署在分布式资源管理系统中的对应容器内，以在对应的容器集群内形成相互之间独立的多个MPP数据库节点，其中，各个所述MPP数据库节点上均预先安装有块存储客户端和用于提供存储服务的服务单元；
将所述目标MPP数据库在运行过程中产生的数据存储在对应磁盘上，并在需要迁移所述目标MPP数据库时，将该目标MPP数据库在运行过程中产生的数据以及其所在系统打包生成对应的镜像文件，并将该镜像文件存储至一预设的私有镜像仓库中。


2.根据权利要求1所述的MPP数据库自动部署方法，其特征在于，还包括：
接收针对所述目标MPP数据库的MPP数据库迁移部署请求，并基于该MPP数据库迁移部署请求获取该目标MPP数据库对应在同一所述分布式资源管理系统中的原始容器集群和目标容器集群；
在所述原始容器集群中，将所述目标MPP数据库对应的容器存储为目标迁移镜像文件，并将所述目标迁移镜像文件存储至所述私有镜像仓库中；
在目标容器集群中，拉取存储在所述私有镜像仓库中的所述目标迁移镜像文件；
应用所述目标迁移镜像文件，将所述目标MPP数据库自动部署在所述目标容器集群内。


3.根据权利要求1所述的MPP数据库自动部署方法，其特征在于，在所述接收MPP数据库初始化部署请求之前，还包括：
创建并存储MPP数据库镜像文件；
建立所述私有镜像仓库；
以及，在所述分布式资源管理系统中的各个从节点上分别安装所述块存储客户端和所述服务单元。


4.根据权利要求3所述的MPP数据库自动部署方法，其特征在于，所述创建并存储MPP数据库镜像文件，包括：
建立容器对应的操作系统的基础镜像文件，并接收容器的用户信息以及用于安装MPP数据库的各项指令；
基于所述基础镜像文件和用于安装MPP数据库的各项指令创建得到用于部署MPP数据库的容器，并获取用于部署MPP数据库的容器的镜像文件；
在用于部署MPP数据库的容器的所述镜像文件中添加包含有所述容器的用户信息的标签，并将添加有所述标签的镜像文件存储至一镜像库中。


5.根据权利要求3所述的MPP数据库自动部署方法，其特征在于，所述建立所述私有镜像仓库，包括：
获取预设的官方注册表镜像文件，并对该官方注册表镜像文件对应的配置文件进行修改配置，以得到一私有镜像仓库的配置文件；
接收用于添加私有镜像仓库的启动模块；
调用所述官方注册表镜像文件，并基于所述私有镜像仓库的配置文件和所述启动模块建立对应的私有镜像仓库。


6.一种MPP数据库自动部署装置，其特征在于，包括：
第一请求接收模块，用于接收MPP数据库初始化部署请求，并获取该MPP数据库初始化部署请求对应的具备数据存储功能的目标MPP数据库；
第一自动部署模块，用于应用预先存储的MPP数据库镜像...

【专利技术属性】
技术研发人员：潘添，雷经纬，熊辉，于子烨，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11