一种遥感图像处理Docker集群的condor任务映射方法技术

本发明专利技术涉及一种遥感图像处理Docker集群的condor任务映射方法，属于云计算领域。在整个处理过程中，Docker与Condor及任务的的关联是通过系统自动生成满足ClassAd资源匹配的Docker universe模式任务提交描述文件来实现的，启动condor执行主机上的Docker容器去运行遥感图像处理算法，在物理机上部署Condor集群，在condor执行客户端上部署docker‑engine，构建Condor集群环境；通过存储Docker镜像的元数据，并在MySQL中存储该物理机的IP地址信息与镜像名；根据Condor ClassAD任务描述方法，以及MySQL中记录的信息，前端页面提供的可视化页面，让用户可以通过可视化页面形成满足其需求的任务提交文件生成向导。该发明专利技术采用容器的方式，提高了分布式环境下遥感图像处理节点的资源利用率，使得多个遥感任务可以在同一台物理机上运行。

【技术实现步骤摘要】
一种遥感图像处理Docker集群的condor任务映射方法
本专利技术涉及一种面向遥感图像处理Docker集群的condor任务映射，属于云计算领域。
技术介绍
Docker可以将遥感专业软件和遥感图像处理算法以及依赖工具打包到一个可移植的容器中，实现Docker集群的快速启动以及Docker的便捷迁移。Docker与虚拟机相比，其显著特点是启动快，资源占用小，能够在一个物理机或虚拟机上启动多个Docker容器，将多个遥感图像处理算法同时运行在同一个物理机或虚拟机上，可以轻松的实现同一个物理节点上资源隔离地并行运行多个遥感图像处理任务，极大程度的利用了物理机的资源。然而，当遥感用户不停将大量的遥感算法及其运行环境打包到Docker容器中时，导致用户采用手工启动不同的Docker容器执行成百上千甚至更多的遥感任务时，手工管理和配置几十台甚至几百台计算节点上几千个Docker镜像名与计算节点之间的对应关系，对他们来说是不可以接受的，因而他们需要一个工具去自动化管理计算节点和容器，并快速将他们的需求可视化映射到不同的Docker容器中去执行。Condor集群软件能实现对分布式计算资源的自动化管理，并且它能使用classAd语言去描述Condor集群中任务的提交，因此我们可以将遥感用户的任务通过开发可视化工具，自动映射到CondorClassAd语言，实现对Docker中遥感算法的调用，使得遥感用户能便捷快速使用Docker集群去处理遥感图像。
技术实现思路
本专利技术为克服上述现有技术所述的至少一种缺陷，提供一种遥感图像处理Docker集群的condor任务映射方法，提高了分布式环境下遥感图像处理节点的资源利用率，同时采用容器的方式，使得多个遥感任务可以在同一台物理机上运行。为解决上述技术问题，本专利技术采用的技术方案是：一种遥感图像处理Docker集群的condor任务映射方法，其特征在于，包括有以下步骤：S1：进行Condor集群构建；构建出物理机的condor集群，在每个物理机安装docker-engine，构建使用不同Docker容器作为job调度的Condor集群环境；S2：进行镜像元数据存储；通过镜像元数据存储记录Docker镜像的元数据；S3：进行Docker部署信息存储；记录在物理机上存储的Docker镜像名，并在MySQL中存储该物理机的IP地址信息与该物理机上存储的镜像名；S4：进行任务提交文件生成向导；根据CondorClassAD任务描述方法，以及MySQL中记录的信息，提供可视化页面，用户通过可视化页面进行自定义操作。本专利技术的目的是将Condor集群与Docker技术应用于遥感图像处理中。在整个处理过程中，节点的管理与任务的调度是通过Condor来实现，Docker与Condor及任务的的关联是通过在ClassAd中，用户需要写一个任务提交描述文件，使用Dockeruniverse模式在一个执行主机上运行Docker容器上的遥感任务来实现的。但随着遥感处理算法的增加，任务提交描述文件达到成百上千时，记住每一个镜像中封装的遥感软件、算法、执行路径以及容器执行的命令，对用户来说是不可接受的。因而需要构建一个可视化向导页面，引导用户快速生成出调度所需的任务提交描述文件，驱动不同的遥感算法在Condor中协同执行。因而需要设计一种设计数据库表记录镜像名中被封装的遥感软件、算法、执行路径、执行命令信息，同时记录用户给出的镜像中遥感算法执行所需参数，以此做为后续启动Docker镜像执行遥感任务的基本描述信息。此外，在前端页面设计一个任务提交描述文件自动生成向导，该向导从数据库中分别读出镜像名，遥感软件、算法、执行路径、执行命令信息、执行参数，然后让用户选择是否传输文件，选择什么时候传输文件，填写处理结果输出路径、错误存放路径、日志存放路径、待处理数据存放路径这些信息，即可根据这些信息自动映射出遥感任务提交描述文件，实现遥感任务在Condor集群Docker中执行。本申请中，实现面向遥感图像处理Docker集群的任务映射，具体方法为Condor集群构建、镜像元数据存储、Docker部署信息存储和任务提交文件生成向导。为了实现Condor集群为：进行Condor集群构建；构建出物理机的condor集群，在每个物理机安装docker-engine，构建使用不同Docker容器作为job调度的Condor集群环境。镜像元数据存储通过镜像元数据存储记录Docker镜像的元数据为记录遥感图像处理Docker镜像文件，包括所打包的操作系统、遥感专用软件、遥感算法、JDK文件及配置的环境信息、ENTRYPOIN/CMD信息、executable/param信息、RUN、VOLUME、EXPOSE、ENV及WORKDIR。Docker部署信息存储，记录在物理机上存储的Docker镜像名，并在MySQL中存储该物理机的IP地址信息与该物理机上存储的镜像名。任务提交文件生成向导，根据CondorClassAD任务描述方法，以及MySQL中记录的信息，提供可视化页面，用户通过可视化页面进行自定义操作。在一个实施方式中，步骤S1包括有以下步骤：S11：在centralmanager上安装ubuntu系统，添加Condor安装apt安装源，然后使用apt-get进行Condor的安装；S12：将物理机安装ubuntu操作系统及Condor软件，将物理机添加到Condor集群；在Condor处理节点上安装Docker-engine，构建使用不同Docker容器作为job调度的Condor集群环境。在一个实施方式中，步骤S2包括有以下步骤：S21：将制作遥感图像处理Docker镜像文件的基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令作为元数据基础信息记录下来，并作为Docker镜像元数据存储在数据库中；S22：将运行遥感算法的ENTRYPOIN/CMD信息、executable/param信息作为元数据中的遥感算法启动方法记录下来，并作为Docker镜像元数据存储在数据库中。在一个实施方式中，步骤S3中，构建Docker部署信息存储模块，用于记录在物理机上存储的Docker镜像名，并在MySQL中存储物理机的IP地址信息与物理机上存储的镜像名。优选地，步骤S3包括有以下步骤：S31：对安装了Docker-engine的物理机进行远程命令行登录，使用linux命令修改其配置文件参数信息，使其能够远程访问Docker镜像仓库，然后执行docker重启命令使配置信息生效；S32：登入本地nexus3镜像仓库，拉取所需镜像，记录当前物理机拉取的Docker镜像名，在MySQL中存储对应物理机的IP地址信息与对应物理机上拉取的镜像名。在一个实施方式中，步骤S4包括有以下步骤：S41：构建用于与用户交互的Web框架，该框架能将浏览器中用户提交的请求使用Spring注解传递到web应用端进行处理，并能将持久化数据存储到数据库中；S42：在Web服务器上安装CondorClient软件，作为Condor的任务提交机，使得执行任务提交文件生成向导的Web应用程序和Condor的任务提交机为同一台服务器；S43：构建一个任务提交文件生本文档来自技高网...

【技术保护点】
1.一种遥感图像处理Docker集群的condor任务映射方法，其特征在于，包括有以下步骤：S1：进行Condor集群构建；构建出物理机的condor集群，在每个物理机安装docker‑engine，构建使用不同Docker容器作为job调度的Condor集群环境；S2：进行镜像元数据存储；通过镜像元数据存储记录Docker镜像的元数据；S3：进行Docker部署信息存储；记录在物理机上存储的Docker镜像名，并在MySQL中存储该物理机的IP地址信息与该物理机上存储的镜像名；S4：生成任务提交文件生成向导；根据Condor ClassAD任务描述方法，以及MySQL中记录的信息，前端页面提供的可视化页面，让用户可以通过可视化页面形成满足其需求的任务提交文件生成向导。

【技术特征摘要】
1.一种遥感图像处理Docker集群的condor任务映射方法，其特征在于，包括有以下步骤：S1：进行Condor集群构建；构建出物理机的condor集群，在每个物理机安装docker-engine，构建使用不同Docker容器作为job调度的Condor集群环境；S2：进行镜像元数据存储；通过镜像元数据存储记录Docker镜像的元数据；S3：进行Docker部署信息存储；记录在物理机上存储的Docker镜像名，并在MySQL中存储该物理机的IP地址信息与该物理机上存储的镜像名；S4：生成任务提交文件生成向导；根据CondorClassAD任务描述方法，以及MySQL中记录的信息，前端页面提供的可视化页面，让用户可以通过可视化页面形成满足其需求的任务提交文件生成向导。2.根据权利要求1所述的遥感图像处理Docker集群的condor任务映射方法，其特征在于，所述步骤S1包括有以下步骤：S11：在centralmanager上安装ubuntu系统，添加Condor安装apt安装源，然后使用apt-get进行Condor的安装；S12：将物理机安装ubuntu操作系统及Condor软件，将物理机添加到Condor集群；在Condor处理节点上安装Docker-engine，构建使用不同Docker容器作为job调度的Condor集群环境。3.根据权利要求1所述的遥感图像处理Docker集群的condor任务映射方法，其特征在于，所述步骤S2包括有以下步骤：S21：将制作遥感图像处理Docker镜像文件的基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令作为元数据基础信息记录下来，并作为Docker镜像元数据存储在数据库中；S22：将运行遥感算法的ENTRYPOIN/CMD信息、executable/param信息作为元数据中的遥感算法启动方法记录下来，并作为Docker镜像元数据存储在数据库中。4.根据权利要求1所述的遥感图像处理Docker集群的condor任务映射方法，其特征在于，所述步骤S3中，构建Docker部署信息存储模块，用于记录在物理机上存储的Docker镜像名，并在MySQL中存储物理机的IP地址信息与物理机上存储的镜像名。5.根据权利要求4所述的遥感图像处理Docker集群的condor任务映射方法，其特征在于，所述步骤S3包括有以下步骤：S31：对安装了Docker-engine的物理机进行远程命令行登录，使用linux命令修改其配置文件参数信息，使其能够远程访问Docker镜像仓库，然后执行docker重启命令使配置信息生效；...

【专利技术属性】
技术研发人员：刘敏霞，艾建文，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：广东,44