一种基于容器技术的勘探开发大数据处理平台的系统和方法技术方案

本发明专利技术公开了一种基于容器技术的勘探开发大数据处理平台的系统和方法，包括：（1）展示层提供了用户项目模块、消息中心模块、虚拟桌面模块、虚拟服务器模块、云存储模块、资源管理模块、资源监控模块、大数据集群模块、大数据模型模块、大数据提交模块、大数据展示模块等；（2）服务层包括服务管理模块、服务申请模块、服务审批模块、服务部署模块提、服务使用模块、服务接口模块等；（3）基础设施层包括身份认证模块、计算模块、镜像模块、块设备模块、网络模块、对象存储模块、虚拟机模块、容器模块、资源管理模块、资源监控等。该发明专利技术根据勘探开发软件大数据处理模型模板，编辑设置大数据处理模型，来分析处理勘探开发软件的海量数据。

A System and Method of Large Data Processing Platform for Exploration and Development Based on Container Technology

The invention discloses a system and method of large data processing platform for exploration and development based on container technology, which includes: (1) the display layer provides user project module, message center module, virtual desktop module, virtual server module, cloud storage module, resource management module, resource monitoring module, large data cluster module, large data model module and large data submission module. (2) Service layer includes service management module, service application module, service approval module, service deployment module, service use module, service interface module, etc. (3) Infrastructure layer includes identity authentication module, computing module, mirror module, module equipment module, network module, object storage module, virtual machine module and container module. Resource management module, resource monitoring and so on. According to the template of large data processing model of exploration and development software, the invention edits and sets large data processing model to analyze and process massive data of exploration and development software.

【技术实现步骤摘要】
一种基于容器技术的勘探开发大数据处理平台的系统和方法
本专利技术涉及地质勘探开发数据处理
的一种基于容器技术的勘探开发大数据处理平台的系统和方法。具体地说，涉及到运用容器技术设计开发的勘探开发大数据处理平台，来创建勘探开发大数据分析处理集群；使用大数据分析处理集群来分析勘探开发软件的使用情况，实现专业软件的精细化调度管理；更好的满足用户的应用需求，提高软件的应用效率。
技术介绍
在勘探开发领域，各种勘探开发软件使用功能复杂，产生了海量的处理数据，比如许可软件模块使用热点的历史数据、许可软件模块整体评估的历史数据、探区热点的历史数据、用户个人许可模块使用的历史数据、许可软件模块占用消耗资源的历史数据、许可软件模块请求拒绝的历史数据等；需要对这些海量的勘探开发软件应用行为数据，使用大数据平台进行分析处理，建立云应用下的勘探开发软件行为分析预测模型，实现专业软件的精细化调度管理；更好的满足用户的应用需求，提高软件的应用效率；通过对勘探开发软件应用特点，用户工作习惯的分析，挖掘出隐藏的数据价值，为用户提供更好的应用体验。容器技术，是在一台物理服务器上安装Linux操作系统，通过容器技术创建多个虚拟服务器，这些虚拟服务器和物理服务器共用Linux内核；每个虚拟服务器的文件系统使用物理服务器的文件系统，但做了隔离，看上去每个虚拟服务器都有自己独立的文件系统；在物理服务器上建立了虚拟网桥设备，每个虚拟服务器通过虚拟网桥设备连接网络；虚拟服务器直接使用物理服务器的CPU、内存、硬盘。大数据平台Hadoop是一个由Apache基金会所开发的分布式系统基础架构；用户可以在不了解分布式底层细节的情况下，开发分布式程序；充分利用集群的威力进行高速运算和存储；Hadoop大数据处理技术已有十多年历史，被看做首选的大数据集群处理的解决方案；MapReduce是一路计算的优秀解决方案大数据集群Spark是一种快速、通用的集群计算系统，它提供了高层次的API、Java、Scala、Python和R，和一种支持图处理的优化引擎，它还支持一组丰富的高级工具包括SparkSQL用于SQL查询和结构化数据处理，MLlib用于机器学习、图形处理和SparkStreaming。但是，创建大数据集群，需要购买若干台服务器或虚拟机来部署，并且需要手动配置大数据集群；花费大量的财力和人力去部署配置大数据集群；如果能有一种技术，不需要购买很多服务器还能充分利用大数据集群的性能；并且自动配置大数据集群。
技术实现思路
本专利技术的目的就是针对现有技术的不足，提供一种不需要购买很多服务器还能充分利用大数据集群的性能，并且自动配置大数据集群的基于容器技术的勘探开发大数据处理平台的系统和方法。本专利技术的技术方案包括：一种基于容器技术的勘探开发大数据处理平台（简称勘探开发大数据处理平台）的系统，系统架构包括：（1）展示层，包括用户项目、消息中心、虚拟桌面、虚拟服务器、云存储、资源管理、资源监控、大数据集群、大数据建模、大数据提交和大数据展示模块；（2）服务层，包括服务管理、服务申请、服务审批、服务部署、服务使用和服务接口模块；（3）基础设施层，包括身份认证、计算、镜像、块设备、网络块、对象存储、虚拟机、资源管理、容器和监控系统模块。上述方案进一步包括：（1）展示层各功能模块：用户项目模块提供用户管理、项目管理；消息中心模块提供用户发送消息，系统发送广播消息；虚拟桌面模块提供虚拟桌面创建、使用、访问；虚拟服务器模块提供虚拟服务器创建、使用、访问；云存储模块提供云存储网盘；资源管理模块提供网络、云主机类型、镜像、主机聚合；资源监控模块提供虚拟机和服务器的CPU利用率、内存利用率、存储和网络的监控；大数据集群模块提供创建Hadoop、spark集群，用户输入大数据集群数量、机器名、IP地址，系统会自动部署大数据集群并自动配置；大数据建模模块提供了大数据处理模型的模板，设置编辑大数据处理模型；大数据提交模块提供用户提交大数据作业请求；大数据展示模块提供以表格和图形展示大数据分析处理结果。（2）服务层各功能模块：服务层由一个或多个不同勘探开发软件类型的虚拟机或容器集群实例组成，服务集群实例包括全部虚拟机或全部是容器，或者同时包括虚拟机和容器；其中：服务管理模块提供给系统管理员发布服务；服务申请模块提供给租户管理员申请服务；服务审批模块提供给审批管理员审批服务；服务部署模块提供给系统管理员部署服务集群实例；服务使用模块提供给用户使用服务集群实例；服务接口模块包括认证、计算、网络、镜像、对象、虚拟机和容器模块交互的接口；（3）基础设施层各功能模块：认证模块提供统一身份认证功能；计算模块提供创建服务集群实例虚拟机或容器；镜像模块提供服务集群的虚拟机镜像或容器镜像；块设备模块提供服务实例虚拟机云硬盘；网络模块提供服务集群实例的网络；对象存储模块提供镜像、图片存储；虚拟机模块提供虚拟机创建、启动、关闭和删除；容器模块提供容器的创建、启动、关闭、删除；资源管理模块提供租户CPU、内存、存储资源的配额调整；监控系统模块提供服务集群实例的实时监控。一种基于前述的基于容器技术的勘探开发大数据处理平台的系统进行大数据处理的方法，所述勘探开发大数据处理平台的大数据Hadoop、Spark容器镜像制作方法包括以下步骤：步骤一、安装容器系统软件、桌面软件；步骤二、安装配置安全外壳协议（SSH）、远程控制软件（VNC）、网页远程控制软件（NOVNC）服务；步骤三、安装配置Java软件；步骤四、安装配置大数据Hadoop软件；步骤五、安装配置大数据Spark软件；步骤六、安装配置大数据Hive软件；步骤七、安装配置大数据HBase软件；步骤八、添加自动配置大数据Hadoop服务程序；步骤九、添加自动配置大数据Spark服务程序；步骤十、安装配置容器服务启动脚本。所述勘探开发大数据处理平台的创建大数据Hadoop、Spark集群的方法包括以下步骤：步骤一、选择大数据Hadoop、Spark容器镜像；步骤二、输入大数据集群模块数量；步骤三、输入大数据集群的机器名或起始机器名；步骤四、输入大数据集群的IP地址或起始IP地址；步骤五、输入大数据集群的名称；步骤六、输入大数据集群部署的服务器或自动选择；步骤七、提交创建大数据集群请求。所述勘探开发大数据处理平台的大数据作业提交的方法包括以下步骤：步骤一、在处理程序模板文件中修改数据源中的数据库配置信息；步骤二、在处理程序模板文件中修改数据源中的日志文件路径、配置信息；步骤三、在处理程序模板文件中修改数据源中的其他文件夹、配置信息；步骤四、在处理程序产生每年历史数据模板文件中修改配置信息；步骤五、在处理程序产生每月历史数据模板文件中修改配置信息；步骤六、在处理程序产生每天历史数据模板文件中修改配置信息；步骤七、提交大数据处理的请求；步骤八、系统自动完成大数据作业的处理；步骤九、系统自动完成大数据作业处理后将所有结果数据生成字典格式的.json文件。所述勘探开发大数据处理平台的大数据展示处理的方法包括以下步骤：步骤一、在大数据展示页面中加载大数据作业处理完成时生成的json文件；步骤二、大数据展示页面中根据用户选择的时间、勘探开发软件、模块，加载数据；步骤三、本文档来自技高网...

【技术保护点】
1.一种基于容器技术的勘探开发大数据处理平台的系统，其特征在于，所述系统架构包括：（1）展示层，包括用户项目、消息中心、虚拟桌面、虚拟服务器、云存储、资源管理、资源监控、大数据集群、大数据建模、大数据提交和大数据展示模块；（2）服务层，包括服务管理、服务申请、服务审批、服务部署、服务使用和服务接口模块；（3）基础设施层，包括身份认证、计算、镜像、块设备、网络块、对象存储、虚拟机、资源管理、容器和监控系统模块。

【技术特征摘要】
1.一种基于容器技术的勘探开发大数据处理平台的系统，其特征在于，所述系统架构包括：（1）展示层，包括用户项目、消息中心、虚拟桌面、虚拟服务器、云存储、资源管理、资源监控、大数据集群、大数据建模、大数据提交和大数据展示模块；（2）服务层，包括服务管理、服务申请、服务审批、服务部署、服务使用和服务接口模块；（3）基础设施层，包括身份认证、计算、镜像、块设备、网络块、对象存储、虚拟机、资源管理、容器和监控系统模块。2.如权利要求1所述的基于容器技术的勘探开发大数据处理平台的系统，其特征在于，（1）展示层各功能模块：用户项目模块提供用户管理、项目管理；消息中心模块提供用户发送消息，系统发送广播消息；虚拟桌面模块提供虚拟桌面创建、使用、访问；虚拟服务器模块提供虚拟服务器创建、使用、访问；云存储模块提供云存储网盘；资源管理模块提供网络、云主机类型、镜像、主机聚合；资源监控模块提供虚拟机和服务器的CPU利用率、内存利用率、存储和网络的监控；大数据集群模块提供创建Hadoop、spark集群，用户输入大数据集群数量、机器名、IP地址，系统会自动部署大数据集群并自动配置；大数据建模模块提供了大数据处理模型的模板，设置编辑大数据处理模型；大数据提交模块提供用户提交大数据作业请求；大数据展示模块提供以表格和图形展示大数据分析处理结果；（2）服务层各功能模块：服务层由一个或多个不同勘探开发软件类型的虚拟机或容器集群实例组成，服务集群实例包括全部虚拟机或全部是容器，或者同时包括虚拟机和容器；其中：服务管理模块提供给系统管理员发布服务；服务申请模块提供给租户管理员申请服务；服务审批模块提供给审批管理员审批服务；服务部署模块提供给系统管理员部署服务集群实例；服务使用模块提供给用户使用服务集群实例；服务接口模块包括认证、计算、网络、镜像、对象、虚拟机和容器模块交互的接口；（3）基础设施层各功能模块：认证模块提供统一身份认证功能；计算模块提供创建服务集群实例虚拟机或容器；镜像模块提供服务集群的虚拟机镜像或容器镜像；块设备模块提供服务实例虚拟机云硬盘；网络模块提供服务集群实例的网络；对象存储模块提供镜像、图片存储；虚拟机模块提供虚拟机创建、启动、关闭和删除；容器模块提供容器的创建、启动、关闭、删除；资源管理模块提供租户CPU、内存、存储资源的配额调整；监控系统模块提供服务集群实例的实时监控。3.一种基于权利要求1或2所述的基于容器技术的勘探开发大数据处理平台的系统进行大数据处理的方法，其特征在于，所述勘探开发大数据处理平台的大数据Hadoop、Spark容器镜像制作方法包括以下步骤：步骤一、安装容器系统软件、桌面软件；步骤二...

【专利技术属性】
技术研发人员：李战强，范永合，段淼，董涛，侯树杰，孙世为，朱应科，
申请(专利权)人：中国石油化工股份有限公司，中国石油化工股份有限公司胜利油田分公司物探研究院，
类型：发明
国别省市：北京,11