基于私有云大数据交互的企业数据服务总线构建方法技术

本发明专利技术公开了一种基于私有云大数据交互的企业数据服务总线构建方法，包括软件部属、硬件部署、平台部署以及应用部署的步骤，在软件部属中通过在裸的物理服务器上安装Linux操作系统、并部署基于容器的Hadoop大数据平台、用容器镜像封装工具将所开发的应用进行封装成为标准的容器镜像、在大数据平台上用start命令启动容器等操作步骤来实现秒级别的启停服务。本发明专利技术能够提供对SQL的统一支持，通过内存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理10GB到100PB的数据，并且在每个数量级上，其性能都比开源Hadoop版本快10x~100x倍，大大提高了数据分析的灵活高效性。

【技术实现步骤摘要】
基于私有云大数据交互的企业数据服务总线构建方法
本专利技术涉及网络
，特别是一种企业用数据服务总线的构建方法。
技术介绍
企业服务总线（EnterpriseServiceBus，简称ESB）的概念是从面向服务体系架构（ServiceOrientedArchitecture，简称SOA）发展而来的，为分散服务提供了交互、组合和治理的基础架构。SOA描述了一种IT基础设施的应用集成模型，其中的软件构架描述的对象是直接构成系统的抽象组件，各个组件之间的连接则明确和相对细致地描述组件之间的通讯，是一种定义清晰的层次化结构相互耦合；一个ESB就是一个预先组装的SOA实现，它包含了实现SOA分层目标所必需的基础功能部件。近几年来，大数据技术的应用范围越来越广泛。在信息化的时代，各个领域都趋向于智能化、科技化。大数据技术研发出来的分布式处理的软件框架Hadoop、用来进行挖掘和可视化的软件环境、非关系型数据库等开源软件框架，在各行各业具有愈发广泛的应用。基于现有技术的发展，企业可以建构基于大数据的数据服务总线。
技术实现思路
本专利技术需要解决的技术问题是提供一种基于私有云大数据交互的企业数据服务总线的构建方法，使企业各类应用可以统一在大数据平台上进行数据流转交互，提高数据分析的灵活高效性。为解决上述技术问题，本专利技术所采取的技术方案如下。基于私有云大数据交互的企业数据服务总线构建方法，具体包括以下步骤：1）软件部属11）在裸的物理服务器上安装Linux操作系统，并部署基于容器的Hadoop大数据平台；22）用容器镜像封装工具将所开发的应用进行封装成为标准的容器镜像，将所有容器镜像采用push命令上传至企业数据服务总线的私有仓库；33）在大数据平台上用start命令启动容器，为每一个容器内的服务创建一个独立的进程隔离空间；2）硬件部署通过负载均衡设备以及应用服务器集群策略在生产区部署云平台系统，与互联网完全隔离；3）平台部署平台采用图形化管理界面安装，包括docker组件和kubernetes的一键安装，market和registry的部署；4）应用部署通过WebUI、RESTAPI或者命令行一键安装和部署应用，自动根据服务的依赖性安装所需的其他服务组件。上述基于私有云大数据交互的企业数据服务总线构建方法，步骤11）中所述的操作系统为CentOS或Redhat操作系统。上述基于私有云大数据交互的企业数据服务总线构建方法，步骤12）中所述的容器利用namespace实现系统环境的隔离，利用Cgroup实现资源限制，利用镜像实现根目录环境的隔离。由于采用了以上技术方案，本专利技术所取得技术进步如下。本专利技术能够提供对SQL的统一支持，企业无需建构各种复杂技术混合架构的数据处理平台，通过内存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理10GB到100PB的数据，并且在每个数量级上，其性能都比开源Hadoop版本快10x~100x倍，大大提高了数据分析的灵活高效性。本专利技术的应用范围可覆盖各种规模和不同数据量的企业，并且还可以伴随企业的业务数据增长，动态不停机扩容，避免MPP或混合架构数据迁移的棘手问题。具体实施方式下面将结合具体实施例对本专利技术进行进一步详细说明。本专利技术使用容器技术有效地将企业各个业务系统原属于单个操作系统管理的资源都划分到孤立的组中，以此来调节各项业务的资源使用需求。这样容器可以在核心CPU本地运行指令，而不需要任何专门的解释机制，既不需要指令级模拟，也不需要即时编译，每个容器内运行一个应用，不同的容器相互隔离，容器之间建立通信机制；容器自身对资源的需求十分有限，远比虚拟机本身占用的资源少，因此其创建和停止都十分快速（秒级）。传统的Oracle数据库以及大数据平台的各个组件，都可以依据固定的模板，创建成为一个个可以在云操作系统上运行的容器镜像，Oracle数据库以及大数据平台的各个组件都在容器内部运行，各种功能都可以通过接口来供使用者调用，以及实现不同平台和组件之间的数据交互。基于分布式容器集群管理系统构建的服务器虚拟化私有仓库，可为大数据平台系统的各类应用、分布式计算和存储服务组件提供多租户隔离的容器资源调配管理、应用打包部署及SLA管理、作业调度管理以及统一运维监控管理。本专利技术所述的一种基于私有云大数据交互的企业数据服务总线，该企业数据服务总线应用于电网企业中，能够通过容器封装实现渠道全景监控和95598客户服务热线的状态监控。其构建方法具体包括以下步骤：1）软件部属11）在裸的物理服务器上安装Linux操作系统，操作系统优选为CentOS或Redhat操作系统；然后部署基于容器的Hadoop大数据平台。Hadoop相关服务采用dockerimage的方式安装，并且各个组件的选择按照实际业务需要进行搭配安装，被依赖的服务自动关联。大数据平台安装后可以在线扩容、在线升级。22）用容器镜像封装工具将所开发的应用进行封装成为标准的容器镜像，将所有容器镜像采用push命令上传至企业数据服务总线的私有仓库；容器之间利用namespace实现系统环境的隔离，利用Cgroup实现资源限制，利用镜像实现根目录环境的隔离。容器镜像一旦创建即封装在企业总线的私有仓库内，也可与其他集群之间进行镜像的复制和移动。33）在大数据平台上用start命令启动容器，为每一个容器内的服务创建一个独立的进程隔离空间。在服务未启动时，CPU、内存等底层硬件计算资源是应用于其他服务的，而容器启动后则由此类服务部分占用。服务停止时，容器自动销毁，其原来所占用的资源又得以释放，供其他服务所使用，达到了众多电网服务业务的灵活启停和集群弹性扩容、缩容的目的。2）硬件部署通过负载均衡设备以及应用服务器集群策略在生产区部署云平台系统，与互联网完全隔离；做到私有化，并保证了整个平台的安全性。云平台系统支持硬件系统性能升级与数量扩充，可持续满足并发访问用户数的增长，可以动态扩展。3）平台部署平台采用图形化管理界面安装，包括docker组件和kubernetes的一键安装，market和registry的部署；在云平台系统中可以提供各个组件各项关键指标的监控。4）应用部署通过WebUI、RESTAPI或者命令行一键安装和部署应用，自动根据服务的依赖性安装所需的其他服务组件。Docker作为装载进程的容器，不用重新启动操作系统，秒级别的启停服务，可以在数据中心创建或销毁，没有额外消耗。本专利技术构建的企业数据服务总线，在作业过程中，集群内使用统一的NTP时钟同步源，以保持数据的实时有效性。本实施例中，企业数据服务总线应用到电网中时，能够准确实时地总览电网企业全渠道及二级部门的业务和工单情况，并对营销关健指标，如实收电费笔数和实收金额、业扩工单数量等情况进行实时监控等，提高了数据分析的灵活高效性。采用本专利技术构建的企业数据服务总线，具有以下特点：1）具有大数据平台上的所有功能，可以完整支持大数据处理的场景，包括：离线批处理、实时流处理、高并发精确检索、模糊搜索、数据挖掘、交互式分析等。2）支持完整的SQL99标准和SQL2003核心扩展语法，可以运行TPC-DS标准测试集的全部99个测试项；是支持存储过程的SQLonHadoop引擎，兼容98%以上的O本文档来自技高网...

【技术保护点】
基于私有云大数据交互的企业数据服务总线构建方法，其特征在于，具体包括以下步骤：1）软件部属11）在裸的物理服务器上安装Linux操作系统，并部署基于容器的Hadoop大数据平台；22）用容器镜像封装工具将所开发的应用进行封装成为标准的容器镜像，将所有容器镜像采用push命令上传至企业数据服务总线的私有仓库；33）在大数据平台上用start命令启动容器，为每一个容器内的服务创建一个独立的进程隔离空间；2）硬件部署通过负载均衡设备以及应用服务器集群策略在生产区部署云平台系统，与互联网完全隔离；3）平台部署平台采用图形化管理界面安装，包括docker组件和kubernetes的一键安装，market和registry的部署；4）应用部署通过Web UI、REST API或者命令行一键安装和部署应用，自动根据服务的依赖性安装所需的其他服务组件。

【技术特征摘要】
1.基于私有云大数据交互的企业数据服务总线构建方法，其特征在于，具体包括以下步骤：1）软件部属11）在裸的物理服务器上安装Linux操作系统，并部署基于容器的Hadoop大数据平台；22）用容器镜像封装工具将所开发的应用进行封装成为标准的容器镜像，将所有容器镜像采用push命令上传至企业数据服务总线的私有仓库；33）在大数据平台上用start命令启动容器，为每一个容器内的服务创建一个独立的进程隔离空间；2）硬件部署通过负载均衡设备以及应用服务器集群策略在生产区部署云平台系统，与互联网完全隔离；3）平台部署平台采用图形化管理界面安装，包括dock...

【专利技术属性】
技术研发人员：吴永欢，孙煜华，张雨，廖嘉炜，池燕清，徐炫东，
申请(专利权)人：广州供电局有限公司，
类型：发明
国别省市：广东,44