面向医联体的多用户大数据分析服务系统和方法技术方案

本发明专利技术提供了一种面向医联体的多用户大数据分析服务系统和方法，包括基于自服务方式的大数据集群创建、大数据集群使用、大数据集群删除。使用OpenStack的容器服务作为运行支撑环境，利用了OpenStack的资源管理能力，无需在大数据分析服务子系统中另外实现物理资源管理功能；可以与其它服务共享物理资源，提高资源利用率、减少物理资源浪费。本发明专利技术提供的大数据集群本身为集群架构，且均为Spark集群，如Worker节点发生故障，整个集群仍处于可用状态，仅会因可用资源减少而导致性能下降。具有低廉的部署和维护方式，用户将无需花费大量时间进行部署安装配置，具有强大的编程扩展能力，支持多种语言的开发。

System and Method of Multi-user Large Data Analysis Service for Medical Association

【技术实现步骤摘要】
面向医联体的多用户大数据分析服务系统和方法
本专利技术涉及大数据分析领域，具体地，涉及一种面向医联体的多用户大数据分析服务系统和方法。
技术介绍
大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V，数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。如何实现大数据分析服务集群的自动化、自服务化管理而无需关心底层资源申请、软件安装和配置等操作，满足用户，特别是多用户环境下对大数据集群的需求，已经成为使用大数据技术进行大数据分析亟待破解的难题。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种面向医联体的多用户大数据分析服务系统和方法。根据本专利技术提供的一种面向医联体的多用户大数据分析服务系统，包括：集群服务创建模块：接收来自控制台的由使用者以自助服务方式选择创建的大数据集群，接收使用者设置大数据集群规模后，由后台自动化部署配置大数据集群，完成大数据集群创建；集群服务使用模块：通过控制台根据使用者的查看指令，提供大数据集群的访问信息，提供通过SSH客户端或VNC客户端访问大数据集群，使用大数据集群。优选地，所述的面向医联体的多用户大数据分析服务系统，还包括集群服务删除模块：接收来自控制台的由使用者以自助服务方式选择删除的大数据集群，由后台自动化删除大数据集群。优选地，所述大数据集群是构建在云上的大数据服务。优选地，所述大数据集群的使用服务构建在x86和IBMPower服务器集群之上，采用定制化JVM。优选地，所述大数据集群创建采用OpenStackHeat进行集群创建。优选地，所述分析任务的分析结果保存在HDFS、Hive或集群文件系统中。优选地，部署管理节点虚拟机和大数据集群，所述管理节点虚拟机包括Nginx、大数据平台服务、Heat管理、文件同步服务、对象存储，Nginx实现对外接口映射，大数据平台服务处理Web请求，大数据平台服务与文件同步服务、Heat管理进行交互，文件同步服务完成对象存储和HDFS的同步。优选地，所述使用大数据集群中，用户通过上传数据或程序提交分析任务，通过SCP下载分析任务的分析结果。优选地，所述使用大数据集群中，用户能够查看大数据集群的运行状态；在创建大数据集群中，用户能够查看大数据集群的创建进度。根据本专利技术提供的一种面向医联体的多用户大数据分析服务方法，包括：集群服务创建步骤：接收来自控制台的由使用者以自助服务方式选择创建的大数据集群，接收使用者设置大数据集群规模后，由后台自动化部署配置大数据集群，完成大数据集群创建；集群服务使用步骤：通过控制台根据使用者的查看指令，提供大数据集群的访问信息，提供通过SSH客户端或VNC客户端访问大数据集群，使用大数据集群；集群服务删除步骤：接收来自控制台的由使用者以自助服务方式选择删除的大数据集群，由后台自动化删除大数据集群。与现有技术相比，本专利技术具有如下的有益效果：1、本专利技术的大数据服务构建在x86和IBMPower服务器集群之上，具有极其出色的计算能力，为了更好地适用于大数据业务，大数据服务采用了为Power定制化的JVM，对于开发大数据业务的用户来说，底层集群应用了Power还是x86对于编程没有任何影响，都可以用同样的代码运行。2、本专利技术的大数据服务是一种构建在云上的大数据服务，能够处理任何数量的数据,按需将数据处理容量从数TB扩展至数PB级别。在大数据集群服务中，用户可以随时快速创建任意数量的节点。3、本专利技术具有强大的编程扩展能力，支持Java，Python，Scala等多种语言，还将支持R语言，用户可以使用自己习惯的编程语言进行Hadoop/Spark作业的编写、创建、配置、提交和监控。4、本专利技术具有低廉的部署和维护方式，用户将无需花费大量时间进行部署安装配置，无需其它前期成本，大数据服务可以为用户自动完成这些工作，用户可在几分钟内启动一个集群。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为大数据集群创建服务流程图；图2为大数据集群删除服务流程图；图3为大数据分析服务子系统部署架构图；图4为大数据集群化服务流图；图5为大数据分析服务子系统数据库设计图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。根据本专利技术提供的一种面向医联体的多用户大数据分析服务系统，包括：集群服务创建模块：接收来自控制台的由使用者以自助服务方式选择创建的大数据集群，接收使用者设置大数据集群规模后，由后台自动化部署配置大数据集群，完成大数据集群创建；集群服务使用模块：通过控制台根据使用者的查看指令，提供大数据集群的访问信息，提供通过SSH客户端或VNC客户端访问大数据集群，使用大数据集群。具体地，所述的面向医联体的多用户大数据分析服务系统，还包括集群服务删除模块：接收来自控制台的由使用者以自助服务方式选择删除的大数据集群，由后台自动化删除大数据集群。其中，大数据集群创建、使用大数据集群、删除大数据集群分别以服务的形式存在，分别对应大数据集群创建服务、大数据集群使用服务、大数据集群删除服务，且大数据集群创建服务必须优先于大数据集群使用服务和大数据集群删除服务。所述大数据集群创建服务由用户以自服务的方式，在控制台选择创建大数据集群并确认集群规模(节点数量)后，由大数据集群创建服务后台自动化部署和配置大数据集群。用户可以通过控制台查看大数据集群创建进度，创建完成后即可登录使用。所述大数据集群使用服务是在大数据集群创建完成后，用户可以通过控制台查看集群的访问信息(最重要的信息是集群Master节点的IP地址)。之后，用户可以通过SSH或VNC方式直接访问Master节点，通过上传分析数据、程序，向Spark提交分析任务；分析完成后可以通过使用SCP下载分析结果。在这个过程中，用户还可以通过控制台，点击集群中的Spark监控和Hadoop监控，对集群状态进行实时查看。所述大数据集群删除服务也采用用户自服务的方式，由用户在控制台选择要删除大数据集群并确认，系统会在后台自动化的完成集群删除工作。集群一旦删除，无法恢复，在删除前用户需要手工完成数据备份。具体地，所述大数据集群是构建在云上的大数据服务。能够处理任何数量的数据,按需将数据处理容量从数TB扩展至数PB级别。在大数据集群服务中，用户可以随时快速创建任意数量的节点。具体地，所述大数据集群的使用服务构建在x86和IBMPower服务器集群之上，计算能力强，采用定制化JVM。对于开发大数据业务的用户来说，底层集群应用了Power还是x86对于编程没有任何影响，都可以用同样的代码运行。所述大数据集群使用服务具有强大的编程扩展能力，支持Java，Python，Scala等多种语言，还将支持R语本文档来自技高网...

【技术保护点】
1.一种面向医联体的多用户大数据分析服务系统，其特征在于，包括：集群服务创建模块：接收来自控制台的由使用者以自助服务方式选择创建的大数据集群，接收使用者设置大数据集群规模后，由后台自动化部署配置大数据集群，完成大数据集群创建；集群服务使用模块：通过控制台根据使用者的查看指令，提供大数据集群的访问信息，提供通过SSH客户端或VNC客户端访问大数据集群，使用大数据集群。

【技术特征摘要】
1.一种面向医联体的多用户大数据分析服务系统，其特征在于，包括：集群服务创建模块：接收来自控制台的由使用者以自助服务方式选择创建的大数据集群，接收使用者设置大数据集群规模后，由后台自动化部署配置大数据集群，完成大数据集群创建；集群服务使用模块：通过控制台根据使用者的查看指令，提供大数据集群的访问信息，提供通过SSH客户端或VNC客户端访问大数据集群，使用大数据集群。2.根据权利要求1所述的面向医联体的多用户大数据分析服务系统，其特征在于，还包括集群服务删除模块：接收来自控制台的由使用者以自助服务方式选择删除的大数据集群，由后台自动化删除大数据集群。3.根据权利要求1所述的面向医联体的多用户大数据分析服务系统，其特征在于，所述大数据集群是构建在云上的大数据服务。4.根据权利要求1所述的面向医联体的多用户大数据分析服务系统，其特征在于，所述大数据集群的使用服务构建在x86和IBMPower服务器集群之上，采用定制化JVM。5.根据权利要求1所述的面向医联体的多用户大数据分析服务系统，其特征在于，所述大数据集群创建采用OpenStackHeat进行集群创建。6.根据权利要求1所述的面向医联体的多用户大数据分析服务系统，其特征在于，所述分析任务的分析结果保存在HDFS、Hive或集群文件系统中。7.根据权利要求1所述的面向医联体...

【专利技术属性】
技术研发人员：王永明，崔修涛，章玉宇，胡天龙，刘佳伟，赵政达，
申请(专利权)人：中电科软件信息服务有限公司，上海长江科技发展有限公司，
类型：发明
国别省市：上海,31