云数据分析服务管理系统、方法和云端服务器技术方案

本公开提供了一种云数据分析服务管理系统、方法和云端服务器；其中，该系统包括：服务管理模块，用于接收云数据分析服务实例的创建请求，根据创建请求确定实例对应的主机性能要求；资源管理模块，用于为服务管理模块调度与主机性能要求相匹配的主机资源，以及获取所述实例所需的镜像文件；其中，主机资源包括：物理主机资源和虚拟主机资源；镜像管理模块，用于向资源管理模块提供实例所需的镜像文件；服务管理模块还用于在主机资源上安装镜像文件生成实例，运行并管理实例。本公开可以满足不同主机性能要求的数据分析服务的云端部署需求。

【技术实现步骤摘要】
云数据分析服务管理系统、方法和云端服务器
本公开涉及云计算
，尤其是涉及一种云数据分析服务管理系统、方法和云端服务器。
技术介绍
云计算是一种分布式计算模式，是基于分布式处理、并行处理和网格计算等技术的共享基础架构的方法。云计算可以自我维护和管理庞大的虚拟计算资源，包括计算服务器、存储服务器、宽带资源等，从而为用户提供可靠地、自定义的、最大化资源利用的IT服务。云端大数据分析服务是在SaaS(SoftwareasaService，软件即服务)基础上发展而来的一种云计算技术；云端大数据分析服务通常部署在云端服务器的虚拟机中，由于虚拟机自身性能的限制，数据分析服务单一地部署在虚拟机上的方式难以满足高性能数据分析服务的需求，导致这些高性能的数据分析服务只能通过实体物理资源实现，不能部署在云端。
技术实现思路
有鉴于此，本公开的目的在于提供一种云数据分析服务管理系统、方法和云端服务器，以满足不同主机性能要求的数据分析服务的云端部署需求。为了实现上述目的，本公开采用的技术方案如下：第一方面，本公开提供了一种云数据分析服务管理系统，系统包括：服务管理模块，用于接收云数据分析服务实例的创建请求，根据创建请求确定实例对应的主机性能要求；资源管理模块，用于为服务管理模块调度与主机性能要求相匹配的主机资源，以及获取实例所需的镜像文件；其中，主机资源包括：物理主机资源和虚拟主机资源；镜像管理模块，用于向资源管理模块提供实例所需的镜像文件；服务管理模块还用于在主机资源上安装镜像文件生成实例，运行并管理实例。第二方面，本公开提供了一种云数据分析服务管理方法，方法应用于上述云数据分析服务管理系统；方法包括：接收云数据分析服务实例的创建请求，根据创建请求确定实例对应的主机性能要求；调度与主机性能要求相匹配的主机资源；其中，主机资源包括：物理主机资源和虚拟主机资源；获取实例所需的镜像文件；在主机资源上安装镜像文件生成实例，运行并管理实例。第三方面，本公开实施方式提供了一种云端服务器，包括存储器和处理器，其中，存储器用于存储一条或多条计算机指令，一条或多条计算机指令被处理器执行，以实现上述云数据分析服务管理方法。第四方面，本公开实施方式提供了一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述云数据分析服务管理方法。上述云数据分析服务管理系统、方法和云端服务器，服务管理模块可以通过资源管理模块对物理主机资源和虚拟主机资源进行调度，以使主机资源与创建实例所需的主机性能要求相匹配；该方式中，云数据分析服务的部署方式更为灵活，使高性能的数据分析服务也可以通过云计算实现，满足了不同主机性能要求的数据分析服务的云端部署需求。本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本公开实施方式提供的一种云数据分析服务管理系统的结构示意图；图2为本公开实施方式提供的另一种云数据分析服务管理系统中，服务管理模块的具体结构示意图；图3为本公开实施方式提供的另一种云数据分析服务管理系统中，服务管理模块的具体结构示意图；图4为本公开实施方式提供的另一种云数据分析服务管理系统的结构示意图；图5为本公开实施方式提供的采用多租户形式部署云数据分析服务的架构示意图；图6为本公开实施方式提供的一种云数据分析服务管理方法的流程图；图7为本公开实施方式提供的一种云端服务器的结构示意图。具体实施方式为使本公开实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。云端大数据分析服务具有动态可扩展、可用性高、使用代价低、易用性高、大规模并行处理等特点，适用于海量数据的存储和分析。云端大数据分析服务通常部署在云端大量的虚拟机中，这种部署方式可以增强大数据平台的存储能力和计算能力，无需重复配置人员、硬件和软件，节约平台搭建成本，且便于软、硬件的后续升级维护；同时，还可以虚拟化大数据平台的部分后端功能；但是，由于虚拟机是通过软件模拟的具有完整硬件系统功能的计算机系统，运行过程中需要模拟底层的硬件指令，导致应用程序运行速度、数据输入输出等性能受到影响；这就限制了高性能的大数据分析服务(例如，高数据处理性能、高输入输出性能等)难以部署在云端，只能通过实体物理资源进行部署。为了使高性能的大数据分析服务也能通过云计算实现，数据分析服务需要更为灵活的部署方式，以满足不同性能的数据分析需求；基于此，本公开实施方式提供了一种云数据分析服务管理系统、方法和云端服务器，下面进行具体描述。本公开实施方式首先提供了一种云数据分析服务管理系统，该系统可以部署在云平台的服务器中，如图1所示，该系统包括服务管理模块10、资源管理模块11和镜像管理模块12。其中，服务管理模块10用于接收云数据分析服务实例的创建请求，根据创建请求确定实例对应的主机性能要求；资源管理模块11用于为服务管理模块10调度与主机性能要求相匹配的主机资源，以及获取实例所需的镜像文件；该主机资源包括：物理主机资源和虚拟主机资源；镜像管理模块12用于向资源管理模块11提供实例所需的镜像文件；上述服务管理模块10还用于在主机资源上安装镜像文件生成实例，运行并管理实例。该服务管理模块10可以向用户开放一个接口，例如，可以注册账户并登陆的网站；用户可以通过该接口提交创建请求；该创建请求中通常包含云数据分析服务的相关属性，包括所属行业、数据量、分析实时性要求、安全性要求等；服务管理模块10接收到创建请求后，通常先初步审核当前系统中的可用资源是否能够基本满足该创建请求，如果能够满足，则可以向用户进行相关反馈。上述用户提交的创建请求中可以直接包含有主机性能要求，例如，运行实例所需的内存、处理器、数据存储空间、数据输入输出速率等；服务管理模块10可以直接根据创建请求中的主机性能要求，通过资源管理模块11调度主机资源。然而，部分用户可能难以提交准确的主机性能要求，此时服务管理模块10可以对用户提交的云数据分析服务的相关属性进行分析，从而得到主机性能要求；该相关属性具体可以采用机器学习的方式或其他智能方式自动化进行分析，也可以采用管理员人工干预分析得到该用户的主机性能要求。服务管理模块10确定出主机性能要求后，可以向资源管理模块11发送资源调度指令，以及该主机性能要求。上述资源管理模块11与云平台的各个资源池连接，该资源池通常包括虚拟机资源池、物理机资源池、容器资源池等；资源管理模块11监控本文档来自技高网...

【技术保护点】
1.一种云数据分析服务管理系统，其特征在于，所述系统包括：服务管理模块，用于接收云数据分析服务实例的创建请求，根据所述创建请求确定所述实例对应的主机性能要求；资源管理模块，用于为所述服务管理模块调度与所述主机性能要求相匹配的主机资源，以及获取所述实例所需的镜像文件；其中，所述主机资源包括：物理主机资源和虚拟主机资源；镜像管理模块，用于向所述资源管理模块提供所述实例所需的镜像文件；所述服务管理模块还用于在所述主机资源上安装所述镜像文件生成所述实例，运行并管理所述实例。

【技术特征摘要】
1.一种云数据分析服务管理系统，其特征在于，所述系统包括：服务管理模块，用于接收云数据分析服务实例的创建请求，根据所述创建请求确定所述实例对应的主机性能要求；资源管理模块，用于为所述服务管理模块调度与所述主机性能要求相匹配的主机资源，以及获取所述实例所需的镜像文件；其中，所述主机资源包括：物理主机资源和虚拟主机资源；镜像管理模块，用于向所述资源管理模块提供所述实例所需的镜像文件；所述服务管理模块还用于在所述主机资源上安装所述镜像文件生成所述实例，运行并管理所述实例。2.根据权利要求1所述的系统，其特征在于，所述服务管理模块包括：API组件，用于向租户提供交互接口，通过所述交互接口接收所述租户的云数据分析服务实例的创建请求；任务组件，用于通过所述资源管理模块调度所述主机资源，以及控制所述资源管理模块向镜像管理模块获取所述镜像文件，将所述镜像文件存入所述主机资源中；Agent组件与所述API组件和任务组件均连接，用于安装所述镜像文件，对安装后的所述镜像文件进行初始化处理，得到所述云数据分析服务的实例。3.根据权利要求2所述的系统，其特征在于，所述服务管理模块还包括后端组件；所述Agent组件还用于在所述实例运行过程中，采集所述实例的状态信息；所述后端组件与所述Agent组件连接，用于将所述状态信息保存至所述租户对应的数据库。4.根据权利要求3所述的系统，其特征在于，所述服务管理模块中的各个组件之间通过MQ通道通信。5.根据权利要求1所述的系统，其特征在于，所述服务管理模块还用于：在所述实例运行过程中，如果接收到所述实例的服务请求，通过所述资源管理模块选择所述服务请求对应的容器计算资源，使用容器计算资源对所述实例进行大数据分析处理。6.根...

【专利技术属性】
技术研发人员：刘梦雯，
申请(专利权)人：新华三云计算技术有限公司，
类型：发明
国别省市：四川,51