一种科学数据端云分析服务方法技术

本发明专利技术公开一种科学数据端云分析服务方法。本方法为：科学数据端云分析系统中建立一组主机节点池，并初始化一组管理组件和一组容器资源池；主机节点池包括一个管理节点和若干资源节点，容器资源池包括若干以分析算法库为区分的容器实例池；容器实例池由分布在不同资源节点上的容器实例池片组成，容器实例池片由多个以相同分析算法库镜像产生的容器实例组成，各容器实例内部均有一个科学数据端服务；管理组件包括缓存器、接入器、管理器和维护器；当在用资源达到阈值，管理节点通过接口启动资源节点的注册，创建容器实例池片，容器实例资源入池；接入器根据收到的用户服务请求，选择对应容器实例。

A Cloud Analysis Service Method for Scientific Data End

The invention discloses a scientific data end cloud analysis service method. This method is to establish a set of host node pools and initialize a set of management components and a set of container resource pools in the scientific data end cloud analysis system. The host node pool includes a management node and several resource nodes. The container resource pool includes several container instance pools distinguished by the analysis algorithm library. The container instance pool consists of container instance pools distributed on different resource nodes. Container instance pool slice is composed of several container instances mirrored by the same analysis algorithm library. Each container instance has a scientific data-side service inside it. The management component includes buffer, accessor, manager and maintainer. When the resources in use reach the threshold, the management node starts the registration of resource nodes through the interface, creates container instance pool slice, and the container instance resources are pooled. The access device selects the corresponding container instance according to the received user service request.

【技术实现步骤摘要】
一种科学数据端云分析服务方法
本专利技术属于应用信息学
，具体涉及一种基于容器技术的科学数据端云分析服务方法，主要应用于科学数据在数据端分析的服务方法。
技术介绍
随着科学大数据技术的发展，问题导向的数据端分析成为常态。一方面在专业科学垂直领域，随着传感器布网的增多、采样指标的扩展和采样频率的密集，数据端的数据量级也极具膨胀，数据迁移的时间和空间成本代价增大、存取效率亟待提高；另一方面科学数据挖掘分析所用的计算资源也随着数据规模的扩大越来越多，并且这些数据和资源会随着分析的不同有弹性的需求；再者，领域科学家在进行数据分析处理时，需要多样的算法模型和工具库，由于编程语言、算法环境、适配版本、资源调用等问题也往往是其不得不额外付出精力的方方面面。由此，针对科学大数据分析中数据迁移代价大、数据分析依赖多的特点，需要提供一种科学数据端云分析服务方法，提供有效扩展的计算和存储资源、可选的算法资源库、高效的数据存取接口、安全的用户访问方式、便捷的用户交互工具，领域科学家在进行数据分析时，避免大规模的数据迁移、也无需处理编程语言、算法环境、适配版本、资源调用等问题。将有力提升科学家的数据分析本文档来自技高网...

【技术保护点】
1.一种科学数据端云分析服务方法，其步骤包括：1)科学数据端云分析系统中建立一组主机节点池，并初始化一组管理组件和一组容器资源池；其中，所述主机节点池包括一个管理节点和若干资源节点，所述容器资源池包括若干以分析算法库为区分的容器实例池；所述容器实例池由分布在不同资源节点上的以相同分析算法库镜像产生的容器实例池片组成，所述容器实例池片由一定数量的以相同分析算法库镜像产生的容器实例组成，各所述容器实例内部均有一个科学数据端服务；所述管理组件包括缓存器、接入器、管理器和维护器；2)当科学数据端云分析系统中的资源利用达到阈值时，管理器启动资源节点的注册并将资源节点信息记录到缓存器；3)启动注册的资源节...

【技术特征摘要】
1.一种科学数据端云分析服务方法，其步骤包括：1)科学数据端云分析系统中建立一组主机节点池，并初始化一组管理组件和一组容器资源池；其中，所述主机节点池包括一个管理节点和若干资源节点，所述容器资源池包括若干以分析算法库为区分的容器实例池；所述容器实例池由分布在不同资源节点上的以相同分析算法库镜像产生的容器实例池片组成，所述容器实例池片由一定数量的以相同分析算法库镜像产生的容器实例组成，各所述容器实例内部均有一个科学数据端服务；所述管理组件包括缓存器、接入器、管理器和维护器；2)当科学数据端云分析系统中的资源利用达到阈值时，管理器启动资源节点的注册并将资源节点信息记录到缓存器；3)启动注册的资源节点以分析算法库为区分建立面向相应分析算法库的容器实例池片，创建并启动容器实例，并启动每个容器实例内的服务，将容器实例池片信息和每个容器实例信息记录到缓存器；4)维护器定期读取缓存器中该维护器所在节点内部的容器实例池片信息进行维护；5)接入器根据收到的用户服务请求，选择对应容器实例。2.如权利要求1所述的方法，其特征在于，所述管理器启动资源节点的注册并将资源节点信息记录到缓存器的方法为：所述管理器定期从所述缓存器中读取每项资源利用率并与设定阈值进行比较，当任一项资源利用率超过该项资源利用率对应的预定阈值时，进行一次该项资源利用率超阈值计数并存入所述缓存器；当任一项资源利用率的超阈值计数次数达到该项资源利用率对应的超阈值计数次数阈值时，所述管理器启动主机节点池中的资源...

【专利技术属性】
技术研发人员：孟珍，王学志，周园春，黎建辉，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：北京,11