一种多学科数据模型计算一体化协同科研云服务系统技术方案

本发明专利技术公开了一种多学科数据模型计算一体化协同科研云服务系统，包括：容器集群系统、镜像仓库系统、代码仓库系统、统一认证系统和协同科研云服务门户系统；其中：容器集群系统，提供数据、计算、模型训练和应用部署服务；镜像仓库系统，提供科研软件和基础软件的镜像存储和管理功能，同时为容器集群系统中应用提供软件镜像存储和拉取服务；代码仓库系统，提供应用项目的源代码管理和协作服务；统一认证系统，提供用户的统一认证和统一管理；同时该系统基于虚拟组织对用户资源访问的基础授权进行统一管理；多认证授权协议支持、互连互通；协同科研云服务门户系统，提供一站式计算服务、数据服务、在线应用研发和部署服务。本发明专利技术极大的提高了科研效率。大的提高了科研效率。大的提高了科研效率。

【技术实现步骤摘要】
一种多学科数据模型计算一体化协同科研云服务系统


[0001]本专利技术涉及云计算、云服务
，尤其涉及一种多学科数据模型计算一体化协同科研云服务系统。

技术介绍

[0002]随着大数据时代的来临以及大数据在各学科领域的广泛应用，科学研究已进入数据密集型科研范式。如何采集、存储、管理、分析这些科学数据，目前国内科研人员通常采取的做法是，通过实验仪器采集到科研实验数据，将这些数据以文件或数据库的形式存放到存储设备内，再使用超算资源或云计算资源对数据进行科学计算、分析，从而得出相关实验结论。而科研活动中涉及到的超算资源、云计算资源和存储设备等基础设施通常是通过采购部署或使用公有云或相关机构的私有云环境实现，但科研人员依然需要自行在云主机中部署相关基础软件和科学软件，很多软件的安装部署工作对于科研人员的计算机知识要求很高，同时也严重增加了科研人员的时间成本。

技术实现思路

[0003]本专利技术的目的在于，解决现有云服务架构中，采集、存储、管理、分析科学数据存在的上述技术问题。
[0004]为实现上述目的，本专利技术提供了一种多学科数据模型计算一体化协同科研云服务系统，包括：容器集群系统、镜像仓库系统、代码仓库系统、统一认证系统和协同科研云服务门户系统；其中：
[0005]容器集群系统，用于提供数据、计算、模型训练和应用部署服务；包括用于部署分发、用户权限、应用配置包管理的管理集群，和面向不同应用的服务集群；
[0006]镜像仓库系统，用于提供科研软件和基础软件的镜像存储和管理功能，同时为容器集群系统中应用提供软件镜像存储和拉取服务；
[0007]代码仓库系统，用于提供应用项目的源代码管理和协作服务；
[0008]统一认证系统，提供用户的统一认证和统一管理，用户自助注册账号后登录，或者使用自有机构账号进行跨域联邦登录，一键登录并访问所有协同科研云服务架构中接入的应用与资源；同时该系统基于虚拟组织对用户资源访问的基础授权进行统一管理；统一认证系统多认证授权协议支持、互连互通；
[0009]协同科研云服务门户系统，提供计算服务、数据服务、在线应用研发和部署服务。
[0010]本专利技术实现了一站式的科研工作环境，方便科研工作者在浏览器中完成对科研数据的存储、计算、仿真、分析、应用开发与发布、共享等的全流程处理，极大的提高了科研效率。
附图说明
[0011]图1为本专利技术实施提供的一种多学科数据模型计算一体化协同科研云服务系统架
构示意图；
[0012]图2为图1所示系统安全架构示意图；
[0013]图3为图1所示系统整体技术架构示意图；
[0014]图4为图1所示系统功能示意图。
具体实施方式
[0015]下面将参照以上说明更详细地描述本公开的示例性实施例。虽然本实施例显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0016]图1为本专利技术实施提供的一种多学科数据模型计算一体化协同科研云服务系统架构示意图。如图1所示，协同科研云服务系统包括容器集群系统、镜像仓库系统、代码仓库系统、统一认证系统和协同科研云服务门户系统；其中：
[0017]容器集群系统，是服务系统中的主要组成部分，面向科研人员提供数据、计算、模型训练、应用部署等服务。容器集群系统基于Kubernetes架构实现，系统内包括一个用于部署分发、用户权限、应用配置包管理的管理集群，和两个面向不同应用的服务集群。其中，服务集群1用于面向学科研究的JupyterHub服务；服务集群2用于部署其他应用服务和用户自研应用。
[0018]具体的，容器集群系统中的三个集群通过Kubernetes Federation技术实现多集群的统一管理，该技术提供了在多个集群中保持资源同步的能力和自动配置DNS服务以及在所有集群后端上进行负载均衡的能力，以此实现跨集群同步资源和跨集群服务发现。
[0019]具体的，在管理集群中实现了面向整个容器集群系统的访问控制体系，Workspace是最小的租户单元，Workspace提供了跨集群、跨项目(即Kubernetes中的命名空间)共享资源的能力。Workspace中的成员可以在授权集群中创建项目，并通过邀请授权的方式参与项目协同。用户是容器云平台的帐户实例，可以被设置为整个容器集群系统层面的管理员参与集群的管理，也可以被添加到Workspace中参与项目协同。多级的权限控制和资源配额限制是整个容器集群系统中资源隔离的基础，奠定了多租户最基本的形态。
[0020]镜像仓库系统，主要面向科研用户提供科研软件和基础软件的镜像存储和管理功能，同时为容器集群系统中应用提供软件镜像存储和拉取服务。镜像仓库系统基于Harbor实现，允许科研用户用命令行工具对容器镜像及其他Artifact进行推送和拉取，并提供了图形管理界面帮助用户查看和管理这些Artifact。除容器镜像外，对符合OCI规范的Helm Chart、CNAB、OPA Bundle等都提供了更多的支持。
[0021]具体的，在镜像安全方面，镜像仓库系统提供对镜像的安全扫描能力，扫描本地/仓库镜像，分析镜像的安全漏洞、恶意文件、敏感信息等。通过多维度深度扫描，帮助用户发现不安全镜像，从源头上解决容器镜像安全问题。同时，镜像仓库系统采用主备机制，容器镜像的构建推向不同镜像仓库中，从而实现镜像层面的容错。
[0022]代码仓库系统，主要面向科研用户提供应用项目的源代码管理和协作服务，用户可以通过系统中的Code Server、Jupyterhub等应用或在有网络的物理机或云主机中通过Git命令将代码实时同步到代码仓库，也可以通过代码仓库系统的图形界面对应用项目代
码进行管理。
[0023]统一认证系统，主要提供用户的统一认证和统一管理，用户可自助注册账号后登录，或者使用自有机构账号进行跨域联邦登录，一键登录并访问所有协同科研云服务架构中接入的应用与资源；同时该系统基于虚拟组织对用户资源访问的基础授权进行统一管理；统一认证系统多认证授权协议(SAML/OIDC)支持、互连互通。
[0024]协同科研云服务门户系统，面向科研人员提供计算服务、数据服务、在线应用研发和部署服务。其中，计算服务包括便捷的指标在线计算、数据产品按需生产、决策支持、数据挖掘分析、深度学习云服务系统、镜像仓库、Git代码仓库、云原生数据库服务等功能；数据服务包括共享数据模块及数据预处理工具服务；在线应用研发和部署服务包括在线编程工具环境、通用的应用工具软件及部署应用和管理计量功能。协同科研云服务门户系统包括多个入口，如协同云服务门户入口1、协同云服务门户入口2和协同云服务门户入口3。协同科研云服务门户系统通过nginx实现了动态的负载均衡。
[0025]相应地，本专利技术实施例提供了一种协同科研云服务平台，该平台本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多学科数据模型计算一体化协同科研云服务系统，其特征在于，包括：容器集群系统、镜像仓库系统、代码仓库系统、统一认证系统和协同科研云服务门户系统；其中：容器集群系统，用于提供数据、计算、模型训练和应用部署服务；包括用于部署分发、用户权限、应用配置包管理的管理集群，和面向不同应用的服务集群；镜像仓库系统，用于提供科研软件和基础软件的镜像存储和管理功能，同时为容器集群系统中应用提供软件镜像存储和拉取服务；代码仓库系统，用于提供应用项目的源代码管理和协作服务；统一认证系统，提供用户的统一认证和统一管理，用户自助注册账号后登录，或者使用自有机构账号进行跨域联邦登录，一键登录并访问所有协同科研云服务架构中接入的应用与资源；同时该系统基于虚拟组织对用户资源访问的基础授权进行统一管理；统一认证系统多认证授权协议支持、互连互通；协同科研云服务门户系统，提供计算服务、数据服务、在线应用研发和部署服务。2.根据权利要求1所述的系统，其特征在于，容器集群系统基于Kubernetes架构实现，容器集群系统中的三个集群通过Kubernetes Federation技术实现多集群的统一管理。3.根据权利要求1所述的方法，其特征在于，镜像仓库系统基于Harbor实现，允许科研用户用命令行工具对容器镜像及Artifact进行推送和拉取，并提供了图形管理界面帮助用户查看和管理Artifact。4.根据权利要求1所述的方法，其特征在于，通过系统中的Code Server、Jupyterhub应用或在有网络的物理机或云主机中通过Git命令将代码实时同步到代码仓库，或通过代码仓库系统的图形界面对应用项目代码进行管理。5.根据权利要求1所述的方法，其特征在于，协同科研云服务门户系统的计算服务包括便捷的指标在线计算、数据产品按需生产、决策支持、数据挖掘分析、深度学习云服务系统、镜像仓库、Git代码仓库、云原生数据库服务功能；数据服务包括共享数据模块及数据预处理工具服务；在线应用研发和部署服务包括在线编程工具环境、通用的应用工具软件及部署应用和管理计量功能；协同科研云服务门户系统通过nginx实现了动态的负载均衡。6.根据权利要求1所述的系统，其特征在于，所述系统的安全架构主要包括网络安全、系统安全、应用安全、容错机制和访问控制组成。7.根据权利要求6所述的系统，其特征在于，网络安全分为基础设施层面、容器集群内部层面和应用层面；系统安全部分，在基础设施层面，采用专用的安全内核和安全操作系统，对已知漏洞进行安全性的修复和管理；在容器集群内部，提供针对容器和编排系统的安全防护措施，包括提供有效的资源隔离和限制措施，用户的身份和权限管理机制，基于CIS的安全配置加固，对云原生实现组件的漏洞管理与修复；同时，提供全面的可观测服务，包括系统日志、应用日志一整套完...

【专利技术属性】
技术研发人员：陈灿，朴英超，郑依华，张营，何文通，李旭源，罗泽，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：