基于k8s的Jupyter Notebook运行系统关机方法及装置制造方法及图纸

本申请公开了一种基于k8s的Jupyter Notebook运行系统关机方法及装置，所述方法包括以下步骤：基于后端功能实现Jupyter Notebook管理平台；所述Jupyter Notebook管理平台与Jupyter Notebook通过REST API进行接口调用,进行数据保存和任务保护监测。通过本申请，可对容器进行停止操作时进行预先数据保存和运行程序安全保护,最大限度的保存工作成果的完整。

【技术实现步骤摘要】
基于k8s的JupyterNotebook运行系统关机方法及装置
本专利技术涉及的是机器学习
更具体的说，本专利技术涉及一种基于k8s的JupyterNotebook运行系统关机方法及装置。
技术介绍
JuypterNotebook是机器学习领域内广泛应用的浏览器端开发环境。JuypterNotebook常用的部署方式可分为实体机部署和基于k8s的容器化部署。在k8s(Kubernetes，一种开源的容器编排引擎)环境中，Notebook容器常作为模型开发和训练环境。在多租户环境下，容器上时间运行往往占据较大的系统资源，如cpu、gpu、内存等。资源紧张时，新建Notebook环境会因为资源不足而创建失败。在当前技术现状下，急需一种安全的系统资源释放方法，在释放系统资源的同时，尽最大限度的保存当前工作环境数据和保护运行模型训练结果。目前，k8s为容器调度和资源分配系统，可以在系统层面进行容器的新建、销毁等动作。在k8s进行容器操作时，无法对当前容器中数据进行保存，对正在运行的模型训练程序不能保护，容器销毁时往往带来数据的丢失和训练程序的强制中断，损坏已完成的工作成果。基于k8s环境部署的JupyterNotebook容器在默认情况下在容器关闭时数据无法持久化存储，对容器内已经运行的程序也无法告知用户。
技术实现思路
本申请实施例提供了一种基于k8s的JupyterNotebook运行系统关机方法，以至少解决相关技术中主观因素影响的问题。本专利技术提供了一种基于k8s的JupyterNotebook运行系统关机方法，所述方法包括以下步骤：平台实现步骤：基于后端功能实现JupyterNotebook管理平台；接口调用步骤：所述JupyterNotebook管理平台与JupyterNotebook通过RESTAPI接口调用,进行数据保存和任务保护监测。作为本专利技术的进一步改进，所述平台实现步骤具体包括以下步骤：配置步骤：配置数据卷挂载；功能增加步骤：增加所述JupyterNotebook代码编辑日志记录功能；监控步骤：增加所述JupyterNotebook内部系统运行进程监控代码；模块增加步骤：增加自定义JupyterHandler模块。作为本专利技术的进一步改进，所述配置步骤具体包括以下步骤：创建步骤：创建所述数据卷；挂载步骤：将所述数据卷挂载至JupyterNotebook默认存储路径下。作为本专利技术的进一步改进，所述配置步骤中还包括将数据卷挂载操作设置为默认操作。作为本专利技术的进一步改进，所述代码编辑日志记录功能记录的信息包括但不限于：新建文件、文件保存时间、文件保存状态。作为本专利技术的进一步改进，所述监控步骤具体包括以下步骤：检索步骤：检索系统内部运行进程列表；关联步骤：将所述进程列表与所述JupyterNotebook和代码文件进行关联扫描；返回步骤：根据扫描结果确定是否有模型训练代码正在运行，若有则返回所述运行进程列表和正在运行的所述模型训练代码文件cell名称。作为本专利技术的进一步改进，在所述模块增加步骤中增加所述RESTAPI。作为本专利技术的进一步改进，所述自定义JupyterHandler模块基于tornado框架实现。基于相同专利技术思想，本专利技术还基于任一项专利技术创造所揭示的基于k8s的JupyterNotebook运行系统关机计方法，揭示了一种基于k8s的JupyterNotebook运行系统关机装置，所述基于k8s的JupyterNotebook运行系统关机装置包括：平台实现模块，基于后端功能实现JupyterNotebook管理平台；接口调用模块，所述JupyterNotebook管理平台与JupyterNotebook通过RESTAPI进行接口调用,进行数据保存和任务保护监测。作为本专利技术的进一步改进，所述平台实现模块具体包括：配置单元，配置数据卷挂载；功能增加单元，增加所述JupyterNotebook代码编辑日志记录功能；监控单元，增加所述JupyterNotebook内部系统运行进程监控代码；模块增加单元，增加自定义JupyterHandler模块。与现有技术相比，本专利技术的有益效果如下：1、提出了一种基于k8s的JupyterNotebook运行系统关机方法，在k8s环境中，容器进行停止操作时进行预先数据保存和运行程序安全保护,最大限度的保存工作成果的完整；2、在容器重新开机时可进行数据恢复，可使训练程序再次运行，并且多次重启并开机后运行效果一致；3、可以为开发者用户提供定制的JupyterNotebook容器管理操作，实现用户在新建、删除Notebook容器外安全点时暂时关闭容器释放资源。本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本专利技术实施例提供的一种基于k8s的JupyterNotebook运行系统关机方法整体流程图；图2是图1所揭示的步骤S1整体流程图；图3是图2所揭示的步骤S11整体流程图；图4是图2所揭示的步骤S13整体流程图；图5是本实施例提供的一种基于k8s的JupyterNotebook运行系统关机装置结构框架图；图6是根据本专利技术实施例的计算机设备的框架图。以上图中：10、平台实现模块；20、接口调用模块；11、配置单元；111、创建单元；112、挂载单元；12、功能增加单元；13、监控单元；131、检索单元；132、关联单元；133、返回单元；14、模块增加单元；80、总线；81、处理器；82、存储器；83、通信接口。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的
技术实现思路
的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本本文档来自技高网...

【技术保护点】
1.一种基于k8s的Jupyter Notebook运行系统关机方法，其特征在于，包括如下步骤：/n平台实现步骤：基于后端功能实现Jupyter Notebook管理平台；/n接口调用步骤：所述Jupyter Notebook管理平台与Jupyter Notebook通过REST API接口调用,进行数据保存和任务保护监测。/n

【技术特征摘要】
1.一种基于k8s的JupyterNotebook运行系统关机方法，其特征在于，包括如下步骤：
平台实现步骤：基于后端功能实现JupyterNotebook管理平台；
接口调用步骤：所述JupyterNotebook管理平台与JupyterNotebook通过RESTAPI接口调用,进行数据保存和任务保护监测。


2.如权利要求1所述的基于k8s的JupyterNotebook运行系统关机方法，其特征在于，所述平台实现步骤具体包括以下步骤：
配置步骤：配置数据卷挂载；
功能增加步骤：增加所述JupyterNotebook代码编辑日志记录功能；
监控步骤：增加所述JupyterNotebook内部系统运行进程监控代码；
模块增加步骤：增加自定义JupyterHandler模块。


3.如权利要求2所述的基于k8s的JupyterNotebook运行系统关机方法，其特征在于，所述配置步骤具体包括以下步骤：
创建步骤：创建所述数据卷；
挂载步骤：将所述数据卷挂载至JupyterNotebook默认存储路径下。


4.如权利要求2所述的基于k8s的JupyterNotebook运行系统关机方法，其特征在于，所述配置步骤中还包括将数据卷挂载操作设置为默认操作。


5.如权利要求2所述的基于k8s的JupyterNotebook运行系统关机方法，其特征在于，所述代码编辑日志记录功能记录的信息包括但不限于：新建文件、文件保存时间、文件保存状态。


6.如权利要求2所述的基于k8s的Jupyter...

【专利技术属性】
技术研发人员：蔡猛，
申请(专利权)人：上海明略人工智能集团有限公司，
类型：发明
国别省市：上海;31