一种构建在线机器学习项目的方法及机器学习系统技术方案

本申请实施例提供一种构建在线机器学习项目的方法及机器学习系统所述构建在线机器学习项目的方法包括：接收来自于用户的服务请求；根据所述服务请求为服务分配用户服务集群的资源并搭建在线运行环境，其中，所述在线运行环境用于执行机器学习的模型开发服务或者模型训练服务；接收来自于所述用户在所述在线运行环境中的操作；基于所述操作向所述用户提供运行信息，其中，所述运行信息包括所述模型开发服务或者模型训练服务的运行结果或者运行状态。本申请实施例实现了用户在本地编写代码实现模型开发或者用户在本地使用云端资源实现模型训练，并将在云端执行的代码开发运行结果和模型训练结果返回用户浏览器，提升用户进行机器学习项目的效果。

【技术实现步骤摘要】
一种构建在线机器学习项目的方法及机器学习系统
本申请涉及机器学习领域，具体而言本申请实施例涉及一种构建在线机器学习项目的方法及机器学习系统。
技术介绍
目前业界通用的机器学习(例如，深度学习)方案是使用一台带有高性能显卡的物理机或者虚拟机，把数据集和模型下载到本地磁盘，之后通过命令行编写训练代码，运行代码，在标准输出或者日志文件中拿到代码执行的训练结果再做分析。本申请的专利技术人发现上述相关方案至少包括以下四个方面的缺陷。第一方面弹性较差，这是由于使用了一台机器，很难轻易变更计算资源；第二方面，数据灵活性和使用门槛较高，数据集的规格差异较大，频繁的上传下载数据集会带来庞大的时间成本；第三方面，缺乏对模型和数据集的管理长久之后会导致无法管理机器上的数据；第四方面，通过命令行编写代码、运行代码无法做到友好的保存实验运行状态和数据，更无法分析数据和分享实验。因此如何提供一个高效的机器学习平台成了亟待解决的技术问题。
技术实现思路
本申请实施例的目的在于提供一种构建在线机器学习项目的方法及机器学习系统，本申请实施例未采用传统方案以计算资源为中心的研究和实验形态，改以项目为中心，为项目分配数据集、计算资源和模型等。本申请的一些实施例在任意一次启动项目的时候，会将与项目有关联的数据集挂载(例如，使用NFS协议挂载)到用户的计算资源上，从用户的体验的视角相当于访问本地盘，无须下载数据；本申请的一些实施例使用可编程笔记本的形式进行模型开发，实时保留用户的代码和代码运行状态；本申请的一些实施例还为用户提供菜单栏快速检索和加载模型库里的所有已知模型，无须用户自己去其他平台查找和手动下载。第一方面，本申请实施例提供一种构建在线机器学习项目的方法，所述方法包括：接收来自于用户的服务请求；根据所述服务请求为服务分配用户服务集群的资源并搭建在线运行环境，其中，所述在线运行环境用于执行机器学习的模型开发服务或者模型训练服务；接收来自于所述用户在所述在线运行环境中的操作；基于所述操作向所述用户提供运行信息，其中，所述运行信息包括所述模型开发服务或者模型训练服务的运行结果或者运行状态。本申请实施例实现了用户在本地编写代码实现模型开发或者用户在本地使用云端资源实现模型训练，并将在云端执行的代码开发运行结果和模型训练结果返回用户浏览器，从而提升了用户进行机器学习项目的效果。在一些实施例中，所述接收来自于所述用户在所述在线运行环境中的操作之前，所述方法还包括：确认所述用户的身份通过验证；将流量发往指定的IP地址和端口，其中，所述指定的IP地址为所述运行环境的地址，所述端口为在所述运行环境中启动的模型开发服务或者模型训练服务的端口。本申请实施例在启动运行环境时(例如，容器)还需要在用户服务集群(至少用于为模型开发任务或者模型训练任务等机器学习任务提供物理资源)之外通过代理验证用户的身份，以提升用户服务集群上运行的程序的安全性。在一些实施例中，所述方法还包括：为所述服务分配一个令牌；根据所述令牌确认将所述流量发往所述指定的IP地址和端口。本申请实施例在用户服务集群内部根据令牌确定是否将流量引导至运行环境中的应用程序中。由于在用户服务集群中的所有的用户服务在一个网络平面上，如果能够把流量转发到特定的用户服务上，那么也代表着可以把流量发送至没有操作权的服务上，为了克服这个问题本申请实施例采用令牌解决此类安全问题，提升用户集群上容器中运行的程序的安全性。在一些实施例中，所述令牌具有设定时长的有效性。本申请实施例的令牌具有一定时效性，这是因为一般用户的在线服务不会一直在线，因此至少为了提升令牌的使用频率可以设置令牌的时效性。在一些实施例中，所述服务为所述模型开发服务；所述根据所述服务请求为服务分配用户服务集群的资源以搭建在线运行环境，包括：根据镜像文件在所述用户服务集群中搭建用于运行在线可编程笔记本的容器；所述接收来自于所述用户在所述在线运行环境中的操作，包括：通过网络接收所述用户向所述可编程笔记本输入的代码数据并运行所述代码数据；所述基于所述操作向所述用户提供所述服务的运行信息，包括：向所述用户反馈所述代码的运行结果。本申请实施例通过云端的资源(即用户服务集群提供的资源)搭建在容器中运行可编程笔记本，实现了用户在本地浏览器上输入代码，在远端高配置的容器上执行代码，获取深度学习的运行结果，改善了用户模型开发的效果。在一些实施例中，所述方法还包括：实时保存所述代码数据；或者，通过监听来自于所述用户的保存行为或者发布新版本行为保存所述代码数据。本申请实施例可以保存用户在可编程笔记本的代码数据，与现有的可编程笔记本相比，具备存储功能的可编程笔记本明显提升了用户对代码的访问便捷性。在一些实施例中，所述方法还包括：接收来自于所述用户的访问所述代码数据的请求；根据所述访问请求向所述用户提供HTML格式的所述代码数据。本申请实施例可以将可编程笔记本上传的JSON格式的代码数据转换为HTML格式的文件，由于HTML格式的文件的可读性更强，因此提升了用户对访问代码的可阅读性。在一些实施例中，所述服务为所述模型训练服务；所述根据所述服务请求为服务分配用户服务集群的资源以搭建在线运行环境，包括：根据镜像文件在所述用户服务集群中搭建用于运行在线可编程笔记本的容器；基于NFS协议在所述容器中挂载所述服务所属的第一项目的数据集；提供所述第一项目的代码数据；所述接收来自于所述用户在所述在线运行环境中的操作，包括：接收所述用户访问目标数据集的请求，其中，所述目标数据集属于所述第一项目的数据集的部分或者全部；所述基于所述操作向所述用户提供所述服务的运行信息，包括：向所述用户提供所述目标数据集以及在网络存储服务器上与所述目标数据集的存储位置相邻的预定范围内的数据，以供所述用户下载。本申请实施例采用NFS向搭建的运行环境的容器中挂载数据集，与现有的模型训练需要直接下载数据集的方式相比，本申请实施例的挂载方式明显节省了用户对存储空间的需求，更好的满足了用户进行机器学习或者深度学习的模型训练的需求。在一些实施例中，所述接收来自于所述用户在所述在线运行环境中的操作还包括：通过网络接收来自于所述用户的模型检索请求；所述基于所述操作向所述用户提供所述服务的运行信息，还包括：基于所述模型检索请求从存储的多个模型中获取目标模型，并将所述目标模型对应的代码加载至所述容器中运行的所述可编程笔记本中。本申请实施例在运行模型训练时或者模型开发的容器中启动的可编程笔记本上增设了模型检索功能来检索并加载深度学习模型。与相关的机器学习平台或者深度学习平台相比，本申请实施例可以不用退出平台而直接在运行环境中检索所需的深度学习模型，明显提升了用户获取和加载深度学习模型的效果。在一些实施例中，所述基于所述模型检索请求从存储的多个模型中获取目标模型，并将所述目标模型对应的代码加载至所述容器中运行的所述可编程笔记本中，包括：根据所述多个模型的权重大小确定候选模型集合；接收所述用户的输入从所述候本文档来自技高网...

【技术保护点】
1.一种构建在线机器学习项目的方法，其特征在于，所述方法包括：/n接收来自于用户的服务请求；/n根据所述服务请求为服务分配用户服务集群的资源并搭建在线运行环境，其中，所述在线运行环境用于执行机器学习的模型开发服务或者模型训练服务；/n接收来自于所述用户在所述在线运行环境中的操作；/n基于所述操作向所述用户提供运行信息，其中，所述运行信息包括所述模型开发服务或者模型训练服务的运行结果或者运行状态。/n

【技术特征摘要】
1.一种构建在线机器学习项目的方法，其特征在于，所述方法包括：
接收来自于用户的服务请求；
根据所述服务请求为服务分配用户服务集群的资源并搭建在线运行环境，其中，所述在线运行环境用于执行机器学习的模型开发服务或者模型训练服务；
接收来自于所述用户在所述在线运行环境中的操作；
基于所述操作向所述用户提供运行信息，其中，所述运行信息包括所述模型开发服务或者模型训练服务的运行结果或者运行状态。


2.如权利要求1所述的方法，其特征在于，所述接收来自于所述用户在所述在线运行环境中的操作之前，所述方法还包括：
确认所述用户的身份通过验证；
将流量发往指定的IP地址和端口，其中，所述指定的IP地址为所述运行环境的地址，所述端口为在所述运行环境中启动的模型开发服务或者模型训练服务的端口。


3.如权利要求2所述的方法，其特征在于，所述方法还包括：
为所述服务分配一个令牌；
根据所述令牌确认将所述流量发往所述指定的IP地址和端口。


4.如权利要求3所述的方法，其特征在于，所述令牌具有设定时长的有效性。


5.如权利要求1所述的方法，其特征在于，所述服务为所述模型开发服务；
所述根据所述服务请求为服务分配用户服务集群的资源以搭建在线运行环境，包括：根据镜像文件在所述用户服务集群中搭建用于运行在线可编程笔记本的容器；
所述接收来自于所述用户在所述在线运行环境中的操作，包括：通过网络接收所述用户向所述可编程笔记本输入的代码数据并运行所述代码数据；
所述基于所述操作向所述用户提供所述服务的运行信息，包括：向所述用户反馈所述代码的运行结果。


6.如权利要求5所述的方法，其特征在于，所述方法还包括：
实时保存所述代码数据；或者，
通过监听来自于所述用户的保存行为或者发布新版本行为保存所述代码数据。


7.如权利要求6所述的方法，其特征在于，所述方法还包括：
接收来自于所述用户的访问所述代码数据的请求；
根据所述请求向所述用户提供HTML格式的所述代码数据。


8.如权利要求1所述的方法，其特征在于，所述服务为所述模型训练服务；
所述根据所述服务请求为服务分配用户服务集群的资源以搭建在线运行环境，包括：
根据镜像文件在所述用户服务集群中搭建用于运行在线可编程笔记本的容器；
基于NFS协议在所述容器中挂载所述服务所属的第一项目的数据集；
提供所述第一项目的代码数据；
所述接收来自于所述用户在所述在线运行环境中的操作，包括：接收所述用户访问目标数据集的请求，其中，所述目标数据集属于所述第一项目的数据集的部分或者全部；
所述基于所述操作向所述用户提供所述服务的运行信息，包括：向所述用户提供所述目标数据集以及在网络存储服务器上与所述目标数据集的存储位置相邻的预定范围内的数据，以供所述用户下载。


9.如权利要求8所述的方法，其特征在于，
所述接收来自于所述用户在所述在线运行环境中的操作还包括：通过网络接收来自于所述用户的模型检索请求；
所述基于所述操作向所述用户提供所述服务的运行信息，还包括：基于所述模型检索请求从存储的多个模型中获取目标模型，并将所述目标模型对应的代码加载至所述容器中运行的所述可编程笔记本中。


10.如权利要求9所述的方法，其特征在于，所述基于所述模型检索请求从存储的多个模型中获取目标模型，并将所述目标模型对应的代码加载至所述容器中运行的所述可编程笔记本中，包括：根据所述多个模型的权重大小确定候选模型集合；接收所述用户的输入从所述候选模型集合中确定所述目标模型，其中，所述权重大小与查询词和所述多个模型中各模型的匹配类型相关，所述匹配类型包括所述查询词与标签匹配、所述查询词与标题匹配和所述查询词与简介匹配三种类型。


11.如权利要求10所述的方法，其特征在于，所述权重大小还与为所述各匹配类型分配的修正系数相关，其中，所述查询词与所述标签匹配时对应的修正系数大于所述查询词与所述查询词与所述标题匹配时的修正系数，且所述查询词与所述标题匹配时的修正系数大于所述查询词与所述简介匹配时的修正系数。


12.如权利要求10所述的方法，其特征在于，所述权重大小是根据所述匹配类型、所述多个模型中各模型下载量分数和所述多个模型中各模型的被导出项目加权权重得到的，其中，所述模型下载量分数是根据第一模型的下载量与所述多个模型...

【专利技术属性】
技术研发人员：张鹏浩，
申请(专利权)人：北京迈格威科技有限公司，内蒙古旷视金智科技有限公司，
类型：发明
国别省市：北京;11