基于分布式集群的机器学习任务处理方法、装置及设备制造方法及图纸

本公开涉及一种基于分布式集群的机器学习任务处理方法、装置、电子设备及计算机可读介质。该方法包括：根据用户操作指令登陆预设分布式集群，所述分布式集群基于Kubernetes微服务架构设计；所述分布式集群基于交互式计算笔记本环境为所述用户分配原子调度单元；所述原子调度单元关联目标服务器，所述目标服务器为notebook服务器；所述用户将待处理的机器学习任务发送至所述原子调度单元，以便所述原子调度单元基于所述目标服务器进行计算生成返回信息。本公开能够提供给业务人员一个集群化的高可用的科学数据分析平台，使其能够安全快速访问内网中真实交易的大数据、低成本利用服务器CPU和存储资源、定制化地使用各种算法组件。件。件。

【技术实现步骤摘要】
基于分布式集群的机器学习任务处理方法、装置及设备


[0001]本公开涉及计算机信息处理领域，具体而言，涉及一种基于分布式集群的机器学习任务处理方法、装置、电子设备及计算机可读介质。

技术介绍

[0002]随着计算机与网络的飞速发展，机器学习作用越来越大，正在改变着我们的生活和工作。互联网搜索、在线广告、机器翻译、手写识别、垃圾邮件过滤等等都是以机器学习为核心技术的。随着机器学习的应用领域越来越多，机器学习的复杂度也逐渐增加，单机模型已经不能满足机器学习平台的使用需求了，服务器端的发展，越来越多的机器学习被转移到了服务器集群，基于服务器集群建立机器学习平台，各个用户登陆机器学习平台，发送机器学习任务给服务器集群，然后通过服务集群中的服务器对机器学习任务进行处理。
[0003]现有的机器学习平台方案是基于独立的Hadoop集群建立的，然后通过Apache Hadoop YARN(Yet Another Resource Negotiator，另一种资源协调者)方式搭建部署，这种方式搭建的机器学习平台，存在机器资源动态分配支持性不够友好、真实交易大数据需要手动非实时同步体验不佳、与其他平台依赖绑定较为耦合不容易迁移等诸多问题。用户进行特征分析、特征工程、模型训练、模型部署与数据管理等等处理时，经常需要跨部门、跨地域管理。
[0004]因此，需要一种新的基于分布式集群的机器学习任务处理方法、装置、电子设备及计算机可读介质。
[0005]在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]有鉴于此，本公开提供一种基于分布式集群的机器学习任务处理方法、装置、电子设备及计算机可读介质，能够提供给业务人员一个便捷交互式、视图化、安全可靠和集群化的高可用的科学数据分析平台，还能安全快速访问内网中真实交易的大数据、还能低成本利用服务器CPU和存储资源、还能可定制化地使用各种算法组件。
[0007]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0008]根据本公开的一方面，提出一种基于分布式集群的机器学习任务处理方法，该方法包括：根据用户操作指令登陆预设分布式集群，所述分布式集群基于Kubernetes微服务架构设计；所述分布式集群基于交互式计算笔记本环境为所述用户分配原子调度单元；所述原子调度单元关联目标服务器，所述目标服务器为notebook服务器；所述用户将待处理的机器学习任务发送至所述原子调度单元，以便所述原子调度单元基于所述目标服务器进行计算生成返回信息。
[0009]可选地，根据用户操作指令登陆预设分布式集群之前，还包括：所述用户通过代理
向所述分布式集群的集线器发送登陆申请；在登陆申请有效时，所述集线器返回登陆页面至所述用户；所述用户在所述登陆页面上进行操作以生成所述用户操作指令。
[0010]可选地，所述分布式集群基于交互式计算笔记本环境为所述用户分配原子调度单元，包括：所述用户在所述分布式集群的交互式计算笔记本环境中申请容器；所述分布式集群基于所述容器创建原子调度单元并分配给所述用户。
[0011]可选地，所述原子调度单元关联目标服务器，包括：根据所述用户的登陆信息在分布式集群中确定目标服务器；将所述原子调度单元与目标服务器进行关联，以进行数据互传。
[0012]可选地，所述原子调度单元关联目标服务器之后，还包括：所述分布式集群的集线器为所述用户配置任务转发规则。
[0013]可选地，所述用户将待处理的机器学习任务发送至所述原子调度单元，包括：所述用户通过浏览器向代理发送任务请求；所述代理基于任务转发规则将所述任务请求发送至所述原子调度单元；所述原子调度单元将代码页面发送至所述用户。
[0014]可选地，所述用户将待处理的机器学习任务发送至所述原子调度单元，还包括：所述用户基于所述代码页面将待处理的机器学习任务发送至所述代理；所述代理基于任务转发规则将所述机器学习任务发送至所述原子调度单元。
[0015]可选地，所述原子调度单元基于所述目标服务器进行计算生成返回信息，包括：所述用户通过浏览器将待处理的机器学习模型训练任务发送至所述代理；所述原子调度单元基于所述目标服务器对机器学习模型训练任务中的建模样本进行训练；在模型训练完毕后，生成JSON格式的返回信息。
[0016]可选地，所述原子调度单元基于所述目标服务器进行计算生成返回信息，还包括：根据所述用户的指令，调取所述分布式集群的用户数据；通过所述用户数据对训练完毕的模型进行测试；在测试满足要求时，生成应用模型。
[0017]可选地，所述原子调度单元基于所述目标服务器进行计算生成返回信息，还包括：根据用户的指令，将所述应用模型部署在应用服务器中；生成应用模型的定时监控任务以对所述应用模型的实时数据进监控。
[0018]根据本公开的一方面，提出一种基于分布式集群的机器学习任务处理系统，该装置包括：登陆模块，用于根据用户操作指令进行登陆预设分布式集群，所述分布式集群基于Kubernetes微服务架构设计；分配模块，用于所述分布式集群基于交互式计算笔记本环境为所述用户分配原子调度单元；关联模块，用于所述原子调度单元关联目标服务器，所述目标服务器为notebook服务器；计算模块，用于所述用户将待处理的机器学习任务发送至所述原子调度单元，以便所述原子调度单元基于所述目标服务器进行计算生成返回信息。
[0019]可选地，还包括：页面模块，用于所述用户通过代理向所述分布式集群的集线器发送登陆申请；在登陆申请有效时，所述集线器返回登陆页面至所述用户；所述用户在所述登陆页面上进行操作以生成所述用户操作指令。
[0020]可选地，所述分配模块，还用于所述用户在所述分布式集群的交互式计算笔记本环境中申请容器；所述分布式集群基于所述容器创建原子调度单元并分配给所述用户。
[0021]可选地，所述关联模块，包括：目标单元，用于根据所述用户的登陆信息在分布式集群中确定目标服务器；关联单元，用于将所述原子调度单元与目标服务器进行关联，以进
行数据互传。
[0022]可选地，所述关联模块，还包括：规则单元，用于所述分布式集群的集线器为所述用户配置任务转发规则。
[0023]可选地，所述计算模块，包括：请求单元，用于所述用户通过浏览器向代理发送任务请求；转发单元，用于所述代理基于任务转发规则将所述任务请求发送至所述原子调度单元；代码单元，用于所述原子调度单元将代码页面发送至所述用户。
[0024]可选地，所述计算模块，还包括：发送单元，用于所述用户基于所述代码页面将待处理的机器学习任务发送至所述代理；调度单元，用于所述代理基于任务转发规则将所述机器学习任务发送至所述原子调度单元。
[0025]可选地，所述计算模块，还包括：训练单元，用于所述用户通过浏览器将待处理的机器学习模型训练任务发送本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式集群的机器学习任务处理方法，其特征在于，包括：根据用户操作指令登陆预设分布式集群，所述分布式集群基于Kubernetes微服务架构设计；所述分布式集群基于交互式计算笔记本环境为所述用户分配原子调度单元；所述原子调度单元关联目标服务器，所述目标服务器为notebook服务器；所述用户将待处理的机器学习任务发送至所述原子调度单元，以便所述原子调度单元基于所述目标服务器进行计算生成返回信息。2.如权利要求1所述的方法，其特征在于，根据用户操作指令登陆预设分布式集群之前，还包括：所述用户通过代理向所述分布式集群的集线器发送登陆申请；在登陆申请有效时，所述集线器返回登陆页面至所述用户；所述用户在所述登陆页面上进行操作以生成所述用户操作指令。3.如权利要求1-2中任一所述的方法，其特征在于，所述分布式集群基于交互式计算笔记本环境为所述用户分配原子调度单元，包括：所述用户在所述分布式集群的交互式计算笔记本环境中申请容器；所述分布式集群基于所述容器创建原子调度单元并分配给所述用户。4.如权利要求1-3中任一所述的方法，其特征在于，所述原子调度单元关联目标服务器，包括：根据所述用户的登陆信息在分布式集群中确定目标服务器；将所述原子调度单元与目标服务器进行关联，以进行数据互传。5.如权利要求1-4中任一所述的方法，其特征在于，所述原子调度单元关联目标服务器之后，还包括：所述分布式集群的集线器为所述用户配置任务转发规则。6.如权利要求1-5中任一所述的方...

【专利技术属性】
技术研发人员：钟路，张奔奔，戴会杰，
申请(专利权)人：上海淇馥信息技术有限公司，
类型：发明
国别省市：