一种基于Docker的数据处理平台制造技术

本发明专利技术特别涉及一种基于Docker的数据处理平台。该基于Docker的数据处理平台，以分布式计算框架为基础，整合开源的数据科学工具，包括模型应用单元、分析建模单元、算法库单元、计算框架单元、数据连接单元和系统管理单元，支持交互式编程和拖拽式实验，为用户提供模型训练、预测、评估和部署的全生命周期管理功能。该基于Docker的数据处理平台，提供了一种包括交互式编程、拖拽式实验和模型服务部署的一站式机器学习平台，同时还能兼顾机器学习、深度学习等多样算法框架，支持分布式计算，能够满足不同层次用户的需求，从而降低了机器学习平台运维成本。

A data processing platform based on docker

【技术实现步骤摘要】
一种基于Docker的数据处理平台
本专利技术涉及大数据分析
，特别涉及一种基于Docker的数据处理平台。
技术介绍
数据科学(DataScience)是研究数据的科学，主要是用数据的方法研究科学和用科学的方法研究数据，它依赖着数据的广泛性和多样性以及数据研究的共性。随着科学的发展，现在的数据处理技术需要通过快速重新部署实现的，更加快速、轻量、对业务的高可用支持，从而使工作更加高效。Docker是目前最流行的容器技术之一，是一个开源的应用容器引擎，让开发者可以打包应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上。同时Docker还可以实现虚拟化。而且Docker容器是完全使用沙箱机制，相互之间不会有任何接口，因而启动更快速、更轻量、隔离性更弱、对业务的高可用支持是通过快速重新部署实现的、快速迭代，更重要的是容器性能开销极低。为满足新趋势下的技术要求，本专利技术提出了一种基于Docker的数据处理平台。
技术实现思路
本专利技术为了弥补现有技术的缺陷，提供了一种简单高效的基于Docker的数据处理平台。本专利技术是通过如下技术方案实现的：一种基于Docker的数据处理平台，其特征在于：以分布式计算框架为基础，整合开源的数据科学工具，包括模型应用单元、分析建模单元、算法库单元、计算框架单元、数据连接单元和系统管理单元，支持交互式编程和拖拽式实验，为用户提供模型训练、预测、评估和部署的全生命周期管理功能。所述模型应用单元包括模型发布模块，模型运行模块和模型管理模块；所述模型管理模块用于管理通过实验流程保存的模型，用户可以查看模型列表、下载或删除模型文件。本专利技术基于Docker的数据处理平台，支持可视化拖拽型机器学习模式，实验中的实验面板具备放大、缩小、原始尺寸、适应实验面板和全屏显示功能，实验面板中的组件可以随意用鼠标进行拖动，并且可以利用鼠标滚轮任意放大/缩小实验面板，选中实验面板中的实验组件并右键单击可以对执行结果进行查看。所述分析建模单元包括可视化建模模块，向导式建模模块和交互式IDE模块，其中可视化建模模块包括拖拽式组件，流水线编排组件，参数自定义组件，数据透视组件，模型报告组件和项目管理组件。本专利技术基于Docker的数据处理平台，集成了Python环境和PySpark环境，交互式IDE模块包括Python组件和PySpark组件；Python组件为用户集成了JupyterNotebook。所述向导式建模模块包括预置模型组件和自动学习组件。本专利技术基于Docker的数据处理平台，支持用户使用实验模块进行数据读取、数据预处理、特征工程、训练模型以及测试评估模型操作；且用户建立起完整的流程后即可运行，等待运行结果，省去了代码的编写过程；训练结束后，模型文件保存至HDFS(Hadoop分布式文件系统)，用户可以在模型管理单元查看或下载已保存的模型文件。所述算法库单元包括数据预处理模块，机器学习模块，特征工程模块，文本挖掘模块，统计分析模块，深度学习模块，时间序列模块和网络分析模块。所述计算框架单元包括MapReduce模块，Spark模块，PyTorch模块和Tensorflow模块；所述数据连接单元包括关系数据库模块，NoSQL数据库模块，文件系统模块，大数据组件模块和云存储模块。所述系统管理单元包括项目管理模块，数据集管理模块，服务管理模块，用户管理模块和系统监控模块。所述项目管理模块负责为用户提供新建、删除和修改功能，用户可以根据需求创建不同的项目，在项目内用户可以管理实验流程、数据集、模型、服务和Notebook资源。所述数据集管理模块为用户提供添加与删除数据集，查看数据集字段及路径功能，用户可以为不同的项目添加不同的数据集，用于项目内实验流程的建立。所述服务管理模块为用户提供部署服务的功能，用户只需对提供的预测代码进行少量修改，训练结束后，即可将训练的模型发布成服务。所述用户管理模块为用户提供创建训练作业、通过筛选查看训练作业、停止和删除训练作业功能，并且在列表中不仅可以显示训练作业的名称，还会显示训练作业当前的状态、版本数量和运行时长信息。所述系统监控模块负责提供对Notebook和上线服务所启动容器的监控功能，用户可以在监控里查看当前已打开的笔记本信息和已上线服务对应容器的状态，也可以在此关闭笔记本或容器。本专利技术基于Docker的数据处理平台，包括Docker客户端(Client)，Docker主机(host)和注册表(Registry)，所述Docker客户端用于构建、运行和停止应用程序，以及与Docker主机进行远程交互；所述Docker主机内运行DockerDaemon，负责创建、运行及监控容器，构建及存储镜像，接收并处理Docker客户端的请求，并根据请求类型，创建出指定的作业(Job)并运行。本专利技术的有益效果是：该基于Docker的数据处理平台，提供了一种包括交互式编程、拖拽式实验和模型服务部署的一站式机器学习平台，同时还能兼顾机器学习、深度学习等多样算法框架，支持分布式计算，能够满足不同层次用户的需求，从而降低了机器学习平台运维成本。附图说明附图1为本专利技术基于Docker的数据处理平台系统结构示意图。附图2为本专利技术基于Docker的数据处理平台Docker架构示意图。附图3为本专利技术Dockerdaemon架构示意图。附图4为本专利技术Dockerregistry生态位置示意图。附图5为本专利技术Docker工作流程示意图。具体实施方式为了使本
的人员更好的理解本专利技术中的技术方案，下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。该基于Docker的数据处理平台，以分布式计算框架为基础，整合开源的数据科学工具，包括模型应用单元、分析建模单元、算法库单元、计算框架单元、数据连接单元和系统管理单元，支持交互式编程和拖拽式实验，为用户提供模型训练、预测、评估和部署的全生命周期管理功能。所述模型应用单元包括模型发布模块，模型运行模块和模型管理模块；所述模型管理模块用于管理通过实验流程保存的模型，用户可以查看模型列表、下载或删除模型文件。该基于Docker的数据处理平台，支持可视化拖拽型机器学习模式，实验中的实验面板具备放大、缩小、原始尺寸、适应实验面板和全屏显示功能，实验面板中的组件可以随意用鼠标进行拖动，并且可以利用鼠标滚轮任意放大/缩小实验面板，选中实验面板中的实验组件并右键单击可以对执行结果进行查看。所述分析建模单元包括可视化建模模块，向导式建模模块和交互式IDE模块，其中可视化建模模块包括拖拽式组件，流水线编排组件，参数自定义组件，数据本文档来自技高网...

【技术保护点】
1.一种基于Docker的数据处理平台，其特征在于：以分布式计算框架为基础，整合开源的数据科学工具，包括模型应用单元、分析建模单元、算法库单元、计算框架单元、数据连接单元和系统管理单元，支持交互式编程和拖拽式实验，为用户提供模型训练、预测、评估和部署的全生命周期管理功能。/n

【技术特征摘要】
1.一种基于Docker的数据处理平台，其特征在于：以分布式计算框架为基础，整合开源的数据科学工具，包括模型应用单元、分析建模单元、算法库单元、计算框架单元、数据连接单元和系统管理单元，支持交互式编程和拖拽式实验，为用户提供模型训练、预测、评估和部署的全生命周期管理功能。


2.根据权利要求1所述的基于Docker的数据处理平台，其特征在于：所述模型应用单元包括模型发布模块，模型运行模块和模型管理模块；所述模型管理模块用于管理通过实验流程保存的模型，用户可以查看模型列表、下载或删除模型文件。


3.根据权利要求1所述的基于Docker的数据处理平台，其特征在于：所述分析建模单元包括可视化建模模块，向导式建模模块和交互式IDE模块，其中可视化建模模块包括拖拽式组件，流水线编排组件，参数自定义组件，数据透视组件，模型报告组件和项目管理组件；
支持可视化拖拽型机器学习模式，实验中的实验面板具备放大、缩小、原始尺寸、适应实验面板和全屏显示功能，实验面板中的组件可以随意用鼠标进行拖动，并且可以利用鼠标滚轮任意放大/缩小实验面板，选中实验面板中的实验组件并右键单击可以对执行结果进行查看。


4.根据权利要求3所述的基于Docker的数据处理平台，其特征在于：所述交互式IDE模块包括Python组件和PySpark组件，集成了Python环境和PySpark环境，Python组件为用户集成了JupyterNotebook。


5.根据权利要求3所述的基于Docker的数据处理平台，其特征在于：所述向导式建模模块包括预置模型组件和自动学习组件，所述算法库单元包括数据预处理模块，机器学习模块，特征工程模块，文本挖掘模块，统计分析模块，深度学习模块，时间序列模块和网络分析模块；
支持用户进行数据读取、数据预处理、特征工程、训练模型以及测试评估模型操作；且用户建立起完整的流程后即可运行，等待运行结果，省去了代码的编写过程；训练结束后，模型文件保存至HDFS，用户可以在模型管理单元查看或下载已保存的...

【专利技术属性】
技术研发人员：吕彬，程林，杨培强，
申请(专利权)人：山东浪潮商用系统有限公司，
类型：发明
国别省市：山东;37