一种基于Mahout的机器学习服务组装方法技术

本发明专利技术提供一种基于Mahout的机器学习服务组装方法，其特征在于，包括以下步骤：步骤S1：将不同格式的数据进行预处理；步骤S2：进行模型训练；步骤S3：对模型进行评估；步骤S4：将算子进行统一的封装；步骤S5：根据用户描述的所要使用的机器学习方法以及要进行处理的数据的格式，组装机器学习工作流路径；步骤S6：当这些机器学习工作流在通过Oozie在Hadoop平台上运行结束之后，每一条工作流的模型评估算子将会给出工作流的评估结果；用户根据此评估结果，选择机器学习工作流。与现有技术相比，本发明专利技术能够快速有效地定制和调优可复用的机器学习流程，从而能够高效的在Hadoop平台上进行数据挖掘工作。

A machine learning service composition method based on Mahout

The invention provides a Mahout based machine learning service assembly method, which is characterized in that the method comprises the following steps: step S1: the format of the data preprocessing; step S2: model training; step S3: evaluation of the model; step S4: operator unified package; step S5: according to the user to describe the use of machine learning methods and processing the data format of the assembly machine learning workflow path; step S6: when the machine learning workflow after the end of Oozie running on the Hadoop platform, the model evaluation results of operator will give each workflow workflow; the user according to the evaluation results. Selection of machine learning workflow. Compared with the prior art, the invention can quickly and effectively customize and optimize a reusable machine learning process, thereby enabling efficient data mining on the Hadoop platform.

【技术实现步骤摘要】
一种基于Mahout的机器学习服务组装方法
本专利技术涉及一种基于Mahout的机器学习服务组装方法。
技术介绍
如今人类社会每天产生和存储的数据量越来越庞大，同时还伴随着用户越来多样化的数据分析需求。如何简单、快速、有效地构建一个能够处理大规模数据的机器学习流程，已经成为一个目前亟待解决的需求。Mahout是建立在Hadoop之上的开源分布式机器学习算法库，Mahout的出现解决了传统的机器学习库存在的缺少活跃技术社区、扩展性差、无法处理分布式海量数据以及不开源等缺陷。但由于Mahout提供的机器学习算法众多，每个算法又拥有少则几个多则数十个的可调整参数，所以在Hadoop平台上使用Mahout进行数据挖掘仍需要非常高的学习成本。
技术实现思路
为解决上述问题，本专利技术提供一种复用视角下的Mahout机器学习服务组装方法。本专利技术采用以下技术方案：一种基于Mahout的机器学习服务组装方法，其特征在于，包括以下步骤：步骤S1：将不同格式的数据进行预处理，转换成模型训练使用的特征向量；步骤S2：进行聚类模型、分类模型及协同过滤推荐模型训练；步骤S3：对训练完成的模型进行评估；步骤S4本文档来自技高网...

【技术保护点】
一种基于Mahout的机器学习服务组装方法，其特征在于，包括以下步骤：步骤S1：将不同格式的数据进行预处理，转换成模型训练使用的特征向量；步骤S2：进行聚类模型、分类模型及协同过滤推荐模型训练；步骤S3：对训练完成的模型进行评估；步骤S4：步骤S1、步骤S2及步骤S3都属于Mahout算法库中一系列算子，将这些算子进行统一的封装，使其成为满足Oozie工作流平台调用规范的一系列服务；步骤S5：根据用户描述的所要使用的机器学习方法以及要进行处理的数据的格式，组装出不止一条满足需求的机器学习工作流路径；步骤S6：当这些机器学习工作流在通过Oozie在Hadoop平台上运行结束之后，每一条工作流的模...

【技术特征摘要】
1.一种基于Mahout的机器学习服务组装方法，其特征在于，包括以下步骤：步骤S1：将不同格式的数据进行预处理，转换成模型训练使用的特征向量；步骤S2：进行聚类模型、分类模型及协同过滤推荐模型训练；步骤S3：对训练完成的模型进行评估；步骤S4：步骤S1、步骤S2及步骤S3都属于Mahout算法库中一系列算子，将这些算子进行统一的封装，使其成为满足Oozie工作流平台调用规范的一系列服务；步骤S5：根据用户描述的所要使用的机器学习方法以及要进行处理的数据的格式，组装出不止一条满足需求的机器学习工作流路径；步骤S6：当这些机器学习工作流在通过Oozie在Hadoop平台上运行结束之后，每一条工作流的模型评估算子将会给出工作流的评估结果；用户根据此评估结果，选择机器学习工作流。2.根据权利要求1所述的基于Mahout的机器学习服务组装方法，其特征在于：还包括步骤S7：将用户已经选定的机器学习工作流存储到知识库中，以供该用户或者具有相似需求的用户在此之后复用。3.根据权利要求1所述的基于Mahout的机器学习服务组装方法，其特征在于：步骤S1中的数据预处理包括：SeqDirect...

【专利技术属性】
技术研发人员：郭文忠，黄益成，陈星，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35