一种分布式机器学习方法和平台技术

本申请提供一种分布式机器学习方法和平台，其中平台包括：逻辑构架模块，用于构建数据处理任务的执行逻辑，所述数据处理任务包括多个算法模块，每个所述算法模块包括：输入部分、算法部分、输出部分，且所述输入部分和输出部分具有相同的接口格式，以供所述多个算法模块之间根据所述接口格式进行串接；所述输入部分包括本算法模块与其他算法模块之间的依赖信息；算法执行模块，用于根据所述逻辑架构模块构建的执行逻辑，分别执行所述各个算法模块，且根据所述算法模块中的算法部分，调用资源层中的算法库进行运算。本申请提高了数据处理的效率。

【技术实现步骤摘要】
一种分布式机器学习方法和平台
本申请涉及计算机技术，特别涉及一种分布式机器学习方法和平台。
技术介绍
大数据处理技术逐步发展，可以利用大数据构建在业务上应用的数据模型，并将该数据模型应用于对业务结果的预测。当数据量规模很小的时候，单台计算机的运算能力已足够；但是当数据量规模比较庞大的时候，就需要一个分布式的计算平台进行整套的建模过程。相关技术中，在分布式计算平台进行建模时，可以将建模过程包括的多个功能模块，分别部署在不同的设备上进行计算处理，但是，在将各个功能模块串接时，由于模块之间较为复杂的依赖关系，使得模块串接不流畅，比如，手动解析串联各模块，由此也使得数据处理的效率较低。
技术实现思路
有鉴于此，本申请提供一种分布式机器学习方法和平台，以提高数据处理的效率。具体地，本申请是通过如下技术方案实现的：第一方面，提供一种分布式机器学习平台，所述平台包括：逻辑构架模块，用于构建数据处理任务的执行逻辑，所述数据处理任务包括多个算法模块，每个所述算法模块包括：输入部分、算法部分、输出部分，且所述输入部分和输出部分具有相同的接口格式，以供所述多个算法模块之间根据所述接口格式进行串接；所述输入部分本文档来自技高网...

【技术保护点】
一种分布式机器学习平台，其特征在于，所述平台包括：逻辑构架模块，用于构建数据处理任务的执行逻辑，所述数据处理任务包括多个算法模块，每个所述算法模块包括：输入部分、算法部分、输出部分，且所述输入部分和输出部分具有相同的接口格式，以供所述多个算法模块之间根据所述接口格式进行串接；所述输入部分包括本算法模块与其他算法模块之间的依赖信息；算法执行模块，用于根据所述逻辑架构模块构建的执行逻辑，分别执行所述各个算法模块，且根据所述算法模块中的算法部分，调用资源层中的算法库进行运算。

【技术特征摘要】
1.一种分布式机器学习平台，其特征在于，所述平台包括：逻辑构架模块，用于构建数据处理任务的执行逻辑，所述数据处理任务包括多个算法模块，每个所述算法模块包括：输入部分、算法部分、输出部分，且所述输入部分和输出部分具有相同的接口格式，以供所述多个算法模块之间根据所述接口格式进行串接；所述输入部分包括本算法模块与其他算法模块之间的依赖信息；算法执行模块，用于根据所述逻辑架构模块构建的执行逻辑，分别执行所述各个算法模块，且根据所述算法模块中的算法部分，调用资源层中的算法库进行运算。2.根据权利要求1所述的平台，其特征在于，所述输入部分和输出部分的接口格式，包括：作为算法部分输入的输入部分、以及作为算法部分输出的输出部分，包括如下信息类型中的至少一种：数据、模型或结果。3.根据权利要求1所述的平台，其特征在于，所述输入部分所依赖的其他算法模块的数量为至少一个。4.根据权利要求1所述的平台，其特征在于，所述资源层中包括：单机版算法库和分布式算法库。5.根据权利要求1所述的...

【专利技术属性】
技术研发人员：毛仁歆，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY