基于流水线的机器学习方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种基于流水线的机器学习方法、装置、电子设备、计算机可读存储介质及计算机程序产品；涉及人工智能技术；方法包括：从用于构建机器学习模型的候选组件中，确定多个目标组件；对多个目标组件的输入数据以及输出数据进行标准化处理，得到多个目标组件分别对应的标准化组件；基于多个标准化组件之间的连接关系，对多个标准化组件进行组装处理，得到目标流水线；对目标流水线中包括的多个标准化组件进行调度处理，以执行机器学习模型对应的机器学习任务。通过本申请，能够节约机器学习的资源开销，提高构建机器学习模型的效率。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等场景。辅助驾驶等场景。辅助驾驶等场景。

【技术实现步骤摘要】
基于流水线的机器学习方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能技术，尤其涉及一种基于流水线的机器学习方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]人工智能(AI，Artificial Intelligence)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
[0003]相关技术中基于人工智能构建机器学习模型，由于机器学习模型的规模越大越大，需要耗费大量的计算机资源以构建完整的机器学习模型，从而影响了机器学习的效率。

技术实现思路

[0004]本申请实施例提供一种基于流水线的机器学习方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够节约机器学习的资源开销，提高构建机器学习模型的效率。
[0005]本申请实施例的技术方案是这样实现的：
[0006]本申请实施例提供一种基于流水线的机器学习方法，包括：
[0007]从用于构建机器学习模型的候选组件中，确定多个目标组件；
[0008]对所述多个目标组件的输入数据以及输出数据进行标准化处理，得到所述多个目标组件分别对应的标准化组件；
[0009]基于多个所述标准化组件之间的连接关系，对多个所述标准化组件进行组装处理，得到目标流水线；
[0010]对所述目标流水线中包括的多个标准化组件进行调度处理，以执行所述机器学习模型对应的机器学习任务。
[0011]本申请实施例提供一种基于流水线的机器学习装置，包括：
[0012]确定模块，用于从用于构建机器学习模型的候选组件中，确定多个目标组件；
[0013]标准化模块，用于对所述多个目标组件的输入数据以及输出数据进行标准化处理，得到所述多个目标组件分别对应的标准化组件；
[0014]组装模块，用于基于多个所述标准化组件之间的连接关系，对多个所述标准化组件进行组装处理，得到目标流水线；
[0015]调度模块，用于对所述目标流水线中包括的多个标准化组件进行调度处理，以执行所述机器学习模型对应的机器学习任务。
[0016]上述技术方案中，所述标准化模块还用于获取针对所述多个目标组件的标准化配置文件；
[0017]其中，所述标准化配置文件包括所述多个目标组件的输入数据以及输出数据的配置参数；
[0018]基于所述标准化配置文件中的配置参数，将所述多个目标组件的输入数据以及输出数据配置为标准化元数据；
[0019]其中，所述标准化元数据包括数据属性以及数据保存位置。
[0020]上述技术方案中，所述标准化组件包括核心组件、扩展组件，所述核心组件为用于构建所述机器学习模型的通用型组件，所述扩展组件为用于扩展所述机器学习模型的功能型组件；所述调度模块还用于通过组件开发工具中的执行器调用所述核心组件的执行逻辑，得到所述核心组件的调度结果；
[0021]通过所述组件开发工具中的执行器结合所述核心组件的调度结果，对所述扩展组件的执行逻辑进行调用处理，得到所述扩展组件的调度结果。
[0022]上述技术方案中，所述标准化组件包括自定义组件；所述装置还包括：
[0023]自定义模块，用于基于组件开发工具开放的标准组件抽象接口进行组件自定义处理，得到所述自定义组件；
[0024]将所述自定义组件保存至所述组件开发工具中；
[0025]所述调度模块还用于通过所述组件开发工具中的执行器调用所述自定义组件的执行逻辑，得到所述自定义组件的调度结果。
[0026]上述技术方案中，所述调度模块还用于通过组件开发工具中的执行器执行以下处理：
[0027]对所述目标流水线中的第一个标准化组件进行调度处理，得到所述第一个标准化组件的调度结果；
[0028]按照所述目标流水线中第i个标准化组件到第i+1个标准化组件的数据流向，基于所述第i个标准化组件的调度结果对所述第i+1个标准化组件进行调度处理，得到所述第i+1个标准化组件的调度结果；
[0029]其中，i为递增的自然数且取值范围为1<i<M，M为所述标准化组件的数量，M为大于1的正整数。
[0030]上述技术方案中，所述调度模块还用于对所述第i个标准化组件的调度结果进行解析处理，得到所述第i个标准化组件对应的数据属性；
[0031]对所述第i个标准化组件进行调度任务状态管理，得到所述第i+1个标准化组件的任务执行状态；
[0032]当所述第i+1个标准化组件的任务执行状态表征所述第i+1个标准化组件需要执行调度任务时，基于所述第i+1个标准化组件的调度结果对所述第i+1个标准化组件进行调度处理，得到所述第i+1个标准化组件的调度结果。
[0033]上述技术方案中，所述调度模块还用于从元数据库中获取所述第i个标准化组件的调度结果；
[0034]将所述第i+1个标准化组件的调度结果保存至所述元数据库中。
[0035]上述技术方案中，所述目标流水线包括针对离线的所述机器学习模型的离线推理流水线、以及针对在线的所述机器学习模型的在线推理流水线，所述标准化组件包括监控组件、针对所述离线推理流水线的组件以及针对所述在线推理流水线的组件；所述调度模
块还用于对针对所述离线推理流水线的组件进行调度处理，得到离线的所述机器学习模型的离线调度结果；
[0036]对针对所述在线推理流水线的组件进行调度处理，得到在线的所述机器学习模型的在线调度结果；
[0037]通过所述监控组件对所述离线调度结果以及所述在线调度结果进行监控处理，以基于监控结果执行所述机器学习模型对应的机器学习任务。
[0038]上述技术方案中，所述确定模块还用于在人机交互界面中显示用于构建机器学习模型的候选组件；
[0039]响应于针对所述候选组件的选择操作，将被选中的所述候选组件作为所述目标组件。
[0040]上述技术方案中，所述确定模块还用于在人机交互界面中显示所述多个目标组件；
[0041]响应于针对所述多个目标组件的连接操作，构建所述连接操作对应的所述目标组件之间的连接关系。
[0042]上述技术方案中，所述确定模块还用于针对任一所述标准化组件执行以下处理：
[0043]获取所述标准化组件的输入数据类型以及输出数据类型；
[0044]当所述标准化组件的输入数据类型与第一其他标准化组件的输出数据类型匹配时，构建所述第一其他标准化组件与所述标准化组件之间的连接关系；
[0045]当所述标准化组件的输出数据类型与第二其他标准化组件的输入数据类型匹配时，构建所述标准化组件与所述第二其他标准化组件之间的连接关系。
[0046]本申请实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流水线的机器学习方法，其特征在于，所述方法包括：从用于构建机器学习模型的候选组件中，确定多个目标组件；对所述多个目标组件的输入数据以及输出数据进行标准化处理，得到所述多个目标组件分别对应的标准化组件；基于多个所述标准化组件之间的连接关系，对多个所述标准化组件进行组装处理，得到目标流水线；对所述目标流水线中包括的多个标准化组件进行调度处理，以执行所述机器学习模型对应的机器学习任务。2.根据权利要求1所述的方法，其特征在于，所述对所述多个目标组件的输入数据以及输出数据进行标准化处理，得到所述多个目标组件分别对应的标准化组件，包括：获取针对所述多个目标组件的标准化配置文件；其中，所述标准化配置文件包括所述多个目标组件的输入数据以及输出数据的配置参数；基于所述标准化配置文件中的配置参数，将所述多个目标组件的输入数据以及输出数据配置为标准化元数据；其中，所述标准化元数据包括数据属性以及数据保存位置。3.根据权利要求1所述的方法，其特征在于，所述标准化组件包括核心组件、扩展组件，所述核心组件为用于构建所述机器学习模型的通用型组件，所述扩展组件为用于扩展所述机器学习模型的功能型组件；所述对所述目标流水线中包括的多个标准化组件进行调度处理，包括：通过组件开发工具中的执行器调用所述核心组件的执行逻辑，得到所述核心组件的调度结果；通过所述组件开发工具中的执行器结合所述核心组件的调度结果，对所述扩展组件的执行逻辑进行调用处理，得到所述扩展组件的调度结果。4.根据权利要求1所述的方法，其特征在于，所述标准化组件包括自定义组件；所述方法还包括：基于组件开发工具开放的标准组件抽象接口进行组件自定义处理，得到所述自定义组件；将所述自定义组件保存至所述组件开发工具中；所述对所述目标流水线中包括的多个标准化组件进行调度处理，包括：通过所述组件开发工具中的执行器调用所述自定义组件的执行逻辑，得到所述自定义组件的调度结果。5.根据权利要求1所述的方法，其特征在于，所述对所述目标流水线中包括的多个标准化组件进行调度处理，包括：通过组件开发工具中的执行器执行以下处理：对所述目标流水线中的第一个标准化组件进行调度处理，得到所述第一个标准化组件的调度结果；按照所述目标流水线中第i个标准化组件到第i+1个标准化组件的数据流向，基于所述
第i个标准化组件的调度结果对所述第i+1个标准化组件进行调度处理，得到所述第i+1个标准化组件的调度结果；其中，i为递增的自然数且取值范围为1<i<M，M为所述标准化组件的数量，M为大于1的正整数。6.根据权利要求5所述的方法，其特征在于，所述基于所述第i个标准化组件的调度结果对所述第i+1个标准化组件进行调度处理，得到所述第i+1个标准化组件的调度结果，包括：对所述第i个标准化组件的调度结果进行解析处理，得到所述第i个标准化组件对应的数据属性；对所述第i个标准化组件进行调度任务状态管理，得到所述第i+1个标准化组件的任务执行状态；当所述第i+1个标准化组件的任务执行状态表征所述第i+1个标准化组件需要执行调度任务时，基于所述第i+1个标准化组件的调度结果对所述第i+1个标准化组件进行调度处理，得到所述第i+1个标准化组件的调度结果。7.根据权利要求5所述的方法，其特征在于，所述基于所述第i个标准化...

【专利技术属性】
技术研发人员：曹路洋，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：