System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 组件参数配置、元数据确定、创建工作流的方法及装置制造方法及图纸_技高网

组件参数配置、元数据确定、创建工作流的方法及装置制造方法及图纸

技术编号:40458835 阅读:5 留言:0更新日期:2024-02-22 23:14
本申请实施例公开了一种组件参数配置、元数据确定、创建工作流的方法及装置。所述工作流包括存在依赖关系的多个组件;主要技术方案包括获取第一组件的输入桩元数据和/或第一组件的配置参数,第一组件的配置参数包括第一组件使用的输入数据的字段信息;依据第一组件的输入桩元数据和/或第一组件的配置参数,确定第一组件的输出桩元数据;利用第一组件的输出桩元数据,确定第二组件的配置参数,第二组件的配置参数包括第二组件使用的输入数据的字段信息;其中第一组件和所述第二组件是所述多个组件中存在依赖关系的一对上下游组件。本申请能够在工作流创建阶段实现对组件的参数配置,降低对诸如研发和算法人员等用户的专业知识背景的要求。

【技术实现步骤摘要】

本申请涉及人工智能,特别是涉及一种组件参数配置、元数据确定、创建工作流的方法及装置


技术介绍

1、机器学习(machine learning,ml)是一种通过让计算机从过去的经验中学习和自适应改进的人工智能技术。其目标是通过对大量数据进行训练和分析,使计算机系统能够从中学习模式、进行预测和做出决策。使用机器学习来解决实际问题已经被广泛应用于大量领域。

2、对于诸如研发人员或算法人员等用户来说,想要针对具体任务完成机器学习的建模需要具备很多的技术知识和技能,门槛极高。为了提高开发效率和模型效果,降低技术门槛和开发成本,亟需构建一个简单易用的组件化机器学习平台。组件化机器学习平台将一个或多个执行算子封装为一个组件,将组件作为调度和用户编辑的基本单元。研发人员在组件化机器学习平台上将一个或多个组件按照顺序组合为一个工作流,使用工作流来定义一个机器学习任务的整个流程。通过工作流的形式,用户可以根据需要组合和调整组件的顺序,以构建不同的机器学习算法组合。

3、然而,在组件化机器学习平台上,需要诸如研发人员或算法人员等用户对各组件进行参数配置。由于组件所使用字段的配置依赖于上游组件的运行结果,用户在工作流创建阶段(工作流创建阶段在工作流实际运行之前)不可能逐一实验上游组件的运行,因此很难对所有组件进行参数配置。若想要在工作流创建阶段实现对组件的参数配置,则需要用户具有很高的专业知识背景。


技术实现思路

1、有鉴于此,本申请提供了一种组件参数配置、元数据确定、创建工作流的方法及装置,从而在工作流创建阶段实现对组件的参数配置,降低对诸如研发人员或算法人员等用户的专业知识背景的要求。

2、本申请提供了如下方案:

3、根据第一方面,提供了一种组件参数配置方法,应用于目标任务的工作流创建,所述工作流包括存在依赖关系的多个组件;所述方法包括:

4、获取第一组件的输入桩元数据和/或所述第一组件的配置参数,所述第一组件的配置参数包括所述第一组件使用的输入数据的字段信息;

5、依据所述第一组件的输入桩元数据和/或所述第一组件的配置参数,确定所述第一组件的输出桩元数据;

6、利用所述第一组件的输出桩元数据,确定第二组件的配置参数,所述第二组件的配置参数包括所述第二组件使用的输入数据的字段信息;

7、其中所述第一组件和所述第二组件是所述多个组件中存在依赖关系的一对上下游组件。

8、根据本申请实施例中一可实现的方式,利用所述第一组件的输出桩元数据,确定第二组件的配置参数包括:

9、利用所述第一组件的输出桩元数据,生成第二组件的参数配置选项;

10、依据用户对所述第二组件的参数配置选项的选择,确定所述第二组件的配置参数。

11、根据本申请实施例中一可实现的方式,所述方法还包括:

12、利用所述第一组件的输出桩元数据得到所述第二组件的输入桩元数据。

13、根据本申请实施例中一可实现的方式,所述方法还包括:为所述第一组件的各参与方标记角色信息;

14、依据所述第一组件的输入桩元数据和/或配置参数,确定所述第一组件的输出桩元数据包括:依据所述第一组件的各角色对应的输入桩元数据和/或各角色对应的配置参数,确定所述第一组件的各角色对应的输出桩元数据。

15、根据本申请实施例中一可实现的方式,为所述第一组件的各参与方标记角色信息包括:

16、若所述第一组件为单方组件,则将所述第一组件的各参与方标记为使用方;

17、若所述第一组件为多方组件,则依据所述第一组件的配置参数和/或与所述第一组件存在依赖关系的上游组件的角色信息,为所述第一组件的各参与方标记使用方或加持方。

18、根据本申请实施例中一可实现的方式,依据所述第一组件的输入桩元数据和/或所述第一组件的配置参数,确定所述第一组件的输出桩元数据由以下至少一种情形触发执行:

19、更新所述工作流中至少一个组件的参数,

20、在所述工作流中增加至少一个组件与上游组件的依赖关系,

21、在所述工作流中删除至少一个组件与上游组件的依赖关系,

22、删除所述工作流中的非孤立组件或除最下游叶子组件之外的组件,

23、完成所述工作流的运行。

24、根据本申请实施例中一可实现的方式,依据所述第一组件的输入桩元数据和/或所述第一组件的配置参数,确定所述第一组件的输出桩元数据包括:

25、确定所述第一组件的组件类型;

26、依据所述第一组件的输入桩元数据和/或所述第一组件的配置参数,采用与该组件类型对应的第一策略确定所述第一组件的输出桩元数据,所述第一策略是与所述组件类型对应的执行算子相关的。

27、根据本申请实施例中一可实现的方式,所述目标任务为联邦机器学习任务,则

28、若所述第一组件为虚拟关联组件,则所述第一组件的输出桩元数据包括所述第一组件的输入桩元数据中所述配置参数指示的字段信息;

29、若所述第一组件为数据预处理组件,则在数据表输入桩为空时,所述第一组件的输出桩元数据为空;在数据表输入桩不为空且配置表输入桩为空时,所述第一组件的输出桩元数据包括的字段信息是依据所述第一组件的数据表输入桩元数据中所述配置参数指示的字段信息,采用预处理类型对应的第一策略确定的;在数据表输入桩和配置表输入桩均不为空时,所述第一组件的输出桩元数据继承所述配置表输入桩的元数据;

30、若所述第一组件为预测组件,则所述第一组件的输出桩元数据包括所述第一组件的输入桩元数据中所述配置参数指示的字段信息以及预设的预测结果字段信息;

31、若所述第一组件为训练组件,则所述输出桩元数据包括针对所述训练组件预设的字段信息;

32、若所述第一组件为读类型组件,则所述输出桩元数据包括所述配置参数所指示的字段信息;

33、若所述第一组件为写类型组件或评估组件,则所述输出桩元数据为空。

34、根据本申请实施例中一可实现的方式,所述方法还包括:

35、依据所述第二组件的组件类型对应的第二策略,检测所述第二组件的配置参数的正确性,若不正确,则生成提示信息。

36、根据第二方面,提供了一种组件的元数据确定方法,应用于目标任务的工作流创建,所述工作流包括存在依赖关系的多个组件;所述方法包括:

37、获取第一组件的输入桩元数据和/或所述第一组件的配置参数;

38、依据所述第一组件的输入桩元数据和/或所述第一组件的配置参数,确定所述第一组件的输出桩元数据,所述第一组件的配置参数包括所述第一组件使用的输入数据的字段信息;

39、利用所述第一组件的输出桩元数据确定第二组件的输入桩元数据;

40、其中所述第一组件和所述第二组件是所述多个组件中存在依赖关系的一对上下游组件。

41、根据第三本文档来自技高网...

【技术保护点】

1.一种组件参数配置方法,应用于目标任务的工作流创建,所述工作流包括存在依赖关系的多个组件;其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,利用所述第一组件的输出桩元数据,确定第二组件的配置参数包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:为所述第一组件的各参与方标记角色信息;

5.根据权利要求4所述的方法,其特征在于,为所述第一组件的各参与方标记角色信息包括:

6.根据权利要求1至5中任一项所述的方法,其特征在于,依据所述第一组件的输入桩元数据和/或所述第一组件的配置参数,确定所述第一组件的输出桩元数据由以下至少一种情形触发执行:

7.根据权利要求1至5中任一项所述的方法,其特征在于,依据所述第一组件的输入桩元数据和/或所述第一组件的配置参数,确定所述第一组件的输出桩元数据包括:

8.根据权利要求7所述的方法,其特征在于,所述目标任务为联邦机器学习任务,则

9.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:

10.一种组件的元数据确定方法,应用于目标任务的工作流创建,所述工作流包括存在依赖关系的多个组件;其特征在于,所述方法包括:

11.一种创建工作流的方法,其特征在于,所述方法包括:

12.一种组件参数配置装置,应用于目标任务的工作流创建,所述工作流包括存在依赖关系的多个组件;其特征在于,所述装置包括:

13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至11任一项所述的方法的步骤。

14.一种电子设备,其特征在于,包括:

...

【技术特征摘要】

1.一种组件参数配置方法,应用于目标任务的工作流创建,所述工作流包括存在依赖关系的多个组件;其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,利用所述第一组件的输出桩元数据,确定第二组件的配置参数包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:为所述第一组件的各参与方标记角色信息;

5.根据权利要求4所述的方法,其特征在于,为所述第一组件的各参与方标记角色信息包括:

6.根据权利要求1至5中任一项所述的方法,其特征在于,依据所述第一组件的输入桩元数据和/或所述第一组件的配置参数,确定所述第一组件的输出桩元数据由以下至少一种情形触发执行:

7.根据权利要求1至5中任一项所述的方法,其特征在于,依据所述第一组件的...

【专利技术属性】
技术研发人员:李双于孟渤周滔冯伯昂张子良
申请(专利权)人:浙江爱橙技术发展有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1