System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 环境管理方法、装置、电子设备及介质制造方法及图纸_技高网

环境管理方法、装置、电子设备及介质制造方法及图纸

技术编号:41253940 阅读:2 留言:0更新日期:2024-05-11 09:14
本申请公开一种环境管理方法、装置、电子设备及介质,该方法包括:获取目标算子的运行框架与开发语言;基于所述目标算子的运行框架与所述开发语言,从环境框架中确定目标框架,所述环境框架包括集成开发环境的框架内容,所述集成开发环境用于实现算子管理;启动在线集成环境容器;将所述目标框架挂载到所述在线集成环境容器中,以在所述在线集成环境容器中拉起所述目标框架对应的目标集成开发环境。

【技术实现步骤摘要】

本公开涉及人工智能,更具体的,涉及一种环境管理方法、装置、电子设备及介质


技术介绍

1、机器学习作为一个交叉领域,往往需要开发人员有算法知识和编程知识等多方面的技术背景。此外,机器学习领域的开发往往依赖昂贵的计算资源或专属硬件。一方面算法能力和编程能力俱佳的人员很少,另一方面,为每个开发者配置一套硬件的成本及其高昂。

2、相关技术中,需要开发者手动进行算子管理的集成开发环境(integrateddevelopment environment,ide)的配置,过程复杂。例如在原始阶段每个人手动维护自己的本地ide,在团队内部,通过文档或口口相传的方式分享ide的配置。开发人员需要密切沟通且存在信息不对称,同时全部开发人员都需要对开发语言和运行框架有较深入的认识才能配置和维护好集成开发环境,操作繁杂,增加了配置成本和时间成本。


技术实现思路

1、本公开实施例的一个目的是提供一种环境管理的新的技术方案。

2、根据本公开的第一方面,提供了一种环境管理方法,该方法包括:

3、获取目标算子的运行框架与开发语言;

4、基于所述目标算子的运行框架与所述开发语言,从环境框架中确定目标框架,所述环境框架包括集成开发环境的框架内容,所述集成开发环境用于实现算子管理;

5、启动在线集成环境容器;

6、将所述目标框架挂载到所述在线集成环境容器中,以在所述在线集成环境容器中拉起所述目标框架对应的目标集成开发环境。

7、可选地,所述环境框架包括:框架代码、默认配置和算子适配项;

8、其中,所述框架代码为所述集成开发环境的基础框架代码;所述默认配置为所述集成开发环境的默认配置项,所述默认配置型包括以下至少一种:资源、调用方式、端口、镜像数据,所述算子适配项的内容基于所述目标算子而确定。

9、可选地,所述算子适配项包括以下至少一项:测试文档、算子文档;

10、其中,所述测试文档包括以下至少一项:测试用例、测试脚本;所述算子文档用于描述所述算子的使用方式。

11、可选地,所述集成开发环境包括以下算子开发环境中的至少两种:算子开发、算子测试、算子发布。

12、可选地,所述方法还包括:

13、在所述在线集成环境容器中加载算子插件;所述算子插件用于与算子管理平台进行交互,以在所述目标集成开发环境中提供算子服务。

14、可选地,所述方法还包括:

15、当所述目标算子声明了依赖框架时,新建所述依赖框架的框架服务;

16、将所述框架服务的服务地址注入所述在线集成环境容器。

17、可选地,所述启动在线集成环境容器之前,所述方法还包括:

18、基于所述目标框架确定所述目标集成开发环境所需的硬件资源;

19、向云端服务器请求所述硬件资源;

20、若请求成功,启动所述在线集成环境容器。

21、可选地,所述启动在线集成环境容器,包括:

22、基于所述目标算子的运行框架与开发语言,启动所述在线集成环境容器;所述在线集成环境容器与所述目标算子的运行框架、开发语言相匹配。

23、可选地,所述获取目标算子的运行框架与开发语言,包括:

24、基于用户操作信息,确定所述用户针对所述目标算子指定的运行框架与开发语言;或者,

25、获取所述目标算子的算子定义,所述算子定义中携带所述算子支持的运行框架与开发语言。

26、可选地,所述方法还包括:

27、基于用户针对所述目标算子的管理数据,更新所述环境框架。

28、可选地,所述基于用户针对所述目标算子的管理数据,更新所述环境框架,包括以下至少一项:

29、基于用户针对所述目标算子的管理数据,在所述框架代码中增加业务逻辑代码;

30、基于用户针对所述目标算子的管理数据,更新所述算子适配项。

31、可选地,所述方法还包括:

32、将管理后的所述目标算子提交至算子仓库,以由算子管理平台对所述目标算子进行调度管理。

33、可选地,所述运行框架为spark、flink、horovod、dask、mars、mindspore、local、k8s、hadoop、saas中其中一种。

34、可选地,所述开发语言为python语言、golang语言、c语言、c++语言、java语言中其中一种。

35、根据本公开的第二方面,提供了一种环境管理装置,该装置包括:

36、获取模块,用于获取目标算子的运行框架与开发语言;

37、确定模块,用于基于所述目标算子的运行框架与所述开发语言,从环境框架中确定目标框架,所述环境框架包括集成开发环境的框架内容,所述集成开发环境用于实现算子管理;

38、启动模块,用于启动在线集成环境容器;

39、创建模块,用于将所述目标框架挂载到所述在线集成环境容器中,以在所述在线集成环境容器中拉起所述目标框架对应的目标集成开发环境。

40、根据本公开的第三方面,提供了一种包括至少一个计算装置和至少一个存储装置的电子设备,其中,所述至少一个存储装置用于存储指令,所述指令用于控制所述至少一个计算装置执行根据以上第一方面所述的方法。

41、根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现如第一方面任一项所述的方法。

42、本公开的一个有益效果在于,其是基于目标算子的运行框架与开发语言,从环境框架中确定目标框架,环境框架包括集成开发环境的框架内容,集成开发环境用于实现算子管理,在启动在线集成环境容器之后,便可将目标框架挂载到在线集成环境容器中,以在在线集成环境容器中拉起目标框架对应的目标集成开发环境,进而在目标集成开发环境中进行目标算子管理。这种基于目标算子的运行框架和开发语言确定目标框架,并将目标框架挂载到在线集成环境容器中以拉起目标框架对应的目标集成开发环境的方式,降低了机器学习开发者的门槛,极大地简化了云端对于目标算子进行管理时所需的集成开发环境的配置操作,配置结果统一、便于开发人员基于统一规范的开发环境进行集成开发和资源配置,而且通过共享云端开发资源的方式能够提升资源利用率,降低硬件成本。

本文档来自技高网...

【技术保护点】

1.一种环境管理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述环境框架包括:框架代码、默认配置和算子适配项;

3.根据权利要求2所述的方法,其特征在于,所述算子适配项包括以下至少一项:测试文档、算子文档;

4.根据权利要求1-3任一项所述的方法,其特征在于,所述集成开发环境包括以下算子开发环境中的至少两种:算子开发、算子测试、算子发布。

5.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1-3任一项所述的方法,其特征在于,所述启动在线集成环境容器之前,所述方法还包括:

8.一种环境管理装置,其特征在于,包括:

9.一种包括至少一个计算装置和至少一个存储装置的电子设备,其特征在于,所述至少一个存储装置用于存储指令,所述指令用于控制所述至少一个计算装置执行根据权利要求1-7中任意一项所述的方法。

10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序在被处理器执行时实现如权利要求1-7中任意一项所述的方法。

...

【技术特征摘要】

1.一种环境管理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述环境框架包括:框架代码、默认配置和算子适配项;

3.根据权利要求2所述的方法,其特征在于,所述算子适配项包括以下至少一项:测试文档、算子文档;

4.根据权利要求1-3任一项所述的方法,其特征在于,所述集成开发环境包括以下算子开发环境中的至少两种:算子开发、算子测试、算子发布。

5.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1-3任一项所述的方法,其特...

【专利技术属性】
技术研发人员:刘鹏王妮
申请(专利权)人:第四范式北京技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1