一种模型引擎制造技术

技术编号:42008296 阅读:24 留言:0更新日期:2024-07-12 12:28
一种模型引擎,包括,配置管理单元完成包括镜像、算法模型、集群信息在内的公共参数配置,以及完成属性字典和标签配置,以实现模型引擎内所有配置统一管理;镜像仓库管理单元通过引入配置管理单元的默认配置,完成外部镜像资源管理、导入和推送,最终将镜像以运行实体的形式挂载到镜像仓库;模型仓库管理单元完成模型管理和配置、算法模型部署以及算法模型被调用后的管理;其中模型管理和配置时引入配置管理的默认参数,以及关联镜像配置;模型发布单元完成算法模型的发布;运行和应用监控单元完成算法模型在运行过程中的资源监控、服务负载和启停监控、服务调用监控。

【技术实现步骤摘要】

本专利技术涉及一种模型引擎,属于计算机技术遥感卫星算法领域。


技术介绍

1、在遥感应用的开发过程中,信息提取和影像处理的领域中需要大量的人工智能算法支持,而传统的人工智能本地研发训练和应用模式存在历史的合理性,同时又无法完美适应新时期对于算力的大规模需求以及对于算法成果灵活部署应用的需求。

2、现有的遥感应用信息提取仍然延用传统的模式,并在本地或单机环境运行,即研发人员引用一个人工智能模型,提供一系列训练样本在本地进行多次训练,在训练过程中不断调整训练参数,最终得到一个算法模型文件用于大规模的后续影像处理过程。

3、在上述训练过程中,受限于本地训练硬件资源弹性的限制,一方面当本地资源不足的情况下,进行反复的人工智能训练和调优将浪费大量的训练时间等待调优结果;另一方面,为提高计算效率一味扩大本地资源投入。

4、在训练结束后,算法模型及运行成果、调优参数都保留在本地及单机环境上。

5、因此,现有技术存在以下问题:

6、a)因模型算法在本地或单机上运行,没办法实现算法模型共享。>

7、b)因本本文档来自技高网...

【技术保护点】

1.一种模型引擎,其特征在于,包括:配置管理单元、镜像仓库管理单元、模型仓库管理单元、模型发布单元、运行和应用监控单元;

2.根据权利要求1所述的一种模型引擎,其特征在于,所述镜像配置,一方面配置包括基本的资源配置,镜像命令、挂载配置,镜像所需环境变量配置,镜像部署空间和端口映射配置;另一方面配置记录了信息被哪个镜像文件所使用;将上述两方面配置信息作为一个完整配置实例保存在存储单元中;当算法模型选择了镜像,则选择了运行模型时要使用的镜像文件,即模型运行环境以及匹配的一套默认配置,不需要进行更多配置则能够直接将模型实例化。

3.根据权利要求1所述的一种模型引擎,其特...

【技术特征摘要】

1.一种模型引擎,其特征在于,包括:配置管理单元、镜像仓库管理单元、模型仓库管理单元、模型发布单元、运行和应用监控单元;

2.根据权利要求1所述的一种模型引擎,其特征在于,所述镜像配置,一方面配置包括基本的资源配置,镜像命令、挂载配置,镜像所需环境变量配置,镜像部署空间和端口映射配置;另一方面配置记录了信息被哪个镜像文件所使用;将上述两方面配置信息作为一个完整配置实例保存在存储单元中;当算法模型选择了镜像,则选择了运行模型时要使用的镜像文件,即模型运行环境以及匹配的一套默认配置,不需要进行更多配置则能够直接将模型实例化。

3.根据权利要求1所述的一种模型引擎,其特征在于,所述模型配置,包括模型关联的元数据信息配置,具体包括关联的样本集、行业属性字典、区域属性字典、技术分类、模型处理的样本标签信息,以及模型训练过程中和训练结果参数;还包括运行模型算法需要的配置,具体包括不属于原始算法但需要支持算法模型代码运行的自研函数库的挂载,并对算法模型运行依赖的镜像资源进行二次配置,并在算法模型启动时与镜像配置整合后发送给运行和应用监控单元;通过配置符合规范的api及接口参数对外提供服务,以此统一第三方应用的调用。

4.根据权利要求1所述的一种模型引擎,其特征在于,所述集群信息配置包括:模型引擎运行在第三方云平台的集群中,每个算法模型实例都以一个集群中的服务来部署和运行;为了实现上述部署和运行,配置集群信息,包括集群地址、集群可以使用的端口范围、连接集群的一些认证配置文件的路径,以及便运行和应用监控单元随时扫描集群的剩余资源,包括cpu资源、内存资源、gpu资源、及可运行的容器数量,以此控制和管理算法模型是否启动、关闭。

5.根据权利要求1所述的一种模型引擎,其特征在于,所述字典和标签配置,完成模型引擎内所有单元所需固定属性及标签的配置及服务需求;其中,字典被引擎初始化后,不可变更;标签可根据具体业务情况进行配置。

6.根据权利要求1所述的一种模型引擎,其特征在于,所述镜像仓库管理单元通过引入配置管理单元的默认配置,完成外部镜像资源管理、导入和推送,最终将镜像以运行实体的形式挂载到镜像仓库,包括:

7.根据权利要求1所述的一种模型引擎,其特征在于,所述模型仓库管理单元中的模型管理和配置,包括:负责模型基本功能,即模型创建、检索、删除、详情查看;在模型创建或编辑过程需关联镜像、选择模型类型、选择样本集,并导入算法代码tar包,其中用户可直接导入配置管理单元...

【专利技术属性】
技术研发人员:袁桂敏路禹董洋张贞刘怀英乔志远
申请(专利权)人:中国四维测绘技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1