【技术实现步骤摘要】
本申请涉及人工智能领域，具体而言，涉及一种模型部署处理方法、装置及电子设备。
技术介绍
1、当前，深度学习大模型部署和推理涉及多方面的挑战，主要如下：1)计算资源需求，大模型通常具有数百万甚至几十亿的参数，导致计算资源需求极大。特别是在推理阶段，实时性要求较高的应用需要强大的计算能力。2)模型大小和内存限制，大模型占用大量存储空间和内存，部署收到资源受限的时存在困难；3)推理延迟且可扩展性差，在大规模应用场景或大模型复杂度高，计算量大场景下，难以满足高并发和高性能的需求，灵活性较低；4)性能监控及优化，模型部署后，需要持续监控模型服务的性能，识别和解决性能瓶颈。
2、针对相关技术中业务模型部署灵活性差且资源利用率低的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请的主要目的在于提供一种模型部署处理方法、装置及电子设备，以解决相关技术中业务模型部署灵活性差且资源利用率低的问题。
2、为了实现上述目的，根据本申请的一个方面，提供了一种模型部署处理方法。该方法...
【技术保护点】
1.一种模型部署处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述将所述N个微服务以及所述N个微服务接口对应部署至无服务器架构之后，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述N个微服务接口，从所述无服务器架构中调用所述N个微服务，包括：
4.根据权利要求3所述的方法，其特征在于，在所述N个微服务包括数据预处理微服务、特征工程微服务、模型推理微服务的情况下，所述基于所述N个微服务对所述业务处理请求进行处理，得到所述业务数据对应的业务预测结果，包括：
5.根据权利要求...
【技术特征摘要】
1.一种模型部署处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述将所述n个微服务以及所述n个微服务接口对应部署至无服务器架构之后，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述n个微服务接口，从所述无服务器架构中调用所述n个微服务，包括：
4.根据权利要求3所述的方法，其特征在于，在所述n个微服务包括数据预处理微服务、特征工程微服务、模型推理微服务的情况下，所述基于所述n个微服务对所述业务处理请求进行处理，得到所述业务数据对应的业务预测结果，包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，在所述运行信息为微服务的调用...
【专利技术属性】
技术研发人员：洪梅芳，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。