【技术实现步骤摘要】
本公开涉及计算机，具体地，涉及一种模型部署方法、装置、可读介质、电子设备及程序产品。
技术介绍
1、随着智能技术的发展，出现了用于处理不同领域任务的机器学习模型，例如文本生成模型、翻译模型和图像生成模型等。然而在基于机器学习模型进行任务处理前，需要先对机器学习模型进行部署。
技术实现思路
1、提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
2、第一方面，本公开提供一种模型部署方法，所述模型部署方法包括：
3、确定机器学习模型的参数信息以及用于部署所述机器学习模型的服务器的显卡显存；
4、根据所述参数信息，确定所述机器学习模型在推理计算过程中所需要的目标显存；
5、根据所述显卡显存和所述目标显存，确定所述机器学习模型在所述服务器中能够处理的最大请求数；
6、根据所述最大请...
【技术保护点】
1.一种模型部署方法，其特征在于，所述模型部署方法包括：
2.根据权利要求1所述的模型部署方法，其特征在于，所述根据所述参数信息，确定所述机器学习模型在推理计算过程中所需要的目标显存，包括：
3.根据权利要求2所述的模型部署方法，其特征在于，所述参数信息包括模型参数以及参数值精度，所述根据所述参数信息，确定所述机器学习模型在推理计算过程中、模型参数所需要占用的第一显存，包括：
4.根据权利要求2所述的模型部署方法，其特征在于，所述参数信息包括输入尺寸大小，所述根据所述参数信息，确定所述机器学习模型在推理计算过程中、激活值所需要占用的
【技术特征摘要】
1.一种模型部署方法，其特征在于，所述模型部署方法包括：
2.根据权利要求1所述的模型部署方法，其特征在于，所述根据所述参数信息，确定所述机器学习模型在推理计算过程中所需要的目标显存，包括：
3.根据权利要求2所述的模型部署方法，其特征在于，所述参数信息包括模型参数以及参数值精度，所述根据所述参数信息，确定所述机器学习模型在推理计算过程中、模型参数所需要占用的第一显存，包括：
4.根据权利要求2所述的模型部署方法，其特征在于，所述参数信息包括输入尺寸大小，所述根据所述参数信息，确定所述机器学习模型在推理计算过程中、激活值所需要占用的第二显存，包括：
5.根据权利要求2所述的模型部署方法，其特征在于，所述机器学习模型中包括多个网络层，所述参数信息包括输入尺寸大小，在根据所述参数信息，确定所述机器学习模型在推理计算过程中、激活值所需要占用的第二显存之前，还包括：
6.根据权利要求2-5中任一项所述的模型部署方法，其特征在于，所述机器学习模型的参数信息包括束宽度、最大输入长度、最大输出长...
【专利技术属性】
技术研发人员：郭若愚，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。