【技术实现步骤摘要】
本申请涉及计算机，特别涉及一种模型内存占用优化方法、设备、介质、产品及系统。
技术介绍
1、目前，在大语言模型（large language model，llm）推理过程中，若内存不足，则需要舍弃模型推理所占用的缓存资源，即通过舍弃推理性能的方式降低内存使用量，达到内存优化的目的。显然此方式会影响模型推理效率。
2、因此，如何在有限内存资源下，尽可能多的运行推理任务，是本领域技术人员需要解决的问题。
技术实现思路
1、有鉴于此，本申请的目的在于提供一种模型内存占用优化方法、设备、介质、产品及系统，以在有限内存资源下，尽可能多的运行推理任务。其具体方案如下：
2、第一方面，本申请提供了一种模型内存占用优化方法，包括：
3、接收预训练模型的推理请求；
4、利用第一策略从所述推理请求中提取得到所述推理请求对应的推理结果的内存占用信息，利用第二策略根据所述推理请求生成所述推理请求对应的推理结果的内存占用信息，得到至少两个内存占用信息；所述第二策略能够...
【技术保护点】
1.一种模型内存占用优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一策略包括：至少一个规则匹配策略和至少一个模型生成策略；
3.根据权利要求1所述的方法，其特征在于，根据所述预训练模型所在的当前内存剩余空间和所述至少两个内存占用信息中的最大值，预测所述推理结果的最大内存占用信息，包括：
4.根据权利要求3所述的方法，其特征在于，所述目标公式为：，L表示所述最大字符数，K表示所述最大值，α表示所述调节参数，M表示所述内存门限值，m表示所述当前内存剩余空间，表示向上取整符号。
5.根据权利要求...
【技术特征摘要】
1.一种模型内存占用优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一策略包括：至少一个规则匹配策略和至少一个模型生成策略；
3.根据权利要求1所述的方法，其特征在于，根据所述预训练模型所在的当前内存剩余空间和所述至少两个内存占用信息中的最大值，预测所述推理结果的最大内存占用信息，包括：
4.根据权利要求3所述的方法，其特征在于，所述目标公式为：，l表示所述最大字符数，k表示所述最大值，α表示所述调节参数，m表示所述内存门限值，m表示所述当前内存剩余空间，表示向上取整符号。
5.根据权利要求1所述的方法，其特征在于，根据所述最大值和所述最大内存占用信息，确定所述推理结果的内存占用范围之后，还包括：
6.根据权利要求5所述的方法，其特征在于，还包括：
7.根据权利要求6所述的方法，其特征在于，还包括：
8.根据权利要求1至7任意一项所述的方法，其特征在于，所述目标异构算...
【专利技术属性】
技术研发人员：李仁刚，唐轶男，郭振华，王丽，赵雅倩，曹芳，高开，
申请(专利权)人：山东海量信息技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。