模型推理参数确定方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种模型推理参数确定方法、装置、电子设备及存储介质。所述方法包括：获取目标深度学习模型的模型基础信息和模型部署条件信息；根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间；基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。本申请实施例可以获取性能最优或资源最优的模型推理参数，从而可以提高模型的推理性能和推理效率。率。率。

【技术实现步骤摘要】
模型推理参数确定方法、装置、电子设备及存储介质


[0001]本申请涉及模型推理参数配置
，特别是涉及一种模型推理参数确定方法、装置、电子设备及存储介质。

技术介绍

[0002]随着深度学习模型在计算机视觉、自然语言处理、搜索、推荐等场景中的广泛应用，深度学习模型的种类以及运行环境也飞速增加，并且呈现较大的差异化。
[0003]为了满足各种业务的需求，充分利用已有的资源，需要更合理的评估并规划深度学习模型推理资源与参数配置。
[0004]如何为深度学习模型配置推理参数是目前亟待解决的问题。

技术实现思路

[0005]本申请实施例的目的在于提供一种模型推理参数确定方法、装置、电子设备及存储介质，以实现性能最优或资源最优的模型配置参数。具体技术方案如下：
[0006]在本申请实施的第一方面，首先提供了一种模型推理参数确定方法，所述方法适用于深度学习的模型的管理终端，包括：
[0007]获取目标深度学习模型的模型基础信息和模型部署条件信息；
[0008]根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间；
[0009]基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。
[0010]可选地，所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数，包括：
[0011]在所述业务条件为资源指标条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数；
[0012]将所述占用资源最低的资源推理参数作为所述目标模型推理参数。
[0013]可选地，所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数，包括：
[0014]在所述业务条件为业务性能条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中性能最优的性能推理参数；
[0015]将所述性能最优的性能推理参数作为所述目标模型推理参数。
[0016]可选地，在所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数之后，还包括：
[0017]基于所述目标模型推理参数，生成模型部署指令；
[0018]将所述模型部署指令发送给执行终端，以使所述执行终端解析所述模型部署指令，并基于解析得到的所述目标模型推理参数部署所述目标深度学习模型。
[0019]可选地，在所述将所述模型部署指令发送给执行终端之后，还包括：
[0020]获取由所述执行终端返回的所述目标模型推理参数对应的参数指标；所述参数指标为在所述目标深度学习模型的推理任务完成之后输出的指标。
[0021]可选地，所述模型基础信息包括模型基板参数和模型基本属性，其中，
[0022]所述模型基板参数包括：模型输入特征参数和模型输出特征参数；
[0023]所述模型基本属性包括：模型类型、模型版本、模型数据存储路径和业务类型中的至少一种。
[0024]在本申请实施的第二方面，还提供了一种模型推理参数确定装置，所述装置适用于深度学习模型的管理终端，包括：
[0025]模型基础信息获取模块，用于获取目标深度学习模型的模型基础信息和模型部署条件信息；
[0026]参数配置区间生成模块，用于根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间；
[0027]目标推理参数筛选模块，用于基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。
[0028]可选地，所述目标推理参数筛选模块包括：
[0029]资源推理参数筛选单元，用于在所述业务条件为资源指标条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数；
[0030]第一目标参数获取单元，用于将所述占用资源最低的资源推理参数作为所述目标模型推理参数。
[0031]可选地，所述目标推理参数筛选模块包括：
[0032]性能推理参数筛选单元，用于在所述业务条件为业务性能条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中性能最优的性能推理参数；
[0033]第二目标参数获取单元，用于将所述性能最优的性能推理参数作为所述目标模型推理参数。
[0034]可选地，所述装置还包括：
[0035]模型部署指令生成模块，用于基于所述目标模型推理参数，生成模型部署指令；
[0036]模型部署指令发送模块，用于将所述模型部署指令发送给执行终端，以使所述执行终端解析所述模型部署指令，并基于解析得到的所述目标模型推理参数部署所述目标深度学习模型。
[0037]可选地，所述装置还包括：
[0038]参数指标获取模块，用于获取由所述执行终端返回的所述目标模型推理参数对应的参数指标；所述参数指标为在所述目标深度学习模型的推理任务完成之后输出的指标。
[0039]可选地，所述模型基础信息包括模型基板参数和模型基本属性，其中，
[0040]所述模型基板参数包括：模型输入特征参数和模型输出特征参数；
[0041]所述模型基本属性包括：模型类型、模型版本、模型数据存储路径和业务类型中的至少一种。
[0042]在本申请实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的模型推理参数确定方法。
[0043]在本申请实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的模型推理参数确定方法。
[0044]本申请实施例提供的模型推理参数确定方法、装置、电子设备及存储介质，通过获取目标深度学习模型的模型基础信息和模型部署条件信息，根据模型基础信息和模型部署条件信息，生成目标深度学习模型对应的参数配置区间，基于参数调优算法和业务条件，从参数配置区间内筛选出目标深度学习模型对应的目标模型推理参数，本申请实施例通过结合模型基础信息和部署条件，先确定一个参数配置区间，然后结合参数调优算法和业务条件(如资源最优或性能最优等)从参数配置区间筛选最优的性能最优或资源最优的模型推理参数，从而可以提高模型的推理性能和推理效率。
附图说明
[0045]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0046]图1为本申请实施例提供的一种模型推理参数确定方法的步骤流程图；
[0047]图2为本申请实施例提供的另一种模型推理参数确定方法的步骤流程图；
[0048]图3为本申请实施例提供的一种模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型推理参数确定方法，其特征在于，所述方法适用于深度学习模型的管理终端，包括：获取目标深度学习模型的模型基础信息和模型部署条件信息；根据所述模型基础信息和所述模型部署条件信息，生成所述目标深度学习模型对应的参数配置区间；基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数。2.根据权利要求1所述的方法，其特征在于，所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数，包括：在所述业务条件为资源指标条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中占用资源最低的资源推理参数；将所述占用资源最低的资源推理参数作为所述目标模型推理参数。3.根据权利要求1所述的方法，其特征在于，所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数，包括：在所述业务条件为业务性能条件的情况下，基于所述参数调优算法，从所述参数配置区间内筛选出模型推理过程中性能最优的性能推理参数；将所述性能最优的性能推理参数作为所述目标模型推理参数。4.根据权利要求1所述的方法，其特征在于，在所述基于参数调优算法和业务条件，从所述参数配置区间内筛选出所述目标深度学习模型对应的目标模型推理参数之后，还包括：基于所述目标模型推理参数，生成模型部署指令；将所述模型部署指令发送给执行终端，以使所述执行终端解析所述模型部署指令，并基于解析得到的所述目标模型推理参数部署所述目标深度学习模型。5.根据权利要求4所述的方法，其特征在于，在所述将所述模型部署指令发送给执行终端之后，还包括：获取由所述执行终端返回的所述目标模型推理参数对应的参数指标；所述...

【专利技术属性】
技术研发人员：杨天，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：