神经网络模型设计方法、部署方法、电子设备及存储介质技术

本发明专利技术提供的神经网络模型设计方法、部署方法、电子设备及存储介质，包括：获取神经网络模块库；该神经网络模块库中包含多个神经网络模块；根据场景任务从神经网络模块库中确定与场景任务匹配的多个目标神经网络模块；然后根据多个目标神经网络模块，构建与场景任务匹配的目标神经网络模型。本发明专利技术大大缩小了网络模型设计的时间成本，提高了模型设计的效率。

【技术实现步骤摘要】
神经网络模型设计方法、部署方法、电子设备及存储介质
本专利技术涉及深度学习
，具体而言，涉及一种神经网络模型设计方法、部署方法、电子设备及存储介质。
技术介绍
深度神经网络已在许多领域取得了巨大的成功，现在深度神经网络结构复杂多样，设计空间巨大，人工设计需要高昂的人力成本，因此如何找到最优的神经网络结构是一个技术难点。目前，相关技术采用基于神经网络搜索的方案搜索出最合适的模型结构，这种方式通常需要对每一个新的场景需求重新初始化神经网络搜索空间，进行重新搜索，耗时巨大，存在搜索效率低的问题。
技术实现思路
本专利技术的目的之一在于提供一种神经网络模型设计方法、部署方法、电子设备及存储介质，用以减少设计神经网络模型的耗时，提高获得最优神经网络模型的效率。本专利技术的技术方案可以这样实现：第一方面，本专利技术提供一种神经网络模型设计方法，所述方法包括：获取神经网络模块库；所述神经网络模块库中包含多个神经网络模块；根据场景任务从所述神经网络模块库中确定与所述场景任务匹配的多个目标神经网络模块；根据所述多个目标神经网络模块，构建与所述场景任务匹配的目标神经网络模型。第二方面，本专利技术提供一种神经网络模型部署方法，所述方法包括：获取目标神经网络模型；当所述目标神经网络模型在目标硬件平台上的性能指标在设定的性能指标范围内，将所述目标神经网络模型部署在所述目标硬件平台上。第三方面，本专利技术提供一种神经网络模型设计装置，包括：获取模块，用于获取神经网络模块库；所述神经网络模块库中包含多个神经网络模块；确定模块，用于根据场景任务从所述神经网络模块库中确定与所述场景任务匹配的多个目标神经网络模块；构建模块，用于根据所述多个目标神经网络模块，构建与所述场景任务匹配的目标神经网络模型。第四方面，本专利技术提供一种神经网络模型部署装置，包括：获取模块，用于获取目标神经网络模型；部署模块，用于当所述目标神经网络模型在目标硬件平台上的性能指标在设定的性能指标范围内，将所述目标神经网络模型部署在所述目标硬件平台上。第五方面，本专利技术提供的一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述机器可执行指令以实现第一方面所述的神经网络模型设计方法和/或第二方面所述的神经网络模型部署方法。第六方面，本专利技术提供的一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的神经网络模型设计方法和/或第二方面所述的神经网络模型部署方法。本专利技术提供的神经网络模型设计方法、部署方法、电子设备及存储介质，包括：通过获取神经网络模块库；该神经网络模块库中包含多个神经网络模块；根据场景任务从神经网络模块库中确定与场景任务匹配的多个目标神经网络模块；然后根据多个目标神经网络模块，构建与场景任务匹配的目标神经网络模型。与现有技术的区别在于：现有技术需要通过神经网络结构搜索的方式获得最优的神经网络模型，耗时长，搜索效率低，而本申请利用获得的先进的神经网络模块，根据场景任务组合设计出目标神经网络模型，大大缩小了网络模型设计的时间成本，提高了模型设计的效率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例提供的一种神经网络模型设计方法的示意性流程图；图2为本专利技术实施例提供的步骤S13的一种实现方式的示意性流程图；图3为本专利技术实施例提供的步骤S132的一种实现方式的示意性流程图；图4为本专利技术实施例提供的步骤S131的一种实现方式的示意性流程图；图5为本专利技术实施例提供的另一种神经网络模型设计方法的示意性流程图之一；图6为本专利技术实施例提供的步骤S14的一种实现方式的示意性流程图；图7为本专利技术实施例提供的另一种神经网络模型设计方法的示意性流程图之二；图8为本专利技术实施例提供的另一种神经网络模型设计方法的示意性流程图之三；图9为本专利技术实施例提供的另一种神经网络模型设计方法的示意性流程图之四；图10为本专利技术实施例提供的一种神经网络模型部署方法的示意性流程图；图11为本专利技术实施例提供的一种神经网络模型设计装置的功能模块图；图12为本专利技术实施例提供的一种神经网络模型部署装置的功能模块图；图13为本专利技术实施例提供的电子设备的结构框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在介绍本专利技术实施例之前，先就本专利技术实施例中涉及的术语进行解释：剪枝：裁剪神经网络的特征图数量；量化：用更少的位数来表示神经网络运算；蒸馏：以教师模型(大模型)指导学生模型(小模型)训练的方式获得一个性能较好的小模型。目前，深度神经网络已在许多领域取得了巨大的成功，如自然语言处理，语音识别和计算机视觉等。训练好的神经网络模型通常可以部署在选定好的硬件平台上，例如云端设备、边缘设备等，在硬件平台上可以测试神经网络模型的性能以及执行实际的场景任务，例如，图像识别、目标检测、场景分割等在手机或者嵌入式端实现。为了获得硬件平台上支持运行的最优的神经网络模型，相关技术通过神经网络结构自动搜索(NeuralArchitectureSearch，简称NAS)，对特定应用或者特定硬件搜索出最合适的模型结构，或者先训练出一个超网络，再对每一个任务搜索出最优的子网络。专利技术人在研究的过程中发现，上述获得最优的神经网络模型的方式需要对每一个新的场景任务重新初始化神经网络搜索空间，耗时巨大，存在搜索效率低的问题。为了解决上述技术问题，专利技术人提供的一种神经网络模型设计方法，该方法结合现有的神经网络知识库，获得全部神经网络模块，并基于实际的场景任务构建一系列与场景功能匹配的候选神经网络，然后基于能够运行在硬件平台的神经网络模块，筛选出在硬件平台上运行速度和精度最优的候选神经网络模型，作为目标神经网络模型，整个过程不需要进行模型搜索，提高了模型设计的效率，而且本专利技术实施例中的神经网络模型设计流程可以本文档来自技高网...

【技术保护点】
1.一种神经网络模型设计方法，其特征在于，所述方法包括：/n获取神经网络模块库；所述神经网络模块库中包含多个神经网络模块；/n根据场景任务从所述神经网络模块库中确定与所述场景任务匹配的多个目标神经网络模块；/n根据所述多个目标神经网络模块，构建与所述场景任务匹配的目标神经网络模型。/n

【技术特征摘要】
1.一种神经网络模型设计方法，其特征在于，所述方法包括：
获取神经网络模块库；所述神经网络模块库中包含多个神经网络模块；
根据场景任务从所述神经网络模块库中确定与所述场景任务匹配的多个目标神经网络模块；
根据所述多个目标神经网络模块，构建与所述场景任务匹配的目标神经网络模型。


2.根据权利要求1所述的神经网络模型设计方法，其特征在于，根据所述目标神经网络模块，构建与所述场景任务匹配的目标神经网络模型，包括：
根据所述多个目标神经网络模块，构建候选神经网络模块集和第一候选神经网络集；
其中，所述第一候选神经网络集中的每个第一候选神经网络由至少两个所述目标神经网络模块组合而成；所述每个第一候选神经网络与场景任务匹配；所述每个第一候选神经网络的功能指标均在设定的功能指标范围内；所述候选神经网络模块集中的每个候选神经网络模块为所述多个目标神经网络模块中的一个且所述每个所述候选神经网络模块支持运行在目标硬件平台上；
根据所述第一候选神经网络集和所述候选神经网络模块集确定所述目标神经网络模型。


3.根据权利要求2所述的神经网络模型设计方法，其特征在于，根据所述第一候选神经网络集和所述候选神经网络模块集确定所述目标神经网络模型，包括：
将所述第一候选神经网络集中满足设定条件的所述第一候选神经网络确定为目标神经网络模型；
其中，所述设定条件为：所述第一候选神经网络包含的每个所述目标神经网络模块均包含于所述候选神经网络模块集中，且所述第一候选神经网络在所述目标硬件平台上的运行时间最少。


4.根据权利要求3所述的神经网络模型设计方法，其特征在于，在将所述第一候选神经网络集中满足设定条件的所述第一候选神经网络确定为目标神经网络模型之后，还包括：
当所述目标神经网络模型在所述目标硬件平台上的性能指标在设定的性能指标范围内，将所述目标神经网络模型部署在所述目标硬件平台上。


5.根据权利要求1所述的神经网络模型设计方法，其特征在于，在根据所述多个目标神经网络模块，构建与所述场景任务匹配的目标神经网络模型之后，还包括：
根据神经网络知识库，对所述神经网络模块库进行更新。


6.根据权利要求2所述的神经网络模型设计方法，其特征在于，根据所述多个目标神经网络模块，构建候选神经网络模块集和第一候选神经网络集，包括：
根据所述场景任务以及设定的超参数，对所述多个目标神经网络模块中的至少两个所述目标神经网络模块进行组合，获得多个所述第一候选神经网络，组成所述第一候选神经网络集；
针对每个所述目标神经网络模块进行级联，获得所述目标神经网络模块对应的网络；将所述硬件平台支持运行的所述网络对应的所述目标神经网络模块作为所述候选神经网络模块，组成所述候选神经网络模块集。


7.根据权利要求6所述的神经网络模型设计方法，其特征在于，还包括：
对所述第一候选神经网络进行结构修改，获得修改后的所述第一候选神经网络，将修改后的所述第一候选神经网络添加至所述第一候选神经网络集。


8.根据权利要求3所述的神经网络模型设计方法，其特征在于，还包括：
当不存在满足所述设定条件的所述第一候选神经网络，基于所...

【专利技术属性】
技术研发人员：伍宇明，
申请(专利权)人：广州极飞科技有限公司，
类型：发明
国别省市：广东;44