本申请涉及一种深度神经网络部署方法、装置、计算机设备和存储介质。本申请能够节约深度神经网络部署配置方案的搜索时间，提高搜索效率。该方法包括：获取目标神经网络；针对各个算子，随机采样得到多组部署配置方案，作为第一配置方案集合；将第一配置方案集合中的各组部署配置方案输入预先构建的深度高斯过程模型中进行预测，得到第一部署性能集合；从第一部署性能集合中选取满足第一预设条件的性能数据，得到第二部署性能集合，并得到第二配置方案集合；将第二配置方案集合作为调整集，基于调整集针对预先构建的深度高斯过程模型进行调整，得到调整后的深度高斯过程模型；通过寻优算法从第一配置方案集合中搜索得到最优部署配置方案。部署配置方案。部署配置方案。
【技术实现步骤摘要】
深度神经网络部署方法、装置、计算机设备和存储介质
[0001]本申请涉及高性能计算
，特别是涉及一种深度神经网络部署方法、装置、计算机设备和存储介质。
技术介绍
[0002]随着人工智能技术的发展，深度神经网络在最近十年内获得了飞速发展，由于深度神经网络往往具有上千万甚至数以亿计的网络参数，导致深度神经网络在硬件上的高性能计算仍然面临着巨大的挑战。
[0003]为了解决这一技术困难，目前出现了多种针对不同硬件、算法、应用场景的编译器和相关组件，这类技术的目标在于，在尽可能短的时间内，找到最优的深度神经网络硬件部署策略。
[0004]然而，现有技术依然难以满足实际应用中的性能要求，例如目前普遍采用的高性能计算平台中存在着众多的计算单元，我们需要将深度神经网络算法的各个模块映射到硬件计算单元上，这将带来庞大的搜索空间，通常包含超过千万量级的可行解，测试每个可行解的时间一般需要数秒，这使得我们在有限的时间内无法测试过多的可行解，进而也导致无法在数量众多的可行解中找到最优可行解。可见，现有技术存在耗费时间长、精度低、搜索效率低的缺点。
技术实现思路
[0005]基于此，有必要针对上述技术问题，提供一种深度神经网络部署方法、装置、计算机设备和存储介质。
[0006]一种深度神经网络部署方法，所述方法包括：获取目标神经网络；所述目标神经网络中包含多个算子；针对各个所述算子，随机采样得到与所述算子对应的多组部署配置方案，作为第一配置方案集合；将所述第一配置方案集合中的各组部署配置方案输入与算子类型对应的预先构建的深度高斯过程模型中进行预测，得到第一部署性能集合；所述第一部署性能集合中的各组部署性能与所述第一配置方案集合中的各组部署配置方案一一对应；从所述第一部署性能集合中选取满足第一预设条件的性能数据，得到第二部署性能集合，并得到与所述第二部署性能集合对应的第二配置方案集合；将所述第二配置方案集合作为调整集，基于所述调整集针对所述预先构建的深度高斯过程模型中的模型参数进行调整，得到调整后的深度高斯过程模型；通过寻优算法从所述第一配置方案集合中搜索得到最优部署配置方案；所述最优部署配置方案为使得所述调整后的深度高斯过程模型输出的部署性能满足第二预设条件的部署配置方案。
[0007]在其中一个实施例中，所述获取目标神经网络之前，所述方法包括：
获取历史部署数据；所述历史部署数据中包含多种算子类型对应的历史部署配置方案集合和与所述历史部署配置方案集合一一对应的历史部署性能；利用所述历史部署数据对相应的深度高斯过程模型进行训练，得到与所述算子类型对应的预先构建的深度高斯过程模型；其中，所述相应的深度高斯过程模型是指与所述算子类型对应的深度高斯过程模型。
[0008]在其中一个实施例中，所述获取目标神经网络之后，所述方法包括：通过预设扫描算法扫描所述目标神经网络，得到包含所述多个算子的计算图；所述计算图用于输出所述算子类型。
[0009]在其中一个实施例中，所述将所述第二部署性能集合与所述第二配置方案集合作为调整集，基于所述调整集针对所述预先构建的深度高斯过程模型中的模型参数进行调整，得到调整后的深度高斯过程模型，包括：将所述第二配置方案集合作为调整集，获取所述调整集在目标计算平台上运行得到的实际部署性能集合；利用最大后验估计算法，基于所述调整集以及所述实际部署性能集合针对所述预先构建的深度高斯过程模型中的模型参数进行调整，得到所述调整后的深度高斯过程模型。
[0010]在其中一个实施例中，所述方法还包括：根据卷积类型、卷积核尺寸、填充值、卷积步长对所述目标神经网络进行分类得到多种算子类型。
[0011]在其中一个实施例中，所述寻优算法包括模拟退火算法。
[0012]在其中一个实施例中，所述通过寻优算法从所述第一配置方案集合中搜索得到最优部署配置方案，包括：当早停步达到预设步数时停止搜索，得到所述最优部署配置方案；或者，当搜索方案达到预设方案数目时停止搜索，得到所述最优部署配置方案。
[0013]一种深度神经网络部署装置，所述装置包括：目标神经网络获取模块，用于获取目标神经网络；所述目标神经网络中包含多个算子；第一配置方案集合获取模块，用于针对各个所述算子，随机采样得到与所述算子对应的多组部署配置方案，作为第一配置方案集合；第一部署性能集合预测模块，用于将所述第一配置方案集合中的各组部署配置方案输入与算子类型对应的预先构建的深度高斯过程模型中进行预测，得到第一部署性能集合；所述第一部署性能集合中的各组部署性能与所述第一配置方案集合中的各组部署配置方案一一对应；第二配置方案集合获取模块，用于从所述第一部署性能集合中选取满足第一预设条件的性能数据，得到第二部署性能集合，并得到与所述第二部署性能集合对应的第二配置方案集合；模型调整模块，用于将所述第二配置方案集合作为调整集，基于所述调整集针对所述预先构建的深度高斯过程模型中的模型参数进行调整，得到调整后的深度高斯过程模
型；最优部署配置方案搜索模块，用于通过寻优算法从所述第一配置方案集合中搜索得到最优部署配置方案；所述最优部署配置方案为使得所述调整后的深度高斯过程模型输出的部署性能满足第二预设条件的部署配置方案。
[0014]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述的深度神经网络部署方法实施例中的各步骤。
[0015]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的深度神经网络部署方法实施例中的各步骤。
[0016]上述深度神经网络部署方法、装置、计算机设备和存储介质，包括：获取目标神经网络；目标神经网络中包含多个算子；针对各个算子，随机采样得到与算子对应的多组部署配置方案，作为第一配置方案集合；将第一配置方案集合中的各组部署配置方案输入与算子类型对应的预先构建的深度高斯过程模型中进行预测，得到第一部署性能集合；第一部署性能集合中的各组部署性能与第一配置方案集合中的各组部署配置方案一一对应；从第一部署性能集合中选取满足第一预设条件的性能数据，得到第二部署性能集合，并得到与第二部署性能集合对应的第二配置方案集合；将第二配置方案集合作为调整集，基于调整集针对预先构建的深度高斯过程模型中的模型参数进行调整，得到调整后的深度高斯过程模型；通过寻优算法从第一配置方案集合中搜索得到最优部署配置方案；最优部署配置方案为使得调整后的深度高斯过程模型输出的部署性能满足第二预设条件的部署配置方案。该方法能够通过深度高斯过程模型，利用历史经验数据，同时兼顾当前任务（即目标神经网络）以及当前任务运行的计算平台的资源，搜索得到最优部署配置方案，无需与真实硬件进行交互，省去了繁琐缓慢的深度学习算法编译、加载和执行过程，节约了搜索时间，提高了搜索效率。
附图说明
[0017]图1为一个实施例中深度神经网络部署方法的流程示意图；图2为一个实施例中深度神经网络部署方法的算法架构图；图3为一个实施例中深度神经本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种深度神经网络部署方法，其特征在于，所述方法包括：获取目标神经网络；所述目标神经网络中包含多个算子；针对各个所述算子，随机采样得到与所述算子对应的多组部署配置方案，作为第一配置方案集合；将所述第一配置方案集合中的各组部署配置方案输入与算子类型对应的预先构建的深度高斯过程模型中进行预测，得到第一部署性能集合；所述第一部署性能集合中的各组部署性能与所述第一配置方案集合中的各组部署配置方案一一对应；从所述第一部署性能集合中选取满足第一预设条件的性能数据，得到第二部署性能集合，并得到与所述第二部署性能集合对应的第二配置方案集合；将所述第二配置方案集合作为调整集，基于所述调整集针对所述预先构建的深度高斯过程模型中的模型参数进行调整，得到调整后的深度高斯过程模型；通过寻优算法从所述第一配置方案集合中搜索得到最优部署配置方案；所述最优部署配置方案为使得所述调整后的深度高斯过程模型输出的部署性能满足第二预设条件的部署配置方案。2.根据权利要求1所述的方法，其特征在于，所述获取目标神经网络之前，所述方法包括：获取历史部署数据；所述历史部署数据中包含多种算子类型对应的历史部署配置方案集合和与所述历史部署配置方案集合一一对应的历史部署性能；利用所述历史部署数据对相应的深度高斯过程模型进行训练，得到与所述算子类型对应的预先构建的深度高斯过程模型；其中，所述相应的深度高斯过程模型是指与所述算子类型对应的深度高斯过程模型。3.根据权利要求1所述的方法，其特征在于，所述获取目标神经网络之后，所述方法包括：通过预设扫描算法扫描所述目标神经网络，得到包含所述多个算子的计算图；所述计算图用于输出所述算子类型。4.根据权利要求1所述的方法，其特征在于，所述将所述第二部署性能集合与所述第二配置方案集合作为调整集，基于所述调整集针对所述预先构建的深度高斯过程模型中的模型参数进行调整，得到调整后的深度高斯过程模型，包括：将所述第二配置方案集合作为调整集，获取所述调整集在目标计算平台上运行得到的实际部署性能集合；利用最大后验估计算法，基于所述调整集以及所述实际部署性能集合针对所述预先构建的深度高斯过程模型中的模型参数进...
【专利技术属性】
技术研发人员：孙奇，余蓓，沈小勇，吕江波，贾佳亚，
申请(专利权)人：上海思谋科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。