神经网络的优化方法、装置、电子设备及存储介质制造方法及图纸

公开了一种神经网络的优化方法、装置、电子设备及存储介质，所述方法包括将初始神经网络中的变换操作映射至节点；将所述初始神经网络对应的各个节点中的每一对节点通过边进行连接，获得完全图，所述边具有边权重；针对目标任务对所述完全图的各个边的边权重进行优化；根据优化后的边权重获得所述目标任务对应的目标神经网络结构。

【技术实现步骤摘要】
神经网络的优化方法、装置、电子设备及存储介质
本公开涉及计算机视觉技术，尤其涉及一种神经网络的优化方法、装置、电子设备及存储介质。
技术介绍
深度学习成功地将特征工程从手工设计转换到自动设计，这标志着提取样本的特征可以通过优化的方式获得。寻找更有效的神经网络结构逐渐成为一个重要且具有实际价值的方向。目前大多使用手工设计模块并对模块进行堆叠的方式来组成网络，限制了进行优化的空间，难以确定适用于不同任务的结构，如何高效地得到不同任务适用的网络结构仍然是亟待解决的问题。
技术实现思路
本公开提供一种神经网络的优化方法。根据本公开的一方面，提出一种神经网络的优化方法，所述方法包括：将初始神经网络中的变换操作映射至节点；将所述初始神经网络对应的各个节点中的每一对节点通过边进行连接，获得完全图，所述边具有边权重；针对目标任务对所述完全图的各个边的边权重进行优化；根据优化后的边权重获得所述目标任务对应的目标神经网络结构。结合本公开提供的任一实施方式，所述各个网络层的变换操作包括求和、卷积、归一化、激活中的一项或多项本文档来自技高网...

【技术保护点】
1.一种神经网络的优化方法，其特征在于，所述方法包括：/n将初始神经网络中的变换操作映射至节点；/n将所述初始神经网络对应的各个节点中的每一对节点通过边进行连接，获得完全图，所述边具有边权重；/n针对目标任务对所述完全图的各个边的边权重进行优化；/n根据优化后的边权重获得所述目标任务对应的目标神经网络结构。/n

【技术特征摘要】
1.一种神经网络的优化方法，其特征在于，所述方法包括：
将初始神经网络中的变换操作映射至节点；
将所述初始神经网络对应的各个节点中的每一对节点通过边进行连接，获得完全图，所述边具有边权重；
针对目标任务对所述完全图的各个边的边权重进行优化；
根据优化后的边权重获得所述目标任务对应的目标神经网络结构。


2.根据权利要求1所述的方法，其特征在于，所述各个网络层的变换操作包括求和、卷积、归一化、激活中的一项或多项。


3.根据权利要求1或2所述的方法，其特征在于，对于每个节点，前序节点的特征通过至少一个输入边进行聚合并输入至所述节点，所述输入边为与所述节点的输入端连接的边；所述节点所生成的特征通过至少一个输出边输出至后序节点，所述输出边为与所述节点的输出端连接的边。


4.根据权利要求3所述的方法，其特征在于，所述将初始神经网络中的变换操作映射至节点，包括：
将所述初始神经网络的输入映射至所述节点中的第一个节点；
将所述初始神经网络的输出映射到所述节点中的最后一个节点。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述初始神经网络中每一阶的节点所对应的权重存储在邻接矩阵中，所述邻接矩阵的每一行表示所述节点的输入边的权重，所述邻接矩阵的每一列表示所述节点的输出边的权重。


6.根据权利要求1至5任一项所述的方法，其特征在于，所述对所述完全图中的各个边的边权重进行优化，包括：
将训练集中的输入样本输入至所述完全图对应的神经网络，获得第一输出，所述训练集还包含与所述输入样本对应的输出样本；
获得网络损失函数对于所述节点的输出特征的梯度，其中，所述网络损失函数指示所述完全图的第一输出与所述输出样本之间的损失；
获得所述...

【专利技术属性】
技术研发人员：袁坤，李全全，邵婧，闫俊杰，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44