神经网络的优化方法、装置、电子设备及存储介质制造方法及图纸

公开了一种神经网络的优化方法、装置、电子设备及存储介质，所述方法包括将初始神经网络中的变换操作映射至节点；将所述初始神经网络对应的各个节点中的每一对节点通过边进行连接，获得完全图，所述边具有边权重；针对目标任务对所述完全图的各个边的边权重进行优化；根据优化后的边权重获得所述目标任务对应的目标神经网络结构。

【技术实现步骤摘要】
神经网络的优化方法、装置、电子设备及存储介质
本公开涉及计算机视觉技术，尤其涉及一种神经网络的优化方法、装置、电子设备及存储介质。
技术介绍
深度学习成功地将特征工程从手工设计转换到自动设计，这标志着提取样本的特征可以通过优化的方式获得。寻找更有效的神经网络结构逐渐成为一个重要且具有实际价值的方向。目前大多使用手工设计模块并对模块进行堆叠的方式来组成网络，限制了进行优化的空间，难以确定适用于不同任务的结构，如何高效地得到不同任务适用的网络结构仍然是亟待解决的问题。
技术实现思路
本公开提供一种神经网络的优化方法。根据本公开的一方面，提出一种神经网络的优化方法，所述方法包括：将初始神经网络中的变换操作映射至节点；将所述初始神经网络对应的各个节点中的每一对节点通过边进行连接，获得完全图，所述边具有边权重；针对目标任务对所述完全图的各个边的边权重进行优化；根据优化后的边权重获得所述目标任务对应的目标神经网络结构。结合本公开提供的任一实施方式，所述各个网络层的变换操作包括求和、卷积、归一化、激活中的一项或多项。结合本公开提供的任一实施方式，对于每个节点，前序节点的特征通过至少一个输入边进行聚合并输入至所述节点，所述输入边为与所述节点的输入端连接的边；所述节点所生成的特征通过至少一个输出边输出至后序节点，所述输出边为与所述节点的输出端连接的边。结合本公开提供的任一实施方式，所述节点中的输入节点，通过对所述初始神经网络中的输入进行映射得到，所述输入节点为没有前序节点的节点；所述节点中的输出节点，通过对所述初神经网络中的输出进行映射得到，所述输出节点为没有后序节点的节点。结合本公开提供的任一实施方式，所述初始神经网络中每一阶的节点所对应的权重存储在邻接矩阵中，所述邻接矩阵的每一行表示所述节点的输入边的权重，所述邻接矩阵的每一列表示所述节点的输出边的权重。结合本公开提供的任一实施方式，所述对所述完全图中的各个边的边权重进行优化，包括：将训练集中的输入样本输入至所述完全图对应的神经网络，获得第一输出，所述训练集还包含与所述输入样本对应的输出样本；获得网络损失函数对于所述节点的输出特征的梯度，其中，所述网络损失函数指示所述完全图的第一输出与所述输出样本之间的损失；获得所述节点的变换操作对于聚合特征的梯度，所述聚合特征为所述节点的多个输入特征的加权求和的结果；根据所述网络损失函数对于所述节点的输出特征的梯度、所述节点的变换操作对于聚合特征的梯更新所述节点所对应的各个边的边权重。结合本公开提供的任一实施方式，所述网络损失还包括正则化损失；所述对所述完全图中的各个边的边权重进行优化，包括：获得所述正则化损失对于所述节点的输出的梯度；根据所述正则化损失对于所述节点的输出的梯度更新所述节点对应的各个边的边权重。结合本公开提供的任一实施方式，所述方法还包括：根据所述节点的入度更新所述节点对应的各个边的边权重，所述入度为所述节点的输入边的数目。结合本公开提供的任一实施方式，所述方法还包括：在对各个边的边权重进行优化的同时，对所述节点的网络参数进行优化。根据本公开的一方面，提出一种神经网络优化装置，所述装置包括：映射单元，用于将初始神经网络中的变换操作映射至节点；连接单元，用于将所述初始神经网络对应的各个节点中的每一对节点通过边进行连接，获得完全图，所述边具有边权重；优化单元，用于针对目标任务对所述完全图的各个边的边权重进行优化；获得单元，用于根据优化后的边权重获得所述目标任务对应的目标神经网络结构。结合本公开提供的任一实施方式，所述各个网络层的变换操作包括求和、卷积、归一化、激活中的一项或多项。结合本公开提供的任一实施方式，对于每个节点，前序节点的特征通过至少一个输入边进行聚合并输入至所述节点，所述输入边为与所述节点的输入端连接的边；所述节点所生成的特征通过至少一个输出边输出至后序节点，所述输出边为与所述节点的输出端连接的边。结合本公开提供的任一实施方式，所述节点中的输入节点，通过对所述初始神经网络中的输入进行映射得到，所述输入节点为没有前序节点的节点；所述节点中的输出节点，通过对所述初神经网络中的输出进行映射得到，所述输出节点为没有后序节点的节点。结合本公开提供的任一实施方式，所述初始神经网络中每一阶的节点所对应的权重存储在邻接矩阵中，所述邻接矩阵的每一行表示所述节点的输入边的权重，所述邻接矩阵的每一列表示所述节点的输出边的权重。结合本公开提供的任一实施方式，所述优化单元具体用于：将训练集中的输入样本输入至所述完全图，获得第一输出，所述训练集还包含与所述输入样本对应的输出样本；获得网络损失函数对于所述节点的输出特征的梯度，其中，所述网络损失函数指示所述完全图的第一输出与所述输出样本之间的损失；获得所述节点的变换操作对于聚合特征的梯度，所述聚合特征为所述节点的多个输入特征的加权求和的结果；根据所述网络损失函数对于所述节点的输出特征的梯度、所述节点的变换操作对于聚合特征的梯更新所述节点所对应的各个边的边权重。结合本公开提供的任一实施方式，所述网络损失还包括正则化所述，所述优化单元具体用于：获得所述正则化损失对于所述节点的输出的梯度；根据所述正则化损失对于所述节点的输出的梯度更新所述节点对应的各个边的边权重。结合本公开提供的任一实施方式，所述装置还包括自适应约束单元，用于根据所述节点的入度更新所述节点对应的各个边的边权重，所述入度为所述节点的输入边的数目。结合本公开提供的任一实施方式，所述装置还包括网络参数优化单元，用于在对各个边的边权重进行优化的同时，对所述节点的网络参数进行优化。根据本公开的一方面，提出一种电子设备，包括存储器和处理器，所述存储器用于存储可在所述处理器上运行的计算机指令，所述处理器用于执行所述计算机指令，以实现本公开提供的任一实施方式的方法。根据本公开的一方面，提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被电子设备执行时实现本公开提供的任一实施方式的方法。本公开任一实施方式所提出的神经网络的优化方法、装置及电子设备，通过将初始神经网络中各个网络层的变换操作映射至节点，并将所述初始神经网络对应的各个节点中的每一对节点通过边进行连接，获得完全图，并针对目标任务对所述完全图中的各个边的边权重进行优化，根据优化后的边权重获得所述目标任务对应的目标神经网络结构，通过从拓扑连接的角度表示神经网络，并通过构建任意一对节点之间存在边连接的优化空间，并在所述搜索空间中进行各个边的边权重的优化，将神经网络结构的优化转化为在完全图下寻找最优子图的过程，能够在不增加额外计算量和参数量的情况下获得适用于目标任务的拓扑连接，提高了神经网络结构设计的效率和效果。附图说明为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例本文档来自技高网...

【技术保护点】
1.一种神经网络的优化方法，其特征在于，所述方法包括：/n将初始神经网络中的变换操作映射至节点；/n将所述初始神经网络对应的各个节点中的每一对节点通过边进行连接，获得完全图，所述边具有边权重；/n针对目标任务对所述完全图的各个边的边权重进行优化；/n根据优化后的边权重获得所述目标任务对应的目标神经网络结构。/n

【技术特征摘要】
1.一种神经网络的优化方法，其特征在于，所述方法包括：
将初始神经网络中的变换操作映射至节点；
将所述初始神经网络对应的各个节点中的每一对节点通过边进行连接，获得完全图，所述边具有边权重；
针对目标任务对所述完全图的各个边的边权重进行优化；
根据优化后的边权重获得所述目标任务对应的目标神经网络结构。


2.根据权利要求1所述的方法，其特征在于，所述各个网络层的变换操作包括求和、卷积、归一化、激活中的一项或多项。


3.根据权利要求1或2所述的方法，其特征在于，对于每个节点，前序节点的特征通过至少一个输入边进行聚合并输入至所述节点，所述输入边为与所述节点的输入端连接的边；所述节点所生成的特征通过至少一个输出边输出至后序节点，所述输出边为与所述节点的输出端连接的边。


4.根据权利要求3所述的方法，其特征在于，所述将初始神经网络中的变换操作映射至节点，包括：
将所述初始神经网络的输入映射至所述节点中的第一个节点；
将所述初始神经网络的输出映射到所述节点中的最后一个节点。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述初始神经网络中每一阶的节点所对应的权重存储在邻接矩阵中，所述邻接矩阵的每一行表示所述节点的输入边的权重，所述邻接矩阵的每一列表示所述节点的输出边的权重。


6.根据权利要求1至5任一项所述的方法，其特征在于，所述对所述完全图中的各个边的边权重进行优化，包括：
将训练集中的输入样本输入至所述完全图对应的神经网络，获得第一输出，所述训练集还包含与所述输入样本对应的输出样本；
获得网络损失函数对于所述节点的输出特征的梯度，其中，所述网络损失函数指示所述完全图的第一输出与所述输出样本之间的损失；
获得所述...

【专利技术属性】
技术研发人员：袁坤，李全全，邵婧，闫俊杰，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44