神经网络的网络结构优化器的训练方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种神经网络的网络结构优化器的训练方法、装置、电子设备及存储介质；方法包括：通过所述网络结构优化器对神经网络的网络结构进行特征提取，得到对应所述网络结构的特征信息；通过所述网络结构优化器对所述特征信息进行预测，确定多个针对所述网络结构的优化方式；根据所述针对所述网络结构的优化方式对所述神经网络的网络结构进行更新，得到优化后的网络结构；对所述优化后的网络结构进行性能评估，并根据评估结果更新所述网络结构优化器的参数。通过本发明专利技术，能够根据网络结构优化器优化神经网络的网络结构，节约计算成本。

Training method, device and storage medium of network structure optimizer of neural network

【技术实现步骤摘要】
神经网络的网络结构优化器的训练方法、装置及存储介质
本专利技术涉及人工智能技术，尤其涉及一种神经网络的网络结构优化器的训练方法、装置、电子设备及存储介质。
技术介绍
人工智能(ArtificialIntelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。神经网络引起了学术界和工业界的广泛关注，并在多个应用领域取得了突破性成果，包括图像识别、目标检测、语义分割、语音识别和自然语言处理等。然而，神经网络的网络结构存在一些冗余的计算单元或计算操作，这些冗余会增加计算成本。
技术实现思路
本专利技术实施例提供一种神经网络的网络结构优化器的训练方法、装置、电子设备及存储介质，能够根据网络结构优化器优化神经网络的网络结构，节约计算成本。本专利技术实施例的技术方案是这样本文档来自技高网...

【技术保护点】
1.一种神经网络的网络结构优化器的训练方法，其特征在于，所述方法包括：/n通过所述网络结构优化器对神经网络的网络结构进行特征提取，得到对应所述网络结构的特征信息；/n通过所述网络结构优化器对所述特征信息进行预测，确定多个针对所述网络结构的优化方式；/n根据所述针对所述网络结构的优化方式对所述神经网络的网络结构进行更新，得到优化后的网络结构；/n对所述优化后的网络结构进行性能评估，并根据评估结果更新所述网络结构优化器的参数。/n

【技术特征摘要】
1.一种神经网络的网络结构优化器的训练方法，其特征在于，所述方法包括：
通过所述网络结构优化器对神经网络的网络结构进行特征提取，得到对应所述网络结构的特征信息；
通过所述网络结构优化器对所述特征信息进行预测，确定多个针对所述网络结构的优化方式；
根据所述针对所述网络结构的优化方式对所述神经网络的网络结构进行更新，得到优化后的网络结构；
对所述优化后的网络结构进行性能评估，并根据评估结果更新所述网络结构优化器的参数。


2.根据权利要求1所述的方法，其特征在于，所述通过所述网络结构优化器对神经网络的网络结构进行特征提取，得到对应所述网络结构的特征信息，包括：
通过所述网络结构优化器，建立针对所述神经网络的网络结构的有向图；
对所述有向图进行特征提取，得到对应所述网络结构的特征信息。


3.根据权利要求2所述的方法，其特征在于，所述通过所述网络结构优化器，建立针对所述神经网络的网络结构的有向图，包括：
通过所述网络结构优化器对所述神经网络的网络结构进行采样处理，得到针对所述网络结构的网络层信息；
根据所述网络层信息建立针对所述网络结构的有向图。


4.根据权利要求3所述的方法，其特征在于，所述根据所述网络层信息建立针对所述网络结构的有向图，包括：
将所述网络层信息中的输入特征或者输出特征、确定为有向图中的节点信息；
将所述网络层信息中的操作信息确定为所述有向图中的边信息；
根据所述节点信息以及所述边信息，建立针对所述网络结构的有向图；
其中，所述操作信息包括以下至少之一：卷积操作、跳转连接操作、池化操作、空连接操作。


5.根据权利要求2所述的方法，其特征在于，所述对所述有向图进行特征提取，得到对应所述网络结构的特征信息，包括：
确定所述有向图中的节点信息以及边信息；
根据图卷积网络中的参数可学习矩阵、激活函数、所述节点信息以及所述边信息，确定对应所述网络结构的特征信息。


6.根据权利要求5所述的方法，其特征在于，所述根据图卷积网络中的参数可学习矩阵、激活函数、所述节点信息以及所述边信息，确定对应所述网络结构的特征信息，包括：
将所述边信息、所述节点信息、以及第一层图卷积网络中的参数可学习矩阵进行乘操作，得到所述第一层图卷积网络的输出；
通过所述图卷积网络中的激活函数对所述第一层图卷积网络的输出进行非线性变换，得到变换后的第一层图卷积网络的输出；
将所述变换后的第一层图卷积网络的输出、以及第二层图卷积网络中的参数可学习矩阵进行乘操作，得到所述第二层图卷积网络的输出；
将所述第二层图卷积网络的输出、所述边信息、以及所述图卷积网络中全连接层的参数可学习矩阵进行乘操作，得到对应所述网络结构的特征信息。


7.根据权利要求1所述的方法，其特征在于，所述通过所述网络结构优化器对所述特征信息进行预测，确定多个针对所述网络结构的优化方式，包括：
通过所述网络结构优化器对所述特征信息进行分类，确定对应所述网络结构的优化方式的概率；
根据所述网络结构的优化方式的概率，确定所述多个优化方式中满足概率要求的针对所述网络结构的优化方式。


8.根据权利要求1所述的方法，其特征在于，所述根据所述针对所述网络结构的优化方式对所述神经网络的网络结构进行更新，得到优化后的网络结构，包括：
确定所述优化方式中的操作信息、网络层的尺寸以及网络层的数量；
将所述神经网络的网络结构中的操作信息、网络层的尺寸以及网络层的数量，替换为所述优化方式中的操作信息、网络层的尺寸以及网络层的数量，得到优化后的网络结构；
其中，所...

【专利技术属性】
技术研发人员：郑胤，国雍，魏秉政，黄汉煜，黄彦，王骕，路彦雄，林乐宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44