一种基于多项式分布学习的神经网络结构检索方法技术

一种基于多项式分布学习的神经网络结构检索方法，涉及神经架构搜索。1)给定标好的图像‑标签对集合，将图像‑标签对集合划分为训练样本集，测试照片样本集和验证样本集，定义好需要搜索的神经网络可能的搜索空间；2)在搜索空间中，对可能的网络结构进行采样；3)当步骤2)进行采样之后，利用步骤1)中的图像标签对，对采样到的神经网络结构进行训练；4)记录每一个操作被采样的次数以及每一个操作在验证集合上的精度；5)计算出操作之间采样次数的差分以及精度之间的差分；6)用步骤5)中计算好的差分，对步骤2)中定义的概率进行更新；7)循环步骤3)～6)直至达到固定的训练次数。适用于比较大的数据集，高效而又准确。

A neural network structure retrieval method based on polynomial distribution learning

【技术实现步骤摘要】
一种基于多项式分布学习的神经网络结构检索方法
本专利技术涉及神经架构搜索，尤其是涉及一种基于多项式分布学习的神经网络结构检索方法。
技术介绍
近年来，随着人工智能以及深度学习的发展，人们对于定制化的深度学习网络结构开始出现指数级别的增长。用户更多的希望深度学习对于当前自身的任务，产生定制化的网络结构以及参数，这就引导了神经网络结构检索系统的产生。给定数据集，神经架构搜索(NAS)旨在通过搜索算法在巨大的搜索空间中发现高性能卷积架构。NAS在各种深度学习任务的自动化架构搜索中取得了很大成功，例如图像分类，语言建模和语义分割。如[1](T.DeVriesandG.W.Taylor.Improvedregularizationofconvolutionalneuralnetworkswithcutout.arXivpreprintarXiv:1708.04552,2017.)中所述，神经架构搜索方法由三部分组成：搜索空间、搜索策略和性能评估。传统的NAS算法通过搜索策略对特定的卷积架构进行采样并估计性能，同时，性能可以被视为更新搜索策略的目标本文档来自技高网...

【技术保护点】
1.一种基于多项式分布学习的神经网络结构检索方法，其特征在于包括以下步骤：/n1)给定标好的图像-标签对集合，将图像-标签对集合划分为训练样本集，测试照片样本集和验证样本集，定义好需要搜索的神经网络可能的搜索空间；/n2)在搜索空间中，对可能的网络结构进行采样，定义每一个操作的采样概率；网络结构根据不同的尺度区分为网络、细胞、节点；/n3)当步骤2)进行采样之后，利用步骤1)中的图像标签对，对采样到的神经网络结构进行训练；/n4)训练后，记录每一个操作被采样的次数以及每一个操作在验证集合上的精度；/n5)根据步骤4)得到的每一个操作的采样次数以及在验证集合上的精度，计算出操作之间采样次数的差分...

【技术特征摘要】
1.一种基于多项式分布学习的神经网络结构检索方法，其特征在于包括以下步骤：
1)给定标好的图像-标签对集合，将图像-标签对集合划分为训练样本集，测试照片样本集和验证样本集，定义好需要搜索的神经网络可能的搜索空间；
2)在搜索空间中，对可能的网络结构进行采样，定义每一个操作的采样概率；网络结构根据不同的尺度区分为网络、细胞、节点；
3)当步骤2)进行采样之后，利用步骤1)中的图像标签对，对采样到的神经网络结构进行训练；
4)训练后，记录每一个操作被采样的次数以及每一个操作在验证集合上的精度；
5)根据步骤4)得到的每一个操作的采样次数以及在验证集合上的精度，计算出操作之间采样次数的差分以及精度之间的差分；
6)用步骤5)中计算好的差分，对步骤2)中定义的采样概率进行更新；
7)循环步骤3)～6)直至达到固定的训练次数。


2.如权利要求1所述一种基于多项式分布学习的神经网络结构检索方法，其特征在于在步骤2)中，所述网络结构指的是整个网络拓扑结构；不同数量的细胞通过线形堆叠，组成了不同的网络结构，其中细胞主要分为下采样细胞和普通细胞；所述普通细胞的输入输出的宽度、高度以及深度保持一致，所述下采样细胞的宽度高度减半、深度翻倍；细胞由节点组成，每一个细胞中的节点之间保持一定顺序的无环的全连接拓扑图；所述节点主要分为输入节点、输出节点以...

【专利技术属性】
技术研发人员：纪荣嵘，郑侠武，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35