一种神经网络结构自调整的图像识别模型及方法技术

本发明专利技术公开了一种神经网络结构自调整的图像识别模型及方法，所述模型包括：预训练模型生成单元，用于构建一个神经网络模型结构，并基于标准迁移学习在源域上预训练，得到预训练模型；搜索空间设计单元，用于设计所述神经网络模型结构的搜索空间，使得选定的神经网络模型结构可以看作所述搜索空间中的一个实例；联合微调单元，用于从得到的预训练模型开始，在搜索空间内联合微调网络参数和网络结构,优化后得到目标神经网络结构；网络参数微调单元，用于对经过所述联合微调单元得到的目标神经网络结构进一步微调网络参数。

An image recognition model and method with self-adjusting neural network structure

【技术实现步骤摘要】
一种神经网络结构自调整的图像识别模型及方法
本专利技术涉及基于深度学习的计算机视觉
，特别是涉及一种神经网络结构自调整的图像识别模型及方法。
技术介绍
大量的证据表明，在深度学习中，可以将预先训练好的特征跨任务转移，即迁移学习。在20世纪80年代，Hinton将迁移学习引入到深度学习中，尤其是无监督学习。2012年，当ImageNet首次被引入计算机视觉社区时，这项技术开始引起了学术界的兴趣。在图像识别、目标检测、语义分割、视频识别、行人再识别、和行人属性识别等任务中，使用ImageNe预训练的模型做迁移学习，往往能得到更好的结果。从ImageNet预训练后迁移其他数据域，不仅能提高目标任务的性能，而且也能加快学习过程，缩短训练时间。标准的迁移学习不仅应用于计算机视觉，也被用于其他领域，如自然语言处理(NLP)。另一方面，随着人们对自动化设计机器学习算法的人工过程越来越感兴趣。尤其是，神经网络结构调整，有望减少人类专家在神经网络结构设计方面的所花费的时间。然而，神经网络结构调整中还存在一个尚未解决的问题，即如何有效地求解这样一个搜索模型。结构最精确且最可靠的解决方案，是训练搜索空间中每个候选架构并比较它们的性能，以性能最佳的神经网络结构作为最终的神经网络结构。然而，这个方案非常耗时，因为搜索空间通常很巨大(例如，大于1e20)。为了解决这一问题，许多研究者探索了利用强化学习(RL)或进化学习来指导搜索方向，在只训练候选的体系结构。例如，在基于RL的神经网络结构调整中，只有具有最大回报的最有潜力的候选神经网络结构被训练，因为它们假定其中包含目标神经网络结构。这些神经网络结构调整算法取得了较为显著的性能，然而，它们仍然需要大量计算。例如，为了在CIFAR-10上获得最先进的神经网络结构，强化学习需要1800GPU天，而进化学习需要3150GPU天。这表明，在搜索子空间(例如，100万个神经网络结构)中训练候选神经网络结构仍然不切实际，因为即使只训练一个神经网络结构，往往也需要很长的时间(例如，在ImageNet上对ResNet的训练超过10GPU天)。目前，标准的图像识别系统大都遵循以下框架流程：(a)在大规模数据集(如ImageNet)上预训练神经网络；(b)在较小的、特定于任务的数据集上微调网络参数。这种迁移学习的流程希望通过参数自适应来将网络的识别能力从一个数据域迁移到另一个数据域，但其基于这样一个假设，即一个固定的神经网络结构适用于所有数据域。然而，具有不同识别目标的数据域可能需要不同的特征层次，其中一些神经元可能变得冗余，而另一些则被重新激活以形成新的网络结构。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种神经网络结构自调整的图像识别模型及方法，通过结合迁移学习技术和神经网络结构调整技术，利用迁移学习中预训练所学到的表征，通过对不同任务以及数据自适应地调整神经网络结构，实现了联合优化神经网络结构以及神经网络参数提升模型的图像识别性能。为达上述目的，本专利技术提出一种神经网络结构自调整的图像识别模型，包括：预训练模型生成单元，用于构建一个神经网络模型结构，并基于标准迁移学习在源域上预训练，得到预训练模型；搜索空间设计单元，用于设计所述神经网络模型结构的搜索空间，使得选定的神经网络模型结构可以看作所述搜索空间中的一个实例；联合微调单元，用于从得到的预训练模型开始，在搜索空间内联合微调网络参数和网络结构,优化后得到目标神经网络结构；网络参数微调单元，用于对经过所述联合微调单元得到的目标神经网络结构进一步微调网络参数。优选地，于预训练模型生成单元中，当构建好所述神经网络模型结构后，给定网络模型α0，利用源数据集ImageNet经过训练，得到预训练网络的模型参数W0。优选地，所述神经网络模型结构采用ResNet50神经网络结构。优选地，所述预训练模型表达为：其中，Φ(·)表示神经网络的非线性函数，X为神经网络的输入，W＝{W1,W2,…,Wi,…,WK-1,WK}代表神经网络的参数，K代表神经网络的深度，α0为给定网络模型α0，表示以Wi为卷积核的卷积操作，为运算序列符号。优选地，于步骤S1中，标准迁移学习可形式化为：W*表示给定网络结构α0的最佳网络参数。优选地，所述搜索空间设计单元将所述预训练模型生成单元中选定的神经网络结构扩充到更大的神经网络空间。优选地，所述搜索空间表示为：A＝{O1,O2,…,Oi,…,OK-1,OK}其中Oi(1≤i≤K)表示候选操作集合。优选地，所述联合微调单元在联合微调的基础上，使用软选择方法得到离散的目标神经网络结构α*。优选地，将所述图像识别模型在ImageNet数据集上训练，得到的训练后的图像识别模型实现对输入图像的分类。为达到上述目的，本专利技术还提供一种神经网络结构自调整的图像识别方法，包括如下步骤：步骤S1，构建一个神经网络模型结构，并基于标准迁移学习在源域上预训练，得到预训练模型；步骤S2，设计神经网络结构的搜索空间，使得选定的神经网络结构可以看作所述搜索空间中的一个实例；步骤S3，从得到的预训练模型开始，在搜索空间内联合微调网络参数和网络结构,优化后得到目标神经网络结构；步骤S4，对经过步骤S3得到的目标神经网络结构在目标域中进行网络参数的微调。与现有技术相比，本专利技术一种神经网络结构自调整的图像识别方法及系统通过结合迁移学习技术和神经网络结构调整技术，利用迁移学习中预训练所学到的表征，通过对不同任务以及数据自适应地调整神经网络结构，联合优化了神经网络结构以及神经网络参数提升模型的图像识别性能，本专利技术实现了基于迁移学习的神经网络结构自调整的图像识别框，同时利用了标准转移学习和经网络结构调整的能力，取得了更好的性能。附图说明图1为本专利技术一种神经网络结构自调整的图像识别模型的系统架构图；图2为本专利技术具体实施例中初始网络结构α0、目标网络结构α*和搜索空间A的关系示意图；图3示出了本专利技术与标准迁移学习的结果对比示意图；图4为本专利技术一种神经网络结构自调整的图像识别方法的系统架构图。具体实施方式以下通过特定的具体实例并结合附图说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。图1为本专利技术一种神经网络结构自调整的图像识别模型的系统架构图。如图1所示，本专利技术一种神经网络结构自调整的图像识别模型，包括：预训练模型生成单元101，用于构建一个神经网络模型结构，如ResNet50，并基于标准迁移学习在源域上预训练，得到预训练模型。在本专利技术具体实施例中，所构建的神经网络模型的数学表示如下可见，神本文档来自技高网...

【技术保护点】
1.一种神经网络结构自调整的图像识别模型，包括：/n预训练模型生成单元，用于构建一个神经网络模型结构，并基于标准迁移学习在源域上预训练，得到预训练模型；/n搜索空间设计单元，用于设计所述神经网络模型结构的搜索空间，使得选定的神经网络模型结构可以看作所述搜索空间中的一个实例；/n联合微调单元，用于从得到的预训练模型开始，在搜索空间内联合微调网络参数和网络结构,优化后得到目标神经网络结构；/n网络参数微调单元，用于对经过所述联合微调单元得到的目标神经网络结构进一步微调网络参数。/n

【技术特征摘要】
1.一种神经网络结构自调整的图像识别模型，包括：
预训练模型生成单元，用于构建一个神经网络模型结构，并基于标准迁移学习在源域上预训练，得到预训练模型；
搜索空间设计单元，用于设计所述神经网络模型结构的搜索空间，使得选定的神经网络模型结构可以看作所述搜索空间中的一个实例；
联合微调单元，用于从得到的预训练模型开始，在搜索空间内联合微调网络参数和网络结构,优化后得到目标神经网络结构；
网络参数微调单元，用于对经过所述联合微调单元得到的目标神经网络结构进一步微调网络参数。


2.如权利要求1所述的一种神经网络结构自调整的图像识别模型，其特征在于:于预训练模型生成单元中，当构建好所述神经网络模型结构后，给定网络模型α0，利用源数据集ImageNet经过训练，得到预训练网络的模型参数W0。


3.如权利要求2所述的一种神经网络结构自调整的图像识别模型，其特征在于:所述神经网络模型结构采用ResNet50神经网络结构。


4.如权利要求2所述的一种神经网络结构自调整的图像识别模型，其特征在于，所述预训练模型表达为：



其中，Φ(·)表示神经网络的非线性函数，X为神经网络的输入，W＝{W1,W2,…,Wi,…,WK-1,WK}代表神经网络的参数，K代表神经网络的深度，α0为给定网络模型α0，表示以Wi为卷积核的卷积操作，为运算序列符号。


5.如权利要求4所述的一种神经网络结构自调整的图像识别模型，其特征在于:于步骤...

【专利技术属性】
技术研发人员：陈荣聪，林倞，王广润，王广聪，张吉祺，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44