基于稀疏编码的深度学习网络结构搜索的图像识别方法技术

本发明专利技术公布了一种基于稀疏编码的深度学习网络结构搜索的图像识别方法，将基于梯度的可微分网络模型结构进行优化，构造用于在原始高维空间经压缩后映射的低维空间上进行结构搜索的网络模型，再通过稀疏编码技术使得压缩后的低维空间的解对应于原始空间的稀疏解，搜索时优化的网络模型结构即为重训练时的结构，应用于搜索‑重训练两阶段图像识别以及搜索‑重训练合并一阶段图像识别。本发明专利技术在搜索阶段的网络即具有稀疏性，在搜索训练阶段最终收敛的结构即为最终搜到的结构，网络结构搜索更加高效合理，使得图像识别的性能优异。

【技术实现步骤摘要】
基于稀疏编码的深度学习网络结构搜索的图像识别方法
本专利技术属于模式识别、机器学习、人工智能
，涉及深度学习网络结构搜索方法，具体涉及一种基于稀疏编码的深度学习网络结构搜索的图像识别方法。
技术介绍
随着深度学习显著地提高了各个任务的性能，包括语音识别、图像识别、机器翻译等，这项技术被越来越广泛地应用于各个领域，成为机器学习、人工智能中十分重要的一项内容。相比传统方法，深度学习技术是一种可训练的特征学习方法。它通过构造一个深度网络，包含多个线性映射和非线性映射，引入该网络所需的所有参数，并设计损失函数，然后用基于梯度下降的优化方法对各个参数进行寻优训练，直到网络收敛，该模型即可完成相关的任务。由于包含了足够多的非线性层，深度学习可以学习非常复杂的函数关系。尽管深度学习技术相比传统方法带来了很大的性能提升，但是深度网络的网络结构是一个很重要的环节。只有网络结构具有合理的设计，才能带来较好的性能，不同结构之间在性能上可能具有很大的差异。如果结构设计的不合理，可能会带来更差的性能、参数和计算量上的浪费。图像识别领域最早的网络结构是LeN本文档来自技高网...

【技术保护点】
1.一种基于稀疏编码的深度学习网络结构搜索的图像识别方法，将基于梯度的可微分网络模型结构进行优化，构造用于在原始高维空间经压缩后映射的低维空间上进行结构搜索的网络模型，再通过稀疏编码技术使得压缩后的低维空间的解对应于原始空间的稀疏解，搜索时优化的网络模型结构即为重训练时的结构，不需要任何后处理过程生成子结构；所述基于稀疏编码的深度学习网络结构搜索的图像识别方法可应用于搜索-重训练两阶段图像识别以及搜索-重训练合并一阶段图像识别；/n搜索-重训练两阶段图像识别包括如下步骤：/n1)将全部用于训练的图像数据集分为训练集和验证集两部分；/n2)对图像数据集进行预处理，包括进行图像标准化和图像数据增广...

【技术特征摘要】
1.一种基于稀疏编码的深度学习网络结构搜索的图像识别方法，将基于梯度的可微分网络模型结构进行优化，构造用于在原始高维空间经压缩后映射的低维空间上进行结构搜索的网络模型，再通过稀疏编码技术使得压缩后的低维空间的解对应于原始空间的稀疏解，搜索时优化的网络模型结构即为重训练时的结构，不需要任何后处理过程生成子结构；所述基于稀疏编码的深度学习网络结构搜索的图像识别方法可应用于搜索-重训练两阶段图像识别以及搜索-重训练合并一阶段图像识别；
搜索-重训练两阶段图像识别包括如下步骤：
1)将全部用于训练的图像数据集分为训练集和验证集两部分；
2)对图像数据集进行预处理，包括进行图像标准化和图像数据增广；
3)将基于梯度的可微分网络模型结构进行优化，构造用于结构搜索的网络模型；具体包含如下步骤：
31)用投影矩阵将原始高维空间的变量映射到压缩后的低维空间，即
bj＝Ajzj
其中，j表示每个全连接图中的第j个中间结点，zj是原始高维空间的稀疏变量，包括非零的维度和为零的维度；其中非零的维度表示保留相应连接，为零的维度表示去掉相应的连接；Aj是投影矩阵，将高维的zj压缩为低维的bj；bj为压缩后的低维空间的变量；
32)构造低维空间上等价的网络模型表示为：



其中，W是该网络模型中的所有操作中需要训练的参数，Z是所有变量zj组成的集合，B是所有变量bj组成的集合，xj表示全连接图中第j个中间结点的张量，oj表示输出到第j个中间结点的各个操作形成的向量；AjTAj-Ej＝I；
33)原始高维空间的最优解为z*，当且仅当b*＝Az*是压缩后的低维空间的最优解，A是投影矩阵；即在压缩后的低维空间进行优化，再通过稀疏编码恢复高维空间的稀疏解，根据支撑集得到相应的网络结构；
构造用于搜索的网络模型，由多个全连接图堆叠而成，每个全连接图中任意两个节点之间包含多个可选操作，包括：可分卷积层、空洞卷积层、平均池化层、最大池化层、同等连接层；
34)构造如下优化网络模型，优化网络模型中将稀疏性的约束隐式包含在目标函数中，稀疏性的约束通过稀疏编码求解得到满足：






其中，λ为超参数，是一个标量值；n是全连接图的中间结点的个数；W是网络模型所有操作中需要训练的参数；B是所有变量bj组成的集合；z是原始高维空间的变量；b是压缩后低维空间的变量；A是投影矩阵；
4)初始化用于搜索的网络模型，包括各个连接中的参数、用来优化的变量bj、初始化投影矩阵Aj；
5)对用于搜索的网络模型进行训练，包括如下步骤：
51)通过稀疏编码，将各个变量bj恢复到高维空间得到zj，保留zj值最大的两个维度，得到其支撑集
52)按如下方式前馈用于搜索的网络模型：



其中，表示支撑集中的元素、行或列；A是投影矩阵，且AjTAj-Ej＝I；o是各个操作形成的向量；z是原始高维空间的变量；b是压缩后低维空间的变量；
53)在训练集上进行前馈，得到损失函数值，通过随机梯度下降优化器，优化相应连接中的参数；
54)在验证集上进行前馈，得到损失函数值，通过适应性动量估计优化器，对变量bj进行优化；
55)返回步骤51)，进行迭代，直到迭代完毕，网络收敛，得到最终的搜索好的结构；
6)将最终支撑集中包含的路...

【专利技术属性】
技术研发人员：林宙辰，杨一博，李宏扬，游山，王飞，钱晨，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11