基于带对称跨层连接的卷积神经网络半监督特征学习方法技术

本发明专利技术公开了基于带对称跨层连接的卷积神经网络半监督特征学习方法，包含如下步骤：生成无类标受损图像数据集；构建跨层连接卷积神经网络；预训练图像恢复神经网络；提取网络参数构建分类网络；训练分类网络。本发明专利技术利用对无类标图像数据的恢复任务，预训练神经网络，从而提高对有类标图像的分类效果，实现半监督特征学习。此外，通过在传统卷积神经网络自动编码器中加入对称跨层连接，使得网络更易优化，并增强网络中层特征抽象能力，使得无监督图像恢复任务得到的网络权重更易迁移于有监督学习任务。本发明专利技术实现了高效、准确的基于卷积神经网络的半监督学习方法，因此具有较高的实用价值。

Semi supervised feature learning method based on convolutional neural networks with symmetric cross layer connections

The invention discloses a semi-supervised feature learning method based on convolution neural network with symmetrical cross-layer connection, which comprises the following steps: generating image data set without class mark damage; constructing cross-layer convolution neural network; pre-training image restoration neural network; extracting network parameters to construct classification network; and training classification network. The neural network is pre-trained by using the recovery task of the image data without class marks, thereby improving the classification effect of the image with class marks, and realizing the semi-supervised feature learning. In addition, by adding symmetrical cross-layer connections to the traditional convolutional neural network automatic encoder, the network can be optimized more easily, and the ability of abstracting middle-level features in the network can be enhanced, so that the weights obtained from unsupervised image restoration tasks can be easily transferred to supervised learning tasks. The invention realizes an efficient and accurate semi-supervised learning method based on convolutional neural network, and therefore has high practical value.

【技术实现步骤摘要】
基于带对称跨层连接的卷积神经网络半监督特征学习方法
本专利技术涉及图像半监督特征学习，尤其涉及基于带对称跨层连接的卷积神经网络(ConvolutionalNeuralNetwork，CNN)半监督特征学习方法。
技术介绍
随着信息技术的不断飞速发展，各个领域每天都在以惊人的速度产生各种类型的图像数据。在大量的图像数据获取、传播过程中，如何更好地理解图像语义信息，并借此完成人类才可完成的任务，是现今人工智能与模式识别领域的重要挑战。人们迫切地希望计算机能够帮助人类更好地获取并利用海量图像数据。互联网中的图像数据往往都是以没有类标的形式存在的，仅有少量结构化数据或用于科研的图像数据具有类标。因此如何使用大量无类标数据，辅助少量有类标数据的理解与学习，成为人工智能领域亟待解决的问题。图像的半监督特征学习作为利用无类标数据的重要方法，一直受到工业界和学术界的广泛关注，并经常作为各种图像相关国际学术会议的重要主题，是人工智能和模式识别领域一个非常重要的研究课题。其基础思想是利用无类标图像中提取出的结构信息，利用一定技术手段，将无类标信息与有类标数据特征相关联，从而辅助有类标图像的理解与学习。近几年，基于深度神经网络，特别是深度卷积神经网络的方法广泛应用于许多计算机视觉和模式识别任务，在许多高层图像理解任务，如图像分类，图像分割等问题上取得令人瞩目的效果。但其仍有一些缺点使其在应用中收到限制，其中很重要的一点即是需要大量有类标图像数据。在有类标数据量有限的情况下，深度学习方法的表现往往不尽如人意。如何将半监督特征学习思想应用于深度学习领域，已成为当前研究热点，对积极推进社会信息化进程起到重要作用。在创造了无可替代的社会价值的同时，该领域仍有许多关键技术问题尚未解决，仍有许多功能实现需要进一步完善，因此，如何利用深度卷积神经网络，更有效地在半监督情况下对图像进行理解，以更灵活地实现计算机视觉的研究，具有深远的意义。
技术实现思路
专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于带跨层连接的卷积神经网络的半监督特征学习方法，通过在海量无类标数据中对卷积神经网络进行预训练，最终提高在有类标数据中的表现。为了解决上述技术问题，本专利技术公开了一种基于带跨层连接的卷积神经网络(ConvolutionalNeuralNetwork，CNN)的半监督特征学习方法，包含如下步骤：步骤1，生成无类标和有类标数据集：采集有类标和无类标图像数据，对每张图像做随机裁剪和归一化处理，得到有类标图像集合X0和无类标图像集合Y，根据图像分辨率大小，对集合Y中图像进行不同的破坏，得到破坏后的无类标图像集X1，设Z为有类标图像类标向量，Z＝{z1,z2,…,zn}，zi表示第i张图像类标，i取值为1～n，则(X1,Y)组成用于非监督预训练的无类标训练数据集合，(X0,Z)作为有监督训练的有类标训练数据集合；步骤2，构建预训练图像恢复网络：根据输入图像大小构建图像恢复网络，设网络总深度为D层，D为偶数，其中前D/2层为卷积层，后D/2层为反卷积层，卷积核大小取为3x3，步长为1或2，根据网络深度和图像大小决定步长变化率。输入为步骤1中破坏后的图像集X1中的图像，输出为网络恢复后图像；步骤3，训练图像恢复网络：使用ADAM(Kingma,DiederikP.,andJimmyBa."Adam:Amethodforstochasticoptimization."arXivpreprintarXiv:1412.6980(2014).)优化算法，采用步骤1得到的训练集(X1,Y)对步骤2所构建网络进行训练，以集合X1中受破坏图像作为输入，并以集合Y中对应的无损图像作为网络监督信息，训练后记录图像恢复网络前D/2层每一层权重W和偏置b；步骤4，构建有监督分类网络，以步骤2构建的图像恢复网络为模板，根据输入图像大小构建D/2层网络，均为卷积层，步长变化与步骤2中构建网络一致。并加入Max-pooling层和Softmax层，同时对卷积层参数使用步骤3中训练好网络对应权重W和偏置b进行初始化；步骤5，训练分类网络，将步骤4中构建并初始化的分类网络使用ADAM优化算法，在有类标图像数据上进行训练，直到算法收敛。步骤1具体包括如下步骤：步骤1-1，采集有类标和无类标图像数据，对每幅图像进行裁剪，采用随机裁剪的方式，得到大小相同的图像块，其中图像块大小取决于原始图像大小和模型大小，对于小于50*50的低分辨率图像(如CIFAR-10数据集)，裁剪大小为29*29，对于大于225*225高分辨率的自然图像(如PASCALVOC数据集)，裁剪大小为225*225，若分辨率在二者之间，则先进行缩放到相近分辨率，再进行裁剪。将裁剪后所有图像集合记为X’；步骤1-2，将裁剪后的图像块进行归一化和中心化处理，首先计算裁剪后图像数据集合X’上每个像素的均值和标准差，设X’上的所有图像均值图像为标准差为std，对于一张特定图像x，对其进行归一化和中心化处理如下：x′为图像x处理后的图像；处理后图像中，有类标图像集合记为X0,无类标图像集合记为Y。步骤1-3，对于有类标图像，将其处理后图像集合X0和对应类标向量Z组成有类标训练数据(X0,Z)，Z＝{z1,z2,…,zn}，zi表示第i张图像类标。步骤1-4，对于无类标图像集合Y中的图像，进行破坏，加高斯噪声或将图像中像素值置为0，若裁剪后为低分辨率图像(分辨率小于50*50)，则采取加高斯噪声方法，若裁剪后为高分辨率图像(分辨率大于等于50*50)，则采取像素点置为0方法，置0的像素点为随机选取10个相邻的8*8区域，得到破坏后的无类标图像集X1，其与无类标图像集合Y组成无类标训练数据集合(X1,Y)。步骤2具体包括如下步骤：步骤2-1，设图像恢复网络总深度为D层，D为偶数，其中前D/2层使用卷积层，后D/2层使用反卷积层，卷积核大小为3x3，步长为1或2，每隔k层步长为1第k+1层步长为2，0<k<D/2-1，重复n次。k和n大小由网络深度和图像块大小决定：对于29*29低分辨率图像，k＝4，n＝3，对于225*225高分辨率图像，k＝2，n＝5，在每层卷积层和反卷积层之后添加BatchNormalization层和ReLU(RectifiedLinearUnit)非线性层，网络输入为步骤1中生成的破坏后的图像集合X1中图像，输出为网络恢复后图像。网络参数包括卷积层和反卷积层的权重W和偏置b，以及BatchNormalization层权重γ和偏置β。步骤2-2，每隔两层，在卷积层和反卷积层之间加入对称跨层连接：设COi表示第i层卷积层输出，DIi代表第i层反卷积层输入，DOi代表第i层反卷积层输出，则跨层连接表示为：DID-i+1＝DOD-i+COi，则DID+1为网络输出，CO0为网络输入，第一次跨层连接从输入层开始连接到输出层，网络最终层输入与无损图像集合Y中对应图像计算欧氏距离作为之后网络训练的损失函数其中Xi为图像集X1中第i张图像，Yi为图像集Y中第i张图像，为神经网络代表的函数，N为训练图像数量，θ为网络所有可训练参数，包括卷积层和反卷积层的权重W和偏置b，以及Batch本文档来自技高网...

【技术保护点】
1.基于带对称跨层连接的卷积神经网络半监督特征学习方法，其特征在于，包括如下步骤：步骤1，生成无类标和有类标数据集：采集有类标和无类标图像数据，对每张图像做随机裁剪和归一化处理，得到有类标图像集合X0和无类标图像集合Y，根据图像分辨率大小，对集合Y中图像进行不同的破坏，得到破坏后的无类标图像集X1，设Z为有类标图像类标向量，Z＝{z1,z2,…,zn}，zi表示第i张图像类标，i取值为1～n，则(X1,Y)组成用于非监督预训练的无类标训练数据集合，(X0,Z)作为有监督训练的有类标训练数据集合；步骤2，构建预训练图像恢复网络：根据输入图像大小构建图像恢复网络，设网络总深度为D层，D为偶数，其中前D/2层为卷积层，后D/2层为反卷积层，卷积核大小取为3x3，输入为步骤1中破坏后的图像集X1中的图像，输出为网络恢复后图像；步骤3，训练图像恢复网络：使用ADAM优化算法，采用步骤1得到的训练集(X1,Y)对步骤2所构建网络进行训练，以集合X1中受破坏图像作为输入，并以集合Y中对应的无损图像作为网络监督信息，训练后记录图像恢复网络前D/2层每一层权重W和偏置b；步骤4，构建有监督分类网络：以步骤2构建的图像恢复网络为模板，根据输入图像大小构建D/2层网络，均为卷积层，并加入Max‑pooling层和Softmax层，同时对卷积层参数使用步骤3中训练好网络对应权重W和偏置b进行初始化；步骤5，训练分类网络，将步骤4中构建并初始化的分类网络使用ADAM优化算法，在有类标图像数据上进行训练，直到算法收敛。...

【技术特征摘要】
1.基于带对称跨层连接的卷积神经网络半监督特征学习方法，其特征在于，包括如下步骤：步骤1，生成无类标和有类标数据集：采集有类标和无类标图像数据，对每张图像做随机裁剪和归一化处理，得到有类标图像集合X0和无类标图像集合Y，根据图像分辨率大小，对集合Y中图像进行不同的破坏，得到破坏后的无类标图像集X1，设Z为有类标图像类标向量，Z＝{z1,z2,…,zn}，zi表示第i张图像类标，i取值为1～n，则(X1,Y)组成用于非监督预训练的无类标训练数据集合，(X0,Z)作为有监督训练的有类标训练数据集合；步骤2，构建预训练图像恢复网络：根据输入图像大小构建图像恢复网络，设网络总深度为D层，D为偶数，其中前D/2层为卷积层，后D/2层为反卷积层，卷积核大小取为3x3，输入为步骤1中破坏后的图像集X1中的图像，输出为网络恢复后图像；步骤3，训练图像恢复网络：使用ADAM优化算法，采用步骤1得到的训练集(X1,Y)对步骤2所构建网络进行训练，以集合X1中受破坏图像作为输入，并以集合Y中对应的无损图像作为网络监督信息，训练后记录图像恢复网络前D/2层每一层权重W和偏置b；步骤4，构建有监督分类网络：以步骤2构建的图像恢复网络为模板，根据输入图像大小构建D/2层网络，均为卷积层，并加入Max-pooling层和Softmax层，同时对卷积层参数使用步骤3中训练好网络对应权重W和偏置b进行初始化；步骤5，训练分类网络，将步骤4中构建并初始化的分类网络使用ADAM优化算法，在有类标图像数据上进行训练，直到算法收敛。2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：步骤1-1，采集有类标和无类标图像数据，对每幅图像进行裁剪，采用随机裁剪的方式，得到大小相同的图像块，其中图像块大小取决于原始图像大小和模型大小，将裁剪后所有图像集合记为X’；步骤1-2，将裁剪后的图像块进行归一化和中心化处理，首先计算裁剪后图像数据集合X’上每个像素的均值和标准差，设X’上的所有图像均值图像为标准差为std，对于一张特定图像x，对其进行归一化和中心化处理如下：x′为图像x处理后的图像，在处理后的图像中，将有类标图像集合记为X0，无类标图像集合记为Y；步骤1-3，对于有类标图像，将其处理后图像集合X0和对应类标向量Z组成有类标训练数据(X0,Z)，Z＝{z1,z2,…,zn}，zi表示第i张图像类标；步骤1-4，对于无类标图像集合Y中的图像，进行破坏，加高斯噪声或将图像中像素值置为0，若裁剪后为低分辨率图像，则采取加高斯噪声方法，若裁剪后为高分辨率图像，则采取像素点置为0方法，置0的像素点为随机选取10个相邻的8*8区域，得到破坏后的无类标图像集X1，其与无类标图像集合Y组成无类标训练数据集合(X1,Y)。3.根据权利要求2所述的方法，其特征在于，步骤2包括如下步骤：步骤2-1，设图像恢复网络总深度为D层，D为偶数，其中前D/2层使用卷积层，后D/2层使用反卷积层，卷积核大小为3x3，步长为1或2，k层步长为1后，第k+1层步长为2，重复n次，k具体取值为0<k<D/2，根据实际训练图像大小调整k和n大小，若裁剪后为低分辨率图像，k＝4，n＝3；若裁剪后为高分辨率图...

【专利技术属性】
技术研发人员：杨育彬，董剑峰，毛晓蛟，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32