An unsupervised image recognition method based on parameter transfer learning belongs to the field of image recognition technology. The invention solves the problem that the traditional unsupervised image recognition method needs a large number of unlabeled samples and a long training time caused by a large number of unlabeled samples. The method of the invention directly transfers and learns the parameters of the recognition model, and only needs labeled samples in the auxiliary field and a small number of unlabeled samples in the application field to train the recognition model. The method of the invention overcomes the problem of large number of unlabeled samples required by the traditional unsupervised image recognition method, reduces the dependence on labeled samples, and solves the problem of unsupervised identification. It improves the learning efficiency of the model and is more suitable for large-scale application scenarios. The invention can be applied to the field of image recognition technology.
【技术实现步骤摘要】
一种基于参数迁移学习的无监督图像识别方法
本专利技术属于图像识别
，具体涉及一种无监督图像识别方法。
技术介绍
图像识别，是一种从静态图像或动态视频中检测出感兴趣目标的技术。有效的图像识别方法是实现目标跟踪、场景解析、环境感知等智能识别任务的前提和基础。在实际生活中，图像识别技术有十分广泛的应用，如自动驾驶领域的行人/车辆检测技术、安防领域的人脸识别技术等，都是以图像识别为基础而实现的。目前的图像识别技术大多是基于机器学习理论设计实现的，主要方法是从应用场景中采集含有类别标签的图像样本，对识别模型进行训练，使模型从样本中学习到有用的特征，并能够依据这些特征进行识别。但是，当应用领域无法采集到足够的标签样本时，基于机器学习的图像识别方法将无法进行训练。这是无监督图像识别所面临的主要问题。目前的主要解决方案是利用迁移学习，使用含有大量标签样本的辅助领域和只含有无标签样本的应用领域同时训练识别模型，将模型从辅助领域学习到的知识迁移到应用领域，以提高模型的识别效果。然而，这一方法要求应用领域能够提供的无标签样本的数量较大，且模型的训练时间与样本数量直接相关，大量的无...
【技术保护点】
1.一种基于参数迁移学习的无监督图像识别方法，其特征在于，该方法包括以下步骤：步骤一、从辅助领域采集含有类别标签的图像，构成辅助域图像集Xs；从应用领域采集无类别标签的图像，构成应用域图像集Xt；步骤二、构建两个结构相同的卷积神经网络，将两个结构相同的卷积神经网络分别作为辅助域网络和应用域网络，其中：辅助域网络记为Ns，应用域网络记为Nt；步骤三、利用辅助域图像集Xs训练辅助域网络Ns，辅助域网络Ns的所有层的学习率lr均设置为非零值；使用交叉熵e来度量预测误差：e＝‑yrs×logyps其中，yrs为待测试图像的真实类别，yps为辅助域网络Ns的预测输出；直至预测误差不再...
【技术特征摘要】
1.一种基于参数迁移学习的无监督图像识别方法，其特征在于，该方法包括以下步骤：步骤一、从辅助领域采集含有类别标签的图像，构成辅助域图像集Xs；从应用领域采集无类别标签的图像，构成应用域图像集Xt；步骤二、构建两个结构相同的卷积神经网络，将两个结构相同的卷积神经网络分别作为辅助域网络和应用域网络，其中：辅助域网络记为Ns，应用域网络记为Nt；步骤三、利用辅助域图像集Xs训练辅助域网络Ns，辅助域网络Ns的所有层的学习率lr均设置为非零值；使用交叉熵e来度量预测误差：e＝-yrs×logyps其中，yrs为待测试图像的真实类别，yps为辅助域网络Ns的预测输出；直至预测误差不再减小时停止训练，得到训练好的辅助域网络Ns；步骤四、依次将辅助域图像集Xs和应用域图像集Xt输入到训练好的辅助域网络Ns中，分别得到两个图像集在辅助域网络Ns每一层的输出特征集合和其中：k＝1,2,…,n，n为辅助域网络Ns的总层数，为辅助域图像集Xs在辅助域网络Ns每一层的输出特征集合，为应用域图像集Xt在辅助域网络Ns每一层的输出特征集合；步骤五、利用最大均值差异方法度量辅助域图像集Xs和应用域图像集Xt在辅助域网络Ns的每一层输出特征的相似度dsim；并筛选出最低的相似度对应的层，记录最低的相似度对应层的序号lsim；步骤六、将训练好的辅助域网络Ns中所有层的参数对应地复制到应用域网络Nt中后，将应用域网络Nt的第lsim层的学习率设为非零值、除第lsim层外的其他所有层的学习率均设为零值；利用应用域图像集Xt训练应用域网络Nt，训练过程中分别提取出辅助域网络Ns和应用域网络Nt的第lsim层的参数矩阵，并对提取出的参数矩阵进行PCA降维，且训练时保持辅助域网络Ns第lsim层的降维后参数矩阵与应用域网络Nt第lsim层的降维后参数矩阵的距离最小；直至应用域网络Nt的输出信息熵不再减小时停止训练，得到训练好的应用域网络Nt；步骤七、利用训练好的应用域网络Nt对应用领域的图像进行识别，得到识别结果。2.根据权利要求1所述的一种基于参数迁移学习的无监督图像识别方法，其特征在于，所述步骤一的具体过程为：从辅助领域采集含有类别标签的图像，构成辅助域图像集Xs；从应用领域采集无类别标签的图像，构成应用域图像集Xt；其中：应用域图像集Xt中图像样本数量为辅助域图像集Xs中图像样本数量的十分之一；将辅助域图像集Xs与应用域图像集Xt中的所有图像缩放到相同的尺寸。3.根据权利要求1所述的一种基于参数迁移学习的无监督图像识别方法，其特征在于，所述步骤二的具体过程为：构建两个结构相同的卷积神经网络，将两个结构相同的卷积神经网络分别作为辅助域网络和应用域网络，其中：辅助域网络记为Ns，应用域网络记为Nt；每个卷积神经网络包括五层卷积层和三层全连接层，其中：全连接层的位于卷积层之后；在全连接层之后为图像分类器，图像分类器共有C个分支，其中：C代表能够识别的图像类别总数；且图像分类器第i个分支的输出yi表示为：其中：p(xi)为像素矩阵xi的输出概率，p(xj)为像素矩阵xj的输出概率。4.根据权利要求1所述的一种基于参数迁移学习的无监督图像识别方法，其特征在于，所述步骤五的具体过程为：利用最大均值差异方法度量辅助图像集Xs和应用图像集Xt在辅助域网络Ns的每一层输出特征的相似度dsim：其中：ms和mt分别为辅助域图像集和应用域图像集中图像样本总数，k(xi,xj)为高斯核函数；xi和xj分别为第i个图像和第j个图像的像素矩阵；并筛选出最低的相似度对应的层，记录最低的相似度对应的层的序号lsim。5.根据权利要求1所述的一种基于参数迁移学习的无监督图像识别方法，其特征在于，所述步骤六的具体过程为：将训练好的辅助域网络Ns中所有层的参数对应地复制到应用域网络Nt中后，将应用域网络Nt的第lsim层的学习率设为非零值、除第lsim层外的其他所有层的学习率均设为零值；利用应用域图像集Xt训练应用域网络Nt，训练过程中分别提取出辅助域网络Ns的第lsim层的参数矩阵Ws和应用域网络Nt的第lsim层的参数矩阵Wt，对辅助域网络Ns的第lsim层的参数矩阵Ws进行PCA降维得到降维后的参数矩阵Ws′，对应用域网络Nt的第lsim层的参数矩阵Wt进行PCA降维得到降维后的参数矩阵Wt′；训练过程中，利用欧式距离度量参数矩阵Ws′和参数矩阵Wt′之间的差异，使参数矩阵Ws′和参数矩阵Wt′之间的距离始终保持最小，即始终保持最小，其中：代表2范数；当应用域网络Nt的输出信息熵不再减小时停止训练，得到训练好的应用域网络Nt；应用域网络Nt的输出信息熵的表达式为：e1＝-ypt×logypt其中：e1代表应用域网络Nt的输出信息熵，ypt代表应用域网络Nt的...
【专利技术属性】
技术研发人员：杨春玲，陈宇，张岩，李雨泽，朱敏，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。