基于金字塔池化及长期记忆结构的神经网络模型训练方法技术

本发明专利技术提供了一种基于金字塔池化及长期记忆结构的神经网络模型训练方法，包括以下步骤：a、建立基于金字塔池化及长期记忆结构的神经网络模型,b、对模型进行预训练，c、对模型进行适配训练，d、对模型进行测试。本发明专利技术的方法中提出一种新的神经网络结构模型，该模型能提取并保存源领域样本图像中各个样本的特征信息，并针对该模型提出了预训练和适配训练，同时在源领域编码器

【技术实现步骤摘要】
基于金字塔池化及长期记忆结构的神经网络模型训练方法
本专利技术涉及一种图像分类
，具体地说是一种基于金字塔池化及长期记忆结构的神经网络模型训练方法。
技术介绍
在由计算机对图像进行自动分类的方法中，如今普遍使用的方法是机器学习方法。由人提供样本t图像数据，然后由训练算法训练一个模型对图像进行分类。机器学习模型的具体训练过程为：首先人工采集样本图像，并对样本图像进行类别标记，将每一个图像标记到正确的类别中，然后将所有样本图像分为训练集和测试集。训练算法使用训练集对模型进行训练，以期模型在未见到过的样本图像中达到最好的分类准确率。训练算法的效果，也就是模型的分类精度，通过将模型在测试集上对样本图像进行分类预测获得。模型在测试集上的分类正确率即为模型的泛化能力，测试集上分类正确率越高，则模型的泛化能力越强。目前，主流的图片分类模型为深度卷积神经网络模型(DCNN模型)，基于监督学习训练的深度卷积神经网络模型在一些任务上的表现已经可以超越人类的水平。DCNN模型通过对样本图像数据进行卷积以及非线性运算之后输出图片属于特定类别的概率。在使用DCNN模型进行图像分类的技术中，为提高模型的泛化能力，普遍采用的方法是正则化方法，主要可以分为三类：1、在训练算法的损失函数中添加正则化项，限制模型的复杂程度。2、通过调整神经网络结构，达到对模型正则化的目的。3、在数据预处理阶段进行数据增强，在原始数据分布的邻域内进行训练。以上三种方法全部都是针对于训练集与测试集分布一致情况下提高模型分类能力的方法。在这种方法中，都假设用于图像预测的模型，处理的全部是与训练数据的分布一致的图像。数据分布一致，可以宽泛的认为是控制训练集与测试集样本特征的隐变量相同。例如，同一个学生写的不同的字的图像，可以认为属于同一分布；不同学生写的相同的字，可以认为属于不同分布。更大范围地，一个学校的学生的字体图像可以认为与另一个学校的学生字体图像分布不同。但是DCNN模型的训练依赖于两个主要条件：一是需要有大量的图像样本标记数据参与训练，以防止模型过拟合；二是训练集数据与测试集数据必须满足独立同分布约束，即模型测试集的需要与训练集的数据的分布一致，才能得到较高的精度。然而在现实中，很难满足这两种条件，因此DCNN模型在处理图像数据量少、以及训练集数据与测试集数据数据的分布不同的情况下会出现分类精度较低的现象。
技术实现思路
本专利技术的目的就是提供一种基于金字塔池化及长期记忆结构的神经网络模型训练方法，以解决现有技术中因训练集与测试集数据的分布不同而导致分类精度低的问题。本专利技术是这样实现的：一种基于金字塔池化及长期记忆结构的神经网络模型训练方法，包括如下步骤：a、建立基于金字塔池化及长期记忆结构的神经网络模型，包括源领域编码器Ms、目标领域编码器Mt、类别分类器C和领域分类器D；所述源领域编码器Ms和所述目标领域编码器Mt的结构相同，其结构包括卷积神经网络结构层、金字塔池化层和长期记忆层；b、对模型进行预训练，将源领域图像数据输入源领域编码器Ms和类别分类器C内，依据分类损失函数计算分类损失，采用随机梯度下降算法更新源领域编码器Ms和类别分类器C的参数值，训练完成后得到源领域编码器Ms的参数值和类别分类器C的参数值θC，以及任务知识向量t*；c、对模型进行适配训练，初始化目标领域编码器Mt的参数为以及领域分类器D的参数值，将源领域图像数据通过已经训练好的源领域编码器Ms进行特征抽取，将目标领域图像数据通过目标领域编码器Mt进行特征抽取；然后源领域编码器Ms和目标领域编码器Mt采用相同的任务知识向量t*作为模型的输入参数，目标领域编码器Mt和领域分类器D通过交替随机梯度下降算法进行训练；目标领域编码器Mt和领域分类器D的参数值采用不同的损失函数计算梯度交替更新，训练完成后，可以得到目标领域的编码器Mt和领域分类器D的参数值；d、对模型进行测试，将目标领域图像数据输入到已经训练完成的目标领域编码器Mt获得编码特征向量Vt3，然后将该编码后的特征向量Vt3输入到在步骤b中已经预训练好参数的类别分类器C中，得到目标领域图像属于各个类别的预测概率。进一步地，本专利技术可以按如下技术方案实现：所述卷积神经网络结构层为卷积神经网络结构，图像经过卷积神经网络结构层输出图像的特征图；所述金字塔池化层是一个多级池化模块，将所述卷积神经网络结构层输出的特征图进行多个不同级别的池化操作，使得金字塔池化层的输出变为固定长度的特征向量；所述长期记忆层包括有遗忘门、输入门、输出门和记忆单元；所述遗忘门、输入门和输出门包括有可学习参数的线性变换和非线性激活函数，同时控制流入流出所述记忆单元的信息量；在所述记忆单元中保存了各个样本图像的特征信息，该特征信息为任务知识向量。所述源领域编码器Ms、目标领域编码器Mt、类别分类器C和领域分类器D的参数随机初始化。所述步骤b中，随机初始化源领域编码器Ms和类别分类器C的参数值，然后进行如下操作：b1、随机选择源领域的小批量样本图像及对应的类别标签作为训练集，将这些图像数据输入源领域编码器Ms进行特征抽取，得到特征向量Vs1及任务知识向量t*；b2、将得到的特征向量Vs1输入到类别分类器C中，由类别分类器C输出模型的分类损失，然后通过神经网络的误差反传算法计算神经网络中各个参数的梯度，并更新参数值；b3、重复上述步骤b1和b2，直到满足设定的循环次数终止条件。所述步骤c中，首先初始化源领域编码器Ms和目标领域编码器Mt的参数为预训练阶段的参数值随机初始化领域分类器D的参数值，初始化任务知识向量为预训练阶段的任务知识向量t*，然后进行如下操作：c1、随机选取小批量的源领域样本图像数据和等量的目标领域样本图像数据作为训练集，分别输入源领域编码器Ms和目标领域编码器Mt，得到源领域图像的特征向量Vs2和目标领域图像的特征向量Vt1，任务知识向量t*的值保持不变；将源领域图像的特征向量Vs2标记为正例，目标领域图像的特征向量Vt1标记为负例，同时输入领域分类器D，通过领域分类器D的神经网络前传算法输出目标领域图像属于正例及负例的概率和源领域图像属于正例及负例的概率；根据目标领域图像和源领域图像正例及负例标记，以及领域分类器D输出的概率，使用分类损失函数计算领域分类器D的分类损失，通过随机梯度下降算法更新领域分类器D的参数值；c2、随机选取小批量的目标领域样本图像数据，输入到目标领域编码器Mt中，获得目标领域图像特征向量Vt2；再将特征向量Vt2标记为正例，将特征向量Vt2输入到领域分类器D中，计算目标领域图像特征属于源领域图像特征的概率，依据分类损失函数计算分类损失，通过随机梯度下降算法更新目标领域编码器Mt的参数值；c3、重复上述步骤c1和步骤c2，直到满足设定的循环次数终止条件。所述步骤d中，随机选择小批量的目标领域样本图像数据作为测试集；将该图像数据输入到目标领域编码器Mt中进行特征提本文档来自技高网...

【技术保护点】
1.一种基于金字塔池化及长期记忆结构的神经网络模型训练方法，其特征是，包括如下步骤：/na、建立基于金字塔池化及长期记忆结构的神经网络模型，包括源领域编码器M

【技术特征摘要】
1.一种基于金字塔池化及长期记忆结构的神经网络模型训练方法，其特征是，包括如下步骤：
a、建立基于金字塔池化及长期记忆结构的神经网络模型，包括源领域编码器Ms、目标领域编码器Mt、类别分类器C和领域分类器D；所述源领域编码器Ms和所述目标领域编码器Mt的结构相同，其结构包括卷积神经网络结构层、金字塔池化层和长期记忆层；
b、对模型进行预训练，将源领域图像数据输入源领域编码器Ms和类别分类器C内，依据分类损失函数计算分类损失，采用随机梯度下降算法更新源领域编码器Ms和类别分类器C的参数值，训练完成后得到源领域编码器Ms的参数值和类别分类器C的参数值θC，以及任务知识向量t*；
c、对模型进行适配训练，初始化目标领域编码器Mt的参数为以及领域分类器D的参数值，将源领域图像数据通过已经训练好的源领域编码器Ms进行特征抽取，将目标领域图像数据通过目标领域编码器Mt进行特征抽取；然后源领域编码器Ms和目标领域编码器Mt采用相同的任务知识向量t*作为模型的输入参数，目标领域编码器Mt和领域分类器D通过交替随机梯度下降算法进行训练；目标领域编码器Mt和领域分类器D的参数值采用不同的损失函数计算梯度交替更新，训练完成后，可以得到目标领域的编码器Mt和领域分类器D的参数值；
d、对模型进行测试，将目标领域图像数据输入到已经训练完成的目标领域编码器Mt获得编码特征向量Vt3，然后将该编码后的特征向量Vt3输入到在步骤b中已经预训练好参数的类别分类器C中，得到目标领域图像属于各个类别的预测概率。


2.根据权利要求1所述的基于金字塔池化及长期记忆结构的神经网络模型的构建以及训练方法，其特征是，
所述卷积神经网络结构层为卷积神经网络结构，图像经过卷积神经网络结构层输出图像的特征图；
所述金字塔池化层是一个多级池化模块，将所述卷积神经网络结构层输出的特征图进行多个不同级别的池化操作，使得金字塔池化层的输出变为固定长度的特征向量；
所述长期记忆层包括有遗忘门、输入门、输出门和记忆单元；所述遗忘门、输入门和输出门包括有可学习参数的线性变换和非线性激活函数，同时控制流入流出所述记忆单元的信息量；在所述记忆单元中保存了各个样本图像的特征信息，该特征信息为任务知识向量。


3.根据权利要求1所述的基于金字塔池化及长期记忆结构的神经网络模型训练方法，其特征是，所述源领域编码器Ms、目标领域编码器Mt、类别分类器C和领域分类器D的参数随机初始化。


4.根据权利要求1、2或3所述的基于金字塔池化及长期记忆结构的神经网络模型训练方法，其特征是，所述步骤b中...

【专利技术属性】
技术研发人员：张峰，钱辉，花强，董春茹，
申请(专利权)人：河北大学，
类型：发明
国别省市：河北;13