深度神经网络的持续学习框架及持续学习方法技术

本发明专利技术实施例提供一种深度神经网络的持续学习框架及持续学习方法，其中持续学习框架包括：条件生成器网络，用于生成与当前任务的训练数据同类别的生成数据，并在训练时为当前任务分配特定的参数子空间；判别器网络，用于监督生成数据的生成过程，以使生成数据逐渐逼近旧任务的训练数据，并将逼近的生成数据作为旧任务的等效训练数据；分类器网络，包括独立分类器网络和判别器网络带有的辅助分类器网络，用于利用权重巩固机制，选择性的保持编码旧任务的参数，并利用当前任务的训练数据和旧任务的等效训练数据，持续性的更新并联合训练当前任务。本发明专利技术实施例能够有效缓解持续学习过程中对旧任务的灾难性遗忘，提升持续学习能力。

Continuous learning framework and method of deep neural network

【技术实现步骤摘要】
深度神经网络的持续学习框架及持续学习方法
本专利技术涉及人工智能
，更具体地，涉及一种深度神经网络的持续学习框架及持续学习方法。
技术介绍
获得持续学习新信息的能力是深度神经网络面临的基本挑战之一，因为从动态分布的数据中连续获取信息通常会导致灾难性遗忘。也就是说，在学习新任务的过程中，深度神经网络往往会调整在旧任务中所学到的参数，从而导致灾难性的遗忘执行旧任务的能力。根据持续学习的设定，深度神经网络所学习的任务数目是持续增加的，每个任务的训练数据在该任务训练完成后便无法再次获取。解决持续学习任务这一问题常采用生成重演的方法，即：在学习每个任务时，利用深度生成模型对训练数据建模，生成近似于训练数据的生成数据，并在学习新任务时用旧任务的生成数据和新任务的训练数据联合训练任务求解器网络。然而，生成重演的方法实际上并没有直接解决灾难性遗忘的问题，而是把持续学习问题从任务求解器网络转移到了生成网络。在持续学习的设定下，深度生成模型难以生成大量复杂的数据类别，旧任务的生成数据和新任务的训练数据之间的差异将导致任务求解器网络产生对旧任务的灾难性遗忘。因此，可以从以下两方面入手，通过生成重演框架来提升任务求解器网络在持续学习问题上的性能，即：持续学习生成新类别的数据，缓解生成器网络的灾难性遗忘；在任务求解器网络中保留旧任务训练数据的信息，缓解生成数据和训练数据的差异造成的性能下降。基于此，现有技术提出了一种利用动态扩张网络和注意力机制来缓解生成器网络灾难性遗忘的方法，该方法在简单的图片数据集上(如MNIST和SVHN)能持续学习生成特定类别的图片。但是，采用该方法仍然存在上述无法生成大量类别的复杂数据的问题，且该方法使用辅助分类器生成对抗网络作为基本架构，判别器网络和辅助分类器共享除输出层外的其他各层网络，在持续学习的设定下，这种结构存在无法同时达到最优的问题，因而在较复杂的图片数据集上表现不佳。
技术实现思路
为了克服上述问题或者至少部分地解决上述问题，本专利技术实施例提供一种深度神经网络的持续学习框架及持续学习方法，用以在较复杂的数据集上，仍能有效缓解生成数据和训练数据间的差异造成的持续学习过程中对旧任务的灾难性遗忘，提升持续学习能力。第一方面，本专利技术实施例提供一种深度神经网络的持续学习框架，包括：条件生成器网络，用于根据给定隐藏变量，生成与当前任务的训练数据同类别的生成数据，并在训练所述当前任务时，为所述当前任务分配特定于所述当前任务的参数子空间；判别器网络，用于监督所述条件生成器网络生成所述生成数据的过程，以使所述生成数据逐渐逼近所述当前任务之前旧任务的训练数据，并将逼近的生成数据作为所述旧任务的等效训练数据；分类器网络，包括独立分类器网络和所述判别器网络带有的辅助分类器网络，用于利用权重巩固机制，选择性的保持编码所述旧任务的参数，并利用所述当前任务的训练数据和生成的所述旧任务的等效训练数据，持续性的更新并联合训练所述当前任务。其中可选的，所述条件生成器网络采用的是动态扩张网络与注意力机制结合的网络结构，具体用于：在训练所述当前任务时，利用注意力机制，通过分别对所述当前任务使用的网络参数和未使用的网络参数赋予注意力权重，为所述当前任务分配所述参数子空间，并利用动态扩张网络，根据所述当前任务使用的网络参数的数目，在所述条件生成器网络中的各层扩张神经元。其中可选的，所述独立分类器网络和所述辅助分类器网络的损失函数中均含有一额外的正则化权重保护项，所述正则化权重保护项为所述当前任务与所述旧任务的参数差的二次方乘以所述当前任务和所述旧任务的各参数与所述旧任务的关联性的乘积；所述利用权重巩固机制，选择性的保持编码所述旧任务的参数具体包括：基于所述正则化权重保护项，在训练所述当前任务时，保持所述旧任务的参数，选择性更新所述当前任务的参数。其中可选的，所述独立分类器网络采用的损失函数如下：式中，LC(θC)为独立分类器网络的损失函数，为在联合训练数据集S′上辅助分类器网络的分类结果与独立分类器网络的分类结果的交叉熵损失，为正则化权重保护项，FC,i为所述当前任务和所述旧任务的各参数与所述旧任务的关联性，通过在损失函数LC(θC)上叠加第二交叉熵损失得到，所述第二交叉熵损失为所述联合训练数据集S′上所述独立分类器网络的分类结果与训练数据的真实标记yC的交叉熵损失。其中可选的，所述辅助分类器网络采用的损失函数如下：式中，LD′(θD′)为辅助分类器网络的损失函数，为在联合训练数据集S′上辅助分类器网络的分类结果与训练数据的真实标记yC的交叉熵损失，为正则化权重保护项，FD′,i为所述当前任务和所述旧任务的各参数与所述旧任务的关联性，通过计算损失函数LD′(θD′)的Fisher信息矩阵得到。其中可选的，所述判别器网络监督所述条件生成器网络生成所述生成数据的过程具体包括：获取所述当前任务的当前数据，并在判别所述当前数据为所述条件生成器网络生成的所述生成数据时，通过判别所述生成数据与所述旧任务的训练数据的接近程度，优化调整所述条件生成器网络的网络参数，以使所述条件生成器网络生成的数据逐渐逼近所述旧任务的训练数据。其中可选的，所述判别器网络采用WGAN-GP的稳定训练过程，损失函数如下：式中，LD(θD)为所述判别器网络的损失函数，分别为所述旧任务的等效训练数据的判别损失和所述生成数据的判别损失，c为所述生成数据的标记，在所述旧任务的生成类别上服从均一分布pc，z为随机噪声，服从标准正态分布pz，为WGAN-GP的梯度惩罚项。其中可选的，所述条件生成器网络采用的损失函数如下：式中，LG(θG)为所述条件生成器网络的损失函数，为所述生成数据的判别损失，为所述生成数据的分类损失，c为所述生成数据的标记，在所述旧任务的生成类别上服从均一分布pc，z为随机噪声，服从标准正态分布pz，RM为所述注意力权重的稀疏正则化项，用于对当前任务t的l层各参数的注意力权重进行约束，且第二方面，本专利技术实施例提供一种基于如上述第一方面所述的深度神经网络的持续学习框架的深度神经网络持续学习方法，包括：利用所述条件生成器网络，根据给定隐藏变量，生成与当前任务的训练数据同类别的生成数据，并在训练所述当前任务时，为所述当前任务分配特定于所述当前任务的参数子空间；利用所述判别器网络，监督所述条件生成器网络生成所述生成数据的过程，使所述生成数据逐渐逼近所述当前任务之前旧任务的训练数据，并将逼近的生成数据作为所述旧任务的等效训练数据；将所述当前任务之前各旧任务的等效训练数据与所述当前任务的训练数据进行连接并混合，作为所述当前任务的联合训练数据集；持续性更新所述当前任务和所述联合训练数据集，并利用所述联合训练数据集，持续性训练所述当前任务，同时在训练过程中，利用所述分类器网络，采用权重巩固机制，选择性的保持编码所述旧任务的参数。第三方面，本专利技术实施例提供一种图本文档来自技高网...

【技术保护点】
1.一种深度神经网络的持续学习框架，其特征在于，包括：/n条件生成器网络，用于根据给定隐藏变量，生成与当前任务的训练数据同类别的生成数据，并在训练所述当前任务时，为所述当前任务分配特定于所述当前任务的参数子空间；/n判别器网络，用于监督所述条件生成器网络生成所述生成数据的过程，以使所述生成数据逐渐逼近所述当前任务之前旧任务的训练数据，并将逼近的生成数据作为所述旧任务的等效训练数据；/n分类器网络，包括独立分类器网络和所述判别器网络带有的辅助分类器网络，用于利用权重巩固机制，选择性的保持编码所述旧任务的参数，并利用所述当前任务的训练数据和生成的所述旧任务的等效训练数据，持续性的更新并联合训练所述当前任务。/n

【技术特征摘要】
1.一种深度神经网络的持续学习框架，其特征在于，包括：
条件生成器网络，用于根据给定隐藏变量，生成与当前任务的训练数据同类别的生成数据，并在训练所述当前任务时，为所述当前任务分配特定于所述当前任务的参数子空间；
判别器网络，用于监督所述条件生成器网络生成所述生成数据的过程，以使所述生成数据逐渐逼近所述当前任务之前旧任务的训练数据，并将逼近的生成数据作为所述旧任务的等效训练数据；
分类器网络，包括独立分类器网络和所述判别器网络带有的辅助分类器网络，用于利用权重巩固机制，选择性的保持编码所述旧任务的参数，并利用所述当前任务的训练数据和生成的所述旧任务的等效训练数据，持续性的更新并联合训练所述当前任务。


2.根据权利要求1所述的深度神经网络的持续学习框架，其特征在于，所述条件生成器网络采用的是动态扩张网络与注意力机制结合的网络结构，具体用于：
在训练所述当前任务时，利用注意力机制，通过分别对所述当前任务使用的网络参数和未使用的网络参数赋予注意力权重，为所述当前任务分配所述参数子空间，并利用动态扩张网络，根据所述当前任务使用的网络参数的数目，在所述条件生成器网络中的各层扩张神经元。


3.根据权利要求1或2所述的深度神经网络的持续学习框架，其特征在于，所述独立分类器网络和所述辅助分类器网络的损失函数中均含有一额外的正则化权重保护项，所述正则化权重保护项为所述当前任务与所述旧任务的参数差的二次方乘以所述当前任务和所述旧任务的各参数与所述旧任务的关联性的乘积；
所述利用权重巩固机制，选择性的保持编码所述旧任务的参数具体包括：基于所述正则化权重保护项，在训练所述当前任务时，保持所述旧任务的参数，选择性更新所述当前任务的参数。


4.根据权利要求3所述的深度神经网络的持续学习框架，其特征在于，所述独立分类器网络采用的损失函数如下：



式中，LC(θC)为独立分类器网络的损失函数，为在联合训练数据集S′上辅助分类器网络的分类结果与独立分类器网络的分类结果的交叉熵损失，为正则化权重保护项，FC,i为所述当前任务和所述旧任务的各参数与所述旧任务的关联性，通过在损失函数LC(θC)上叠加第二交叉熵损失得到，所述第二交叉熵损失为所述联合训练数据集S′上所述独立分类器网络的分类结果与训练数据的真实标记yC的交叉熵损失。


5.根据权利要求3所述的深度神经网络的持续学习框架，其特征在于，所述辅助分类器网络采用的损失函数如下：



式中，LD′(θD′)为辅助分类器网络的损失函数，为在联合训练数据集S′上辅助分类器网络的分类结果与训练数据的真实标记yC的交叉熵损失，为正则化权重保护项，FD′,i为所述当前任务和所述旧任务的各参...

【专利技术属性】
技术研发人员：朱军，钟毅，王立元，李乾，苏航，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11