一种轻量模型快速增量重构方法及系统技术方案

本发明专利技术涉及一种轻量模型快速增量重构方法及系统，方法包括以下步骤：建立用于处理第一类任务的第一神经网络模型；对第一神经网络模型进行增量重构得到第二神经网络模型；利用第二类任务训练第二神经网络模型；在训练过程中通过对抗训练和迁移学习，实现第一类任务和第二类任务之间的语义特征迁移；利用训练后的第二神经网络模型处理第一类任务和第二类任务；当输入为第二类任务时，提取第二类语义特征，依据第二类语义特征执行第二类任务；当输入为第一类任务时，提取到第二类语义特征，再进行特征迁移得到第一类语义特征，依据第一类语义特征执行第一类任务。本发明专利技术实现了在边缘设备上快速重构模型，既保留旧任务又适应新任务。

【技术实现步骤摘要】
一种轻量模型快速增量重构方法及系统
本专利技术涉及深度学习
，尤其一种轻量模型快速增量重构方法及系统。
技术介绍
深度学习的结构一旦确定，在训练过程中很难调整。神经网络的结构直接决定学习模型的容量。固定结构的神经网络意味着模型的容量也是有限的，在容量有限的情况下，神经网络为了学习一个新的任务，就必须擦除旧有的知识，这就出现了灾难性遗忘。所谓的灾难性遗忘：即学习了新的知识之后，几乎彻底遗忘掉之前习得的内容。它使得人工智能体缺乏像生物一样不断适应环境以及增量式(持续)学习的能力。Dropout可以有效降低灾难性遗忘现象。使用dropout之后信息会更平均分配在不同的神经元之中，在新数据上微调之后，不会出现由于某一个特定的神经元被更改而使整个模型性能急剧下降。知识蒸馏的思想可以辅助网络抵抗灾难性遗忘。使用旧模型作为教师网络，利用教师网络输出的softensoftmax对新任务中的样本进行约束，即使新任务与旧任务的类别定义不尽相同，但是这样的约束仍然可以在训练新样本的同时保持旧任务的性能。弹性权重固化借鉴了生物体内的记忆存本文档来自技高网...

【技术保护点】
1.一种轻量模型快速增量重构方法，其特征在于，包括以下步骤：/n步骤S1、建立用于处理第一类任务的第一神经网络模型；所述第一神经网络模型提取输入的第一类任务的第一类语义特征，并依据第一类语义特征执行第一类任务；/n步骤S2、对第一神经网络模型进行增量重构得到用于处理第一类任务和第二类任务的第二神经网络模型；/n步骤S3、利用第二类任务训练第二神经网络模型；在训练过程中通过对抗训练和迁移学习，实现第一类任务和第二类任务之间的语义特征迁移；/n步骤S4、利用训练后的第二神经网络模型处理第一类任务和第二类任务；当输入为第二类任务时，提取第二类语义特征，依据第二类语义特征执行第二类任务；当输入为第一类...

【技术特征摘要】
1.一种轻量模型快速增量重构方法，其特征在于，包括以下步骤：
步骤S1、建立用于处理第一类任务的第一神经网络模型；所述第一神经网络模型提取输入的第一类任务的第一类语义特征，并依据第一类语义特征执行第一类任务；
步骤S2、对第一神经网络模型进行增量重构得到用于处理第一类任务和第二类任务的第二神经网络模型；
步骤S3、利用第二类任务训练第二神经网络模型；在训练过程中通过对抗训练和迁移学习，实现第一类任务和第二类任务之间的语义特征迁移；
步骤S4、利用训练后的第二神经网络模型处理第一类任务和第二类任务；当输入为第二类任务时，提取第二类语义特征，依据第二类语义特征执行第二类任务；当输入为第一类任务时，提取到第二类语义特征，再进行特征迁移得到第一类语义特征，依据第一类语义特征执行第一类任务。


2.根据权利要求1所述的轻量模型快速增量重构方法，其特征在于，
所述第一神经网络模型包括任务共享模块和第一任务模块；
利用第一类任务训练所述第一神经网络模型；在训练中，
所述任务共享模块学习提取输入的第一类任务的第一类语义特征，得到第一类任务共享参数；
所述第一任务模块学习依据第一类语义特征执行第一类任务，得到第一任务执行参数。


3.根据权利要求2所述的轻量模型快速增量重构方法，其特征在于，
所述任务共享模块，包括残缺结构和特征层堆叠结构；通过对输入任务进行包括多层卷积、池化、BatchNormalization和非线性函数在内的操作，得到任务的卷积特征，用于输出任务的语义特征。


4.根据权利要求3所述的轻量模型快速增量重构方法，其特征在于，
所述任务共享模块为去除最后一个全连接层的残差网络ResNet18；包含17个卷积层，非线性函数使用ReLU，最后经过全局池化提取特征向量作为任务共享模块的输出向量。


5.根据权利要求2所述的轻量模型快速增量重构方法，其特征在于，
所述增量重构后的第二神经网络模型，在保留第一神经网络模型的基础上，增加第一迁移模块、第一任务判别模块和第二任务模块；
所述第二神经网络模型训练过程中，
所述任务共享模块学习提取输入的第二类任务的第二类语义特征，得到第二类任务共享参数；同时保留重构前第一类任务共享参数，并使用第一类任务共享参数提取输入的第二类任务的第一类语义特征；
所述第二任务模块学习依据第二类语义特征执行第二类任务，得到第二任务执行参数；
所述第一迁移模块学习将第二类语义特征向第一语义特征迁移得到迁移的第一语义特征；
所述第一任务判别模块，用于判别第二类任务的第一类语义特征与迁移的第一特征语义特征的类型。


6.根据权利要求5所述的轻量模型快速增量重构方法，其特征在于，第二神经网络模型训练中的对抗训练过程包括：
第一任务判别模块学习区分输入的特征是第二类任务的第一类语义特征还是迁移的第一特征语义...

【专利技术属性】
技术研发人员：张志，李娜，王晶，路晓男，谭礼晋，王日冬，杨丽萍，余博，朱宇涛，姚梁希，时鸽，李超，
申请(专利权)人：中国人民解放军九三一一四部队，
类型：发明
国别省市：北京;11