一种基于知识重组的深度模型定制方法技术

一种基于知识重组的深度模型定制方法，包括：1)收集已有训练好的深度人脸属性识别模型，构建人脸属性识别模型库，将各类模型进行分组归类；2)根据当前对人脸属性识别的任务需求，将目标任务分解为一系列识别不同人脸属性的“组件任务”，并从深度模型库中选择相关的模型；3)对选中的人脸属性识别模型，进行知识过滤，将多个深度模型中，与“组件任务”相关的知识合并到“组件网络”中；4)对“组件网络”进行组合，得到最终的“目标网络”。本发明专利技术利用现有深度模型的知识，逐过程指导新模型的学习，有效减少对数据标注、数据量的依赖，降低训练新深度模型耗费的周期和资源。

【技术实现步骤摘要】
一种基于知识重组的深度模型定制方法
本专利技术属于在线个性化化妆品推荐模型定制领域，针对在线商品推荐领域中，不同化妆品需要识别不同类型的人脸属性来进行个性化推荐，为此需要重新设计并从头开始训练模型，存在模型获取代价大的问题。本专利技术提出了一种基于知识重组的人脸属性模型定制方法，利用现有的深度人脸属性识别模型来加快新的深度模型的开发。
技术介绍
随着深度学习的迅猛发展，网上出现了大量的预训练的深度模型。复用这些模型来定制新任务上的模型，可以有效降低重新训练模型的代价。已有的模型复用的相关工作主要包含两大类别：知识蒸馏和跨模态知识迁移。知识蒸馏的目的是通过一个教师-学生的架构，使得结构精简的学生网络模型能够去模拟原始的教师网络的输出，相关的研究集中在学生网络结构的设计和软标签的损失函数上。跨模态知识迁移则通过将特定模态下的知识转移到相似的场景中，例如可以通过训练好的教师网络引导学生网络从未标记的数据模态中进行学习作为对学生网络的预训练，再利用少量的标记数据进行模型调优。现有的技术方案的一些限制如下：(1)知识蒸馏在分类类别数较多时本文档来自技高网...

【技术保护点】
1.一种基于知识重组的深度模型定制方法，包含如下步骤：/n1)构建深度人脸属性识别模型库；/n从网络上收集大量训练好的人脸属性识别模型，对其进行分组归类，建立一套便于检索的人脸属性识别模型库系统；根据其按照不同类型的人脸属性、训练数据集、网络框架等信息，对深度模型进行分组归类，将这些网络称为“源网络”；/n2)分解目标人脸属性识别任务；/n根据当前人脸属性识别任务订制需求，将目标任务分解为一系列不同人脸属性识别的“组件任务”，并从人脸属性识别模型库中检索得到相关的深度模型；/n3)构建人脸属性识别“组件网络”；/n将包含多个识别人脸不同属性“组件任务”的“源网络”的中间结果与最终结果，通过特征...

【技术特征摘要】
1.一种基于知识重组的深度模型定制方法，包含如下步骤：
1)构建深度人脸属性识别模型库；
从网络上收集大量训练好的人脸属性识别模型，对其进行分组归类，建立一套便于检索的人脸属性识别模型库系统；根据其按照不同类型的人脸属性、训练数据集、网络框架等信息，对深度模型进行分组归类，将这些网络称为“源网络”；
2)分解目标人脸属性识别任务；
根据当前人脸属性识别任务订制需求，将目标任务分解为一系列不同人脸属性识别的“组件任务”，并从人脸属性识别模型库中检索得到相关的深度模型；
3)构建人脸属性识别“组件网络”；
将包含多个识别人脸不同属性“组件任务”的“源网络”的中间结果与最终结果，通过特征对齐模块进行特征过滤和特征对齐，实现多个“源网络”和对应“组件网络”之间的特征对齐，并且过滤得到“组件网络”需要的知识；
4)构建“目标网络”；
按照步骤3)中，从“源网络”到“组件网络”的知识重组方式，实现“组件网络”到“目标网络”的知识重组，最终得到目标任务所需的“目标网络”。


2.如权利要求1所述的一种基于知识重组的深度模型定制方法，其特征在于：步骤3)所述的特征过滤和特征对齐，具体包括：
采用了1×1的卷积操作，在特征图的通道维度进行加权求和，得到经过线性变换之后的特征:
<...

【专利技术属性】
技术研发人员：宋明黎，沈成超，薛梦琦，宋杰，孙立，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33