计算机视觉CV模型训练方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了一种计算机视觉CV模型训练方法、装置、电子设备和存储介质，所述方法包括：获取第一CV模型提取的训练图像的第一视觉特征，获取第二CV模型提取的训练图像的第二视觉特征；对各训练图像的第一视觉特征和第二视觉特征分别进行拆解，得到第一视觉特征的第一拆解特征和第二视觉特征的第二拆解特征；根据第一拆解特征生成表征训练图像间关系的监督信号，根据第二拆解特征生成表征图像间关系的学习信号；根据监督信号和学习信号确定第二CV模型的训练损失值，根据训练损失值对第二CV模型的参数进行优化。本申请可以得到更多监督信号，提高模型拟合效果，同时可以学到图像间更重要的关系，避免了一些不具有判别力的图像关系对模型精度的影响。

【技术实现步骤摘要】
计算机视觉CV模型训练方法、装置、电子设备和存储介质
本申请涉及计算机视觉
，具体涉及一种计算机视觉CV模型训练方法、装置、电子设备和存储介质。
技术介绍
知识蒸馏(KnowledgeDistillation，简称KD)在近些年来的计算机视觉任务中取得了较大的突破，该方法将大模型的输出作为知识，让一个更小的模型去学习，从而可以得到一个精度高同时模型较小、速度较快的模型。主流的知识蒸馏主要让小模型去拟合大模型的输出分布，从而使得结果接近大模型，最早是Hinton在ICLR(InternationalConferenceonLearningRepresentations，国际学习表征会议)2015会议上提出，而最近研究者也有提出基于关系的知识蒸馏，即通过构造样本对之间的关系，让小模型去学习，可以进一步提升性能。假设样本为n，基于分布的蒸馏只能得到O(n)级别的监督信号，而基于关系的蒸馏可以得到O(n2)级别的监督信号，从而使得小模型更好地拟合大模型的输出。目前基于关系的知识蒸馏方法主要有CVPR(IEEEConferenceonCompute本文档来自技高网...

【技术保护点】
1.一种计算机视觉CV模型训练方法，其特征在于，包括：/n获取第一CV模型提取的训练图像的第一视觉特征，以及获取第二CV模型提取的所述训练图像的第二视觉特征；/n对各训练图像的第一视觉特征和第二视觉特征分别进行拆解，得到第一视觉特征在多个子空间内的第一拆解特征和第二视觉特征在多个子空间内的第二拆解特征；/n根据所述第一拆解特征生成表征训练图像间关系的监督信号，以及根据所述第二拆解特征生成表征训练图像间关系的学习信号；/n根据所述监督信号和所述学习信号确定第二CV模型的训练损失值，根据所述训练损失值对所述第二CV模型的参数进行优化。/n

【技术特征摘要】
1.一种计算机视觉CV模型训练方法，其特征在于，包括：
获取第一CV模型提取的训练图像的第一视觉特征，以及获取第二CV模型提取的所述训练图像的第二视觉特征；
对各训练图像的第一视觉特征和第二视觉特征分别进行拆解，得到第一视觉特征在多个子空间内的第一拆解特征和第二视觉特征在多个子空间内的第二拆解特征；
根据所述第一拆解特征生成表征训练图像间关系的监督信号，以及根据所述第二拆解特征生成表征训练图像间关系的学习信号；
根据所述监督信号和所述学习信号确定第二CV模型的训练损失值，根据所述训练损失值对所述第二CV模型的参数进行优化。


2.根据权利要求1所述的计算机视觉CV模型训练方法，其特征在于，所述对各训练图像的第一视觉特征和第二视觉特征分别进行拆解包括：
确定与通道维度对应的多个子空间，将所述第一视觉特征和所述第二视觉特征分别拆解到各子空间中。


3.根据权利要求1所述的计算机视觉CV模型训练方法，其特征在于，所述根据所述第一拆解特征生成表征训练图像间关系的监督信号，以及根据所述第二拆解特征生成表征训练图像间关系的学习信号包括：
根据所述第一拆解特征生成初始监督信号，以及根据第二拆解特征生成初始学习信号；
根据图神经网络对所述初始监督信号和所述初始学习信号分别进行调整，得到调整监督信号和调整学习信号。


4.根据权利要求3所述的计算机视觉CV模型训练方法，其特征在于，所述根据所述第一拆解特征生成初始监督信号，以及根据第二拆解特征生成初始学习信号包括：
根据子空间中各训练图像的第一拆解特征，确定各训练图像之间的第一余弦相似度，以及根据子空间中各训练图像的第二拆解特征确定各训练图像之间的第二余弦相似度；
根据所述第一余弦相似度确定所述初始监督信号，以及根据所述第二余弦相似度确定所述初始学习信号。


5.根据权利要求4所述的计算机视觉CV模型训练方法，其特征在于，所述初始监督信号为根据所述第一余弦相似度确定的第...

【专利技术属性】
技术研发人员：赖申其，柴振华，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11