图像编码器训练方法及其装置、设备、介质、产品制造方法及图纸

本申请涉及一种图像编码器训练方法及其装置、设备、介质、产品，所述方法包括：获取网络架构相同而特征尺度大小不同的图像编码器，所述图像编码器包含多个串行设置的特征表示层，其中具有较大特征尺度的第一图像编码器作为教师模型，具有较小特征尺度的第二图像编码器作为学生模型；同步向所述教师模型和学生模型输入图像样本，确定所述教师模型和所述学生模型各组对应的特征表示层所提取的特征之间的平均损失值；确定所述学生模型输出的推理结果相对应的预测损失值，将其与所述平均损失值相融合获得所述图像样本相对应的模型损失值；根据所述模型损失值修正所述学生模型的权重。本申请优化了知识蒸馏过程，既实现模型压缩又保持了模型性能。持了模型性能。持了模型性能。

【技术实现步骤摘要】
图像编码器训练方法及其装置、设备、介质、产品


[0001]本申请涉及电商信息检索技术，尤其涉及一种图像编码器训练方法及其装置、设备、介质、产品。

技术介绍

[0002]随着科学技术的发展，通过拍照物体照片搜索相关商品的需求越来越大，例如用户用过买家秀
‑
卖家秀的商品检索进行商品购买、商家通过对热销商品拍照搜索拿到相应货源来进货等等。因此，商品图像的检索是至关重要的步骤,商品图像的理解识别是重中之重的核心环节。
[0003]理解图像的技术中，常采用深度学习模型来实施，深度学习模型具有较强的语义抽象理解能力，理论上深度学习模型中的神经网络层的层数越多或者网络结构越大，特征表示效果越好，图像检索性能越高，但是在实际部署过程中，由于算力资源的限制，过大规模的模型不利于上线，于是在模型规模和模型性能之间便形成一种矛盾。
[0004]现有技术中，借助知识蒸馏思想，能够实现对深度学习模型的规模压缩，在保持既定性能目标的情况下，不断压缩模型规模，寻找模型的一个平衡实例，以期克服所述的矛盾。传统的知识蒸馏技术，主要是利用教师模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像编码器训练方法，其特征在于，包括：获取网络架构相同而特征尺度大小不同的图像编码器，所述图像编码器包含多个串行设置的特征表示层，其中具有较大特征尺度的第一图像编码器已训练至收敛而构成知识蒸馏网络中的教师模型，具有较小特征尺度的第二图像编码器待训练而构成知识蒸馏网络中的学生模型；同步向所述教师模型和学生模型输入图像样本以供其中的特征表示层提取特征，确定所述教师模型和所述学生模型各组对应的特征表示层所提取的特征之间的平均损失值；确定所述学生模型输出的推理结果相对应的预测损失值，将其与所述平均损失值相融合获得所述图像样本相对应的模型损失值；在所述学生模型未达到收敛状态时，根据所述模型损失值修正所述学生模型的权重，然后迭代以上过程，调用其他图像样本同步输入所述教师模型和所述学生模型，直至将所述学生模型训练至收敛状态。2.根据权利要求1所述的图像编码器训练方法，其特征在于，确定所述教师模型和所述学生模型各组对应的特征表示层所提取的特征之间的平均损失值，包括：对所述学生模型的各个特征表示层所获得的特征表示进行尺度变换，将其变换至与所述教师模型的对应特征表示层所获得的特征表示保持相同特征尺度；基于每组特征表示层的特征表示，计算每组特征表示的对应特征之间的特征损失值，作为该组特征表示层相对应的特征损失值；将各组特征表示层的特征损失值求均值，获得全部多组特征表示层相对应的所述平均损失值。3.根据权利要求1所述的图像编码器训练方法，其特征在于，计算每组特征表示的对应特征之间的特征损失值，包括：基于多个池化步长分别将同一组特征表示中的每个特征表示进行平均池化，将每个特征表示压缩为多个步长相对应的多个特征图，每个特征图包括多个通道向量；基于池化步长、特征图、通道向量的对应关系，计算同一组特征表示的每两个对应的通道向量之间的数据距离；将同一组特征表示中的所有对应通道向量之间的数据距离求取均值作为该组特征表示相对应的特征损失值。4.根据权利要求1所述的图像编码器训练方法，其特征在于，确定所述学生模型输出的推理结果相对应的预测损失值，将其与所述平均损失值相融合获得所述图像样本相对应的模型损失值，包括：应用平滑损失函数，基于所述学生模型输出的推理结果，参考预设的图像特征库中多个商品图像的特征表示计算所述推理结果的平滑损失，作为所述学生模型的预测损失值，所述推理结果为所述学生模型中最后一个特征表示层的输出；将所述预测损失值与所述平均损失值进行加权融合，获得模型损失值。5.根据权利要求1至4中任意一项所述的图像编码器训练方法，其特征在于，直至将...

【专利技术属性】
技术研发人员：李保俊，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：