图像处理模型的训练方法、图像处理方法和装置制造方法及图纸

本公开提供了一种图像处理模型的训练方法，涉及人工智能、深度学习、计算机视觉和图像处理技术领域。具体实现方案为：根据预训练模型的参数初始化多个待训练模块中的至少一个待训练模块的参数，得到待训练模型；将样本图像分别输入预训练模型和待训练模型，得到预训练模型的第一输出和待训练模型的第二输出；根据第一输出和第二输出，确定待训练模型的损失；以及根据损失，调整多个待训练模块中除至少一个待训练模块以外的其余待训练模块的参数，并返回将样本图像分别输入预训练模型和待训练模型的步骤，直至待训练模型符合预设条件，得到经训练的图像处理模型。本公开还提供了一种图像处理方法、装置、电子设备和存储介质。质。质。

【技术实现步骤摘要】
图像处理模型的训练方法、图像处理方法和装置


[0001]本公开涉及人工智能
，尤其涉及深度学习、计算机视觉和图像处理
更具体地，本公开提供了一种图像处理模型的训练方法、图像处理方法、装置、电子设备和存储介质。

技术介绍

[0002]知识蒸馏是一种常用的模型压缩方法。基于知识蒸馏的模型训练方法是指使用精度较高的大模型的训练结果去指导小模型的训练过程，从而使得小模型也能获得与大模型相似的精度指标，达到模型压缩的效果。

技术实现思路

[0003]本公开提供了一种图像处理模型的训练方法、图像处理方法、装置、电子设备和存储介质。
[0004]根据第一方面，提供了一种图像处理模型的训练方法，图像处理模型包括多个待训练模块；该方法包括：根据预训练模型的参数初始化多个待训练模块中的至少一个待训练模块的参数，得到待训练模型；将样本图像分别输入预训练模型和待训练模型，得到预训练模型的第一输出和待训练模型的第二输出；根据第一输出和第二输出，确定待训练模型的损失；以及根据损失，调整多个待训练模块中除至少一个待训练模块以外的其余待训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理模型的训练方法，所述图像处理模型包括多个待训练模块；所述方法包括：根据预训练模型的参数初始化所述多个待训练模块中的至少一个待训练模块的参数，得到待训练模型；将样本图像分别输入所述预训练模型和所述待训练模型，得到所述预训练模型的第一输出和所述待训练模型的第二输出；根据所述第一输出和所述第二输出，确定所述待训练模型的损失；以及根据所述损失，调整所述多个待训练模块中除所述至少一个待训练模块以外的其余待训练模块的参数，并返回将样本图像分别输入所述预训练模型和所述待训练模型的步骤，直至所述待训练模型符合预设条件，得到经训练的图像处理模型。2.根据权利要求1所述的方法，其中，所述预训练模型包括预训练解码模块，所述预训练解码模块包括M个解码层，所述多个待训练模块包括待训练解码模块，所述待训练解码模块包括m个解码层，M和m均为大于1的整数，且M大于m；所述根据预训练模型的参数初始化所述多个待训练模块中的至少一个待训练模块的参数，得到待训练模型包括：将所述待训练解码模块的m个解码层的参数均初始化为与所述预训练解码模块的第M个解码层的参数一致；或者将所述待训练解码模块的m个解码层的参数初始化为与所述预训练解码模块的最后m个解码层的参数一致。3.根据权利要求2所述的方法，其中，所述根据所述损失，调整所述多个待训练模块中除所述至少一个待训练模块以外的其余待训练模块的参数包括：根据所述损失，调整所述多个待训练模块中除所述待训练解码模块以外的其余待训练模块的参数。4.根据权利要求3所述的方法，其中，所述样本图像包括目标对象，所述预训练模型的参数还包括第一对象查找参数，所述待训练模型的参数还包括第二对象查找参数，所述第一对象查找参数与所述目标对象的位置信息对应；所述根据预训练模型的参数初始化所述多个待训练模块中的至少一个待训练模块的参数，得到待训练模型还包括：将所述第二对象查找参数初始化为与所述第一对象查找参数一致；所述根据所述损失，调整所述多个待训练模块中除所述至少一个待训练模块以外的其余待训练模块的参数还包括：调整所述待训练模型中除所述至少一个待训练模块的参数和所述第二对象查找参数以外的其余参数。5.根据权利要求1至4中任一项所述的方法，其中，所述预训练模型包括多个预训练模块，所述多个预训练模块和所述多个待训练模块各自对应，所述第一输出包括所述多个预训练模块各自的第一输出，所述第二输出包括所述多个待训练模块各自的第二输出；所述根据所述第一输出和所述第二输出，确定所述待训练模型的损失包括：针对每个待训练模块，根据该待训练模块的第二输出与对应预训练模块的第一输出，确定该待训练模块的损失；以及根据所述多个待训练模块各自的损失，确定所述待训练模型的损失。
6.根据权利要求5所述的方法，其中，所述多个预训练模块包括预训练编码模块，所述预训练编码模块包括N个编码层，所述多个待训练模块包括待训练编码模块，所述待训练编码模块包括n个编码层，N和n均为大于1的整数，且N大于n；所述针对每个待训练模块，根据该待训练模块的第二输出与对应预训练模块的第一输出，确定该待训练模块的损失包括：针对所述待训练编码模块，将所述预训练编码模块的第N个编码层的第一输出分别与所述待训练编码模块的每一个编码层的第二输出计算编码损失，得到n个编码损失；以及根据所述n个编码损失，确定所述待训练编码模块的损失。7.根据权利要求5或6所述的方法，其中，所述多个预训练模块包括预训练卷积模块、预训练编码模块和预训练解码模块；所述多个待训练模块包括待训练卷积模块、待训练编码模块和待训练解码模块；所述针对每个待训练模块，根据该待训练模块的第二输出与对应预训练模块的第一输出，确定该待训练模块的损失包括：针对所述待训练卷积模块，计算所述待训练卷积模块的第二输出与所述预训练卷积模块的第一输出之间的卷积损失，得到所述待训练卷积模块的损失；针对所述待训练编码模块，计算所述待训练编码模块的第二输出与所述预训练编码模块的第一输出之间的编码损失，得到所述待训练编码模块的损失；针对所述待训练解码模块，计算所述待训练解码模块的第二输出与所述预训练解码模块的第一输出之间的解码损失，得到所述待训练解码模块的损失。8.根据权利要求1至7中任一项所述的方法，其中，所述样本图像包括至少一个目标对象，所述第一输出包括所述至少一个目标对象的第一位置信息，所述第二输出包括所述至少一个目标对象的第二位置信息。9.根据权利要求1至8中任一项所述的方法，其中，所述预设条件包括所述待训练模型收敛。10.一种图像处理方法，包括：获取待处理图像，其中所述待处理图像包括待查询对象；以及将所述待处理图像输入经训练的图像处理模型，得到所述待查询对象的位置信息；其中，所述经训练的图像处理模型是根据权利要求1至9中任一项所述的方法训练得到的。11.一种图像处理模型的训练装置，所述图像处理模型包括多个待训练模块；所述装置包括：初始化模块，用于根据预训练模型的参数初始化所述多个待训练模块中的至少一个待训练模块...

【专利技术属性】
技术研发人员：汪瑜，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：