图像识别模型训练方法及装置制造方法及图纸

本发明专利技术公开了一种图像识别模型训练方法及装置，该方法包括：确定训练好的第一图像识别模型；第一图像识别模型包括有训练好的第一特征编码网络；确定待训练的第二图像识别模型；第二图像识别模型的模型参数少于第一图像识别模型的模型参数；将第二图像识别模型中的第二特征编码网络的网络参数，确定为第一特征编码网络的网络参数；确定损失函数为第一特征编码网络的特征输出和第二特征编码网络的特征输出之间的差异，对第一图像识别模型和第二图像识别模型进行联合训练，得到训练好的第二图像识别模型。可见，通过本发明专利技术的方案训练得到的第二图像识别模型可以保持较小的规模的同时达到更好的识别效果。同时达到更好的识别效果。同时达到更好的识别效果。

【技术实现步骤摘要】
图像识别模型训练方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种图像识别模型训练方法及装置。

技术介绍

[0002]随着图像识别技术的发展，深度学习技术逐渐被引入这一领域，以提高图像识别的精度，让例如图像中的字符识别的效率提高，但提高效率和精度的代价往往是需要付出高算力。因此，准确度越高的图像识别模型往往需要更高的成本，例如耗费更高的计算资源和占据更高的内存，导致其难以部署到移动端设备中，实现本地的实时识别。
[0003]现有技术的模型训练方案，为解决高精度大体积的模型的成本过高的问题，常常不得不在精度和成本之间做出抉择，因此难以有效兼顾精度和成本，存在缺陷，亟需得到解决。

技术实现思路

[0004]本专利技术所要解决的技术问题在于，提供一种图像识别模型训练确定方法及装置，能够利用训练好的网络参数来提高模型训练的速度，降低训练的成本，且训练得到的第二图像识别模型可以保持较小的规模的同时达到更好的识别效果。
[0005]为了解决上述技术问题，本专利技术第一方面公开了一种图像识别模型训练方法，所述方法包括：
[0006]确定训练好的第一图像识别模型；所述第一图像识别模型包括有训练好的第一特征编码网络；
[0007]确定待训练的第二图像识别模型；所述第二图像识别模型的模型参数少于所述第一图像识别模型的模型参数；
[0008]将所述第二图像识别模型中的第二特征编码网络的网络参数，确定为所述第一特征编码网络的网络参数；
[0009]确定损失函数为所述第一特征编码网络的特征输出和所述第二特征编码网络的特征输出之间的差异，对所述第一图像识别模型和所述第二图像识别模型进行联合训练，得到训练好的所述第二图像识别模型。
[0010]作为一种可选的实施方式，在本专利技术第一方面中，所述对所述第一图像识别模型和所述第二图像识别模型进行联合训练，得到训练好的所述第二图像识别模型，包括：
[0011]将训练数据集同时输入至所述第一图像识别模型和所述第二图像识别模型进行训练；
[0012]在所述训练中将所述第一图像识别模型的所有模型参数和所述第二图像识别模型的所述第二特征编码网络的参数进行固定以保持不变；
[0013]在所述训练中，优化所述第二图像识别模型中除所述第二特征编码网络的参数以外的其他模型参数，直至所述损失函数收敛，得到训练好的所述第二图像识别模型。
[0014]作为一种可选的实施方式，在本专利技术第一方面中，所述第二特征编码网络的网络
层数与所述第一特征编码网络的网络层数相同；和/或，所述第一特征编码网络为BiLSTM网络；和/或，所述第二特征编码网络为BiLSTM网络。
[0015]作为一种可选的实施方式，在本专利技术第一方面中，所述第二图像识别模型的模型参数少于所述第一图像识别模型的模型参数，多于所述第一图像识别模型的模型参数的1/10；
[0016]和/或，
[0017]所述第一图像识别模型还包括第一特征提取网络；所述第二图像识别模型还包括第二特征提取网络；所述第二特征提取网络的网络参数少于所述第一特征提取网络的网络参数，多于所述第一特征提取网络的网络参数的1/10。
[0018]作为一种可选的实施方式，在本专利技术第一方面中，所述确定损失函数为所述第一特征编码网络的特征输出和所述第二特征编码网络的特征输出之间的差异，包括：
[0019]将所述第一特征编码网络的特征输出和所述第二特征编码网络的特征输出之间的向量距离确定为损失函数；
[0020]和/或，
[0021]确定所述第一特征编码网络的特征输出和所述第二特征编码网络的特征输出之间的向量距离；
[0022]确定所述第二图像识别模型对应的识别损失；所述识别损失用于衡量所述第二图像识别模型的输出识别结果和训练数据的标注之间的差异；
[0023]根据所述向量距离和所述识别损失，确定出损失函数。
[0024]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述向量距离和所述识别损失，确定出损失函数，包括：
[0025]确定所述识别损失和预设权重之间的乘积；
[0026]将所述向量距离和所述乘积的和，确定为损失函数。
[0027]作为一种可选的实施方式，在本专利技术第一方面中，所述向量距离包括L1距离、L2距离、余弦距离和KL散度中的至少一种；和/或，所述识别损失为CTC损失；和/或，所述预设权重为0.1。
[0028]本专利技术第二方面公开了一种图像识别模型训练装置，所述装置包括：
[0029]第一确定模块，用于确定训练好的第一图像识别模型；所述第一图像识别模型包括有训练好的第一特征编码网络；
[0030]第二确定模块，用于确定待训练的第二图像识别模型；所述第二图像识别模型的模型参数少于所述第一图像识别模型的模型参数；
[0031]参数共享模块，用于将所述第二图像识别模型中的第二特征编码网络的网络参数，确定为所述第一特征编码网络的网络参数；
[0032]损失确定模块，用于确定损失函数为所述第一特征编码网络的特征输出和所述第二特征编码网络的特征输出之间的差异；
[0033]模型训练模块，用于对所述第一图像识别模型和所述第二图像识别模型进行联合训练，得到训练好的所述第二图像识别模型。
[0034]作为一种可选的实施方式，在本专利技术第二方面中，所述模型训练模块包括：
[0035]训练单元，用于将训练数据集同时输入至所述第一图像识别模型和所述第二图像
识别模型进行训练；
[0036]参数固定单元，用于在所述训练中将所述第一图像识别模型的所有模型参数和所述第二图像识别模型的所述第二特征编码网络的参数进行固定以保持不变；
[0037]参数优化单元，用于在所述训练中，优化所述第二图像识别模型中除所述第二特征编码网络的参数以外的其他模型参数，直至所述损失函数收敛，得到训练好的所述第二图像识别模型。
[0038]作为一种可选的实施方式，在本专利技术第二方面中，所述第二特征编码网络的网络层数与所述第一特征编码网络的网络层数相同；和/或，所述第一特征编码网络为BiLSTM网络；和/或，所述第二特征编码网络为BiLSTM网络。
[0039]作为一种可选的实施方式，在本专利技术第二方面中，所述第二图像识别模型的模型参数少于所述第一图像识别模型的模型参数，多于所述第一图像识别模型的模型参数的1/10；
[0040]和/或，
[0041]所述第一图像识别模型还包括第一特征提取网络；所述第二图像识别模型还包括第二特征提取网络；所述第二特征提取网络的网络参数少于所述第一特征提取网络的网络参数，多于所述第一特征提取网络的网络参数的1/10。
[0042]作为一种可选的实施方式，在本专利技术第二方面中，所述损失确定模块确定损失函数为所述第一特征编码网络的特征输出和所述第二特征编码网络的特征输出之间的差异的具体方式，包括：
[0043本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别模型训练方法，其特征在于，所述方法包括：确定训练好的第一图像识别模型；所述第一图像识别模型包括有训练好的第一特征编码网络；确定待训练的第二图像识别模型；所述第二图像识别模型的模型参数少于所述第一图像识别模型的模型参数；将所述第二图像识别模型中的第二特征编码网络的网络参数，确定为所述第一特征编码网络的网络参数；确定损失函数为所述第一特征编码网络的特征输出和所述第二特征编码网络的特征输出之间的差异，对所述第一图像识别模型和所述第二图像识别模型进行联合训练，得到训练好的所述第二图像识别模型。2.根据权利要求1所述的图像识别模型训练方法，其特征在于，所述对所述第一图像识别模型和所述第二图像识别模型进行联合训练，得到训练好的所述第二图像识别模型，包括：将训练数据集同时输入至所述第一图像识别模型和所述第二图像识别模型进行训练；在所述训练中将所述第一图像识别模型的所有模型参数和所述第二图像识别模型的所述第二特征编码网络的参数进行固定以保持不变；在所述训练中，优化所述第二图像识别模型中除所述第二特征编码网络的参数以外的其他模型参数，直至所述损失函数收敛，得到训练好的所述第二图像识别模型。3.根据权利要求1所述的图像识别模型训练方法，其特征在于，所述第二特征编码网络的网络层数与所述第一特征编码网络的网络层数相同；和/或，所述第一特征编码网络为BiLSTM网络；和/或，所述第二特征编码网络为BiLSTM网络。4.根据权利要求1所述的图像识别模型训练方法，其特征在于，所述第二图像识别模型的模型参数少于所述第一图像识别模型的模型参数，多于所述第一图像识别模型的模型参数的1/10；和/或，所述第一图像识别模型还包括第一特征提取网络；所述第二图像识别模型还包括第二特征提取网络；所述第二特征提取网络的网络参数少于所述第一特征提取网络的网络参数，多于所述第一特征提取网络的网络参数的1/10。5.根据权利要求1所述的图像识别模型训练方法，其特征在于，所述确定损失函数为所述第一特征编码网络的特征输出和所述第二特征编码网络的特征输出之间的差异，包括：将所述第一特征编码网...

【专利技术属性】
技术研发人员：钟艺豪，蔡锐涛，
申请(专利权)人：有米科技股份有限公司，
类型：发明
国别省市：