图像识别模型的训练方法及装置、图像识别方法及装置制造方法及图纸

本申请提供图像识别模型的训练方法及装置、图像识别方法及装置，其中所述图像识别模型的训练方法包括：获取预训练的图像识别模型和样本数据，其中，所述样本数据包括图像和所述图像对应的真值序列；将所述样本数据中的图像输入所述图像识别模型，使用随机策略获取随机策略序列，使用确定策略获取确定策略序列；根据所述随机策略序列、所述确定策略序列和所述样本数据中图像对应的真值序列计算损失值；通过对所述损失值进行反向传播以训练所述图像识别模型。增强图像识别模型的训练，提高图像识别模型的训练效率。

Training method and device of image recognition model, image recognition method and device

The present application provides a training method and device for an image recognition model, an image recognition method and device, wherein the training method for the image recognition model includes: obtaining a pre trained image recognition model and sample data, wherein the sample data includes a sequence of true values of the image and the image pair; inputting the image in the sample data into the image recognition model, and using The random strategy obtains the random strategy sequence, obtains the determination strategy sequence using the determination strategy; calculates the loss value according to the random strategy sequence, the determination strategy sequence and the true value sequence corresponding to the image in the sample data; trains the image recognition model by back propagation of the loss value. Enhance the training of image recognition model, improve the training efficiency of image recognition model.

【技术实现步骤摘要】
图像识别模型的训练方法及装置、图像识别方法及装置
本申请涉及机器学习
，特别涉及图像识别模型的训练方法及装置、图像识别方法及装置、计算设备、计算机可读存储介质和芯片。
技术介绍
在实际应用中，很多时候需要通过图像识别模型获取图像的描述信息，例如识别图像中的内容生成表格或公式，识别图像的内容生成描述信息等。在训练和使用图像识别模型时，通常会因为图像内容比较复杂，尤其是对于公式图像，对于大量复杂的数学公式，在图像识别模型的训练过程中，因为训练集图像中公式内容复杂，细节较多，例如有特殊的计算符号、复杂的嵌套公式等，识别难度大，从而造成训练难度大，训练时间长且效果差。由于训练效果差，导致在图像识别模型应用过程中，对于复杂数学公式的图像的识别会因为图片复杂，编辑难度大，识别度低，导致对图像的识别难度大，出现公式字符的错误识别问题，从而影响识别准确性。那么如何提高图像识别模型的训练效率，提高图像识别的准确性，就成为目前亟待解决的问题。
技术实现思路
有鉴于此，本申请实施例提供了图像识别模型的训练方法及装置、图像识别本文档来自技高网...

【技术保护点】
1.一种图像识别模型的训练方法，其特征在于，包括：/n获取预训练的图像识别模型和样本数据，其中，所述样本数据包括图像和所述图像对应的真值序列；/n将所述样本数据中的图像输入所述图像识别模型，使用随机策略获取随机策略序列，使用确定策略获取确定策略序列；/n根据所述随机策略序列、所述确定策略序列和所述样本数据中图像对应的真值序列计算损失值；/n通过对所述损失值进行反向传播以训练所述图像识别模型。/n

【技术特征摘要】
1.一种图像识别模型的训练方法，其特征在于，包括：
获取预训练的图像识别模型和样本数据，其中，所述样本数据包括图像和所述图像对应的真值序列；
将所述样本数据中的图像输入所述图像识别模型，使用随机策略获取随机策略序列，使用确定策略获取确定策略序列；
根据所述随机策略序列、所述确定策略序列和所述样本数据中图像对应的真值序列计算损失值；
通过对所述损失值进行反向传播以训练所述图像识别模型。


2.如权利要求1所述的图像识别模型的训练方法，其特征在于，使用随机策略获取随机策略序列，包括：
S21、将所述图像在所述图像识别模型的编码端进行编码，获得所述图像的编码向量；
S22、将所述图像的编码向量在所述图像识别模型的解码端进行解码，生成解码字符集；
S23、使用随机策略在所述解码字符集中随机选取解码字符；
S24、判断所述图像识别模型的解码端是否完成解码，若是，则执行S25，若否，执行S21；
S25、根据随机选取的解码字符生成随机策略序列。


3.如权利要求1所述的图像识别模型的训练方法，其特征在于，使用确定策略获取确定策略序列，包括：
S31、将所述图像在所述图像识别模型的编码端进行编码，获得所述图像的编码向量；
S32、将所述图像的编码向量在所述图像识别模型的解码端进行解码，生成解码字符集；
S33、使用确定策略在所述解码字符集中选取最大概率的解码字符；
S34、判断所述图像识别模型的解码端是否完成解码，若是，则执行S35，若否，执行S31；
S35、根据最大概率选取的解码字符生成确定策略序列。


4.如权利要求2或3所述的图像识别模型的训练方法，其特征在于，将所述图像的编码向量在所述图像识别模型的解码端进行解码，生成解码字符集，包括：
将上一次的输出作为参考编码向量输入至所述图像识别模型的解码端，解码端根据所述参考编码向量和所述图像的编码向量生成当前次的解码字符集。


5.如权利要求1所述的图像识别模型的训练方法，其特征在于，根据所述随机策略序列、所述确定策略序列和所述样本数据中图像对应的真值序列计算损失值，包括：
将所述随机策略序列和所述样本数据中图像对应的真值序列通过编辑距离计算奖励，获取随机策略奖励；
将所述确定策略序列和所述样本数据中图像对应的真值序列通过编辑距离计算奖励，获取确定策略奖励；
根据所述随机策略奖励、所述确定策略奖励和所述随机策略序列计算损失值。


6.如权利要求5所述的图像识别模型的训练方法，其特征在于，通过对所述损失值进行反向传播以训练所述图像识别模型，包括：
在损失值大于预设阈值范围最大值的情况下，所述随机策略奖励大于所述确定策略奖励，所述图像识别模型增加获取随机策略解码序列的参数权重；
在损失值小于预设阈值范围最小值的情况下，所述随机策略奖励小于所述确定策略奖励，所述图像识别模型减少获取随机策略解码序列的参数权重。


7.如权利要求5所述的图像识别模型的训练方法，其特征在于，通过对所述损失值进行反向传播以训练所述图像识别模型，包括：
在损失值在预设阈值范围内的情况下，停止训练所述图像识别模型。


8.一种图像识别方法，其特征在于，包括：
获取待识别图像；
将所述待识别图像输入预先训练好的...

【专利技术属性】
技术研发人员：史红亮，廖敏鹏，李长亮，
申请(专利权)人：北京金山数字娱乐科技有限公司，成都金山数字娱乐科技有限公司，
类型：发明
国别省市：北京;11