网络训练方法、图像处理方法及装置、电子设备制造方法及图纸

本公开涉及一网络训练方法、图像处理方法及装置、电子设备，所述方法包括：通过生成网络对训练集中的样本图像进行超分辨率处理，得到第一图像，所述第一图像的分辨率高于所述样本图像的分辨率，所述训练集中的各所述样本图像对应标注图像以及标注文字信息；根据所述样本图像的标注图像及所述第一图像，确定所述生成网络的图像生成损失；通过识别网络对所述第一图像进行文字识别处理，得到第一文字信息；根据所述样本图像的标注文字信息及所述第一文字信息，确定第一文字识别损失；根据所述图像生成损失及所述第一文字识别损失，训练所述生成网络。本公开实施例可生成更有利于进行文字识别的图像，该方法可以使得文字识别精度更高。

Network training method, image processing method and device, electronic equipment

【技术实现步骤摘要】
网络训练方法、图像处理方法及装置、电子设备
本公开涉及人工智能
，尤其涉及一种网络训练方法、图像处理方法及装置、电子设备。
技术介绍
随着相关技术的发展，文字识别得到了广泛应用。文字识别可以应用于很多重要领域，例如：阅读理解、发票识别、车牌识别及视觉问答等领域中。但文字识别的精度与图像的清晰度关联较大，对于清晰度低的图像的文字识别精度较低。相关技术中可以采用放大插值算法或者是传统超分辨率算法对图像进行放大，但这些算法均无法有效的恢复图像中的文字信息。
技术实现思路
本公开提出了一种网络训练和图像处理技术方案。根据本公开的一方面，提供了一种网络训练方法，所述方法包括：通过生成网络对训练集中的样本图像进行超分辨率处理，得到第一图像，所述第一图像的分辨率高于所述样本图像的分辨率，所述训练集中的各所述样本图像对应标注图像以及标注文字信息；根据所述样本图像的标注图像及所述第一图像，确定所述生成网络的图像生成损失；通过识别网络对所述第一图像进行文字识别处理，得到第一文字信息；根据所述样本图像的标注文字信息及所述第一文字信息，确定第一文字识别损失；根据所述图像生成损失及所述第一文字识别损失，训练所述生成网络。在一种可能的实现方式中，所述根据所述图像生成损失及所述第一文字识别损失，训练所述生成网络，包括：对所述图像生成损失与所述第一文字识别损失进行加权求和操作，得到所述生成网络的第一总体损失；根据所述生成网络的第一总体损失，调整所述生成网络的网络参数。在一种可能的实现方式中，所述方法还包括：根据所述第一文字识别损失，训练所述识别网络。在一种可能的实现方式中，所述方法还包括：针对所述样本图像的标注图像，通过识别网络对该样本图像的标注图像进行文字识别处理，得到第二文字信息；根据所述样本图像的标注图文字信息及所述第二文字信息，确定所述识别网络的第二文字识别损失；根据所述第二文字识别损失，训练所述识别网络。在一种可能的实现方式中，所述根据所述图像生成损失及所述第一文字识别损失，训练所述生成网络，包括：通过判别网络分别对所述样本图像对应的第一图像及所述样本图像的标注图像进行高分辨率判别处理，得到所述第一图像的判别结果及所述标注图像的判别结果；根据所述第一图像的判别结果及所述标注图像的判别结果，确定对抗损失；根据所述对抗损失训练所述生成网络及所述判别网络。在一种可能的实现方式中，所述根据对抗损失训练所述生成网络及所述判别网络，包括：根据所述图像生成损失、所述第一文字识别损失以及所述对抗损失，得到所述生成网络的第二总体损失；根据所述第二总体损失训练所述生成网络及所述判别网络。在一种可能的实现方式中，所述生成网络包括至少一个反卷积层；所述通过生成网络对训练集中的样本图像进行超分辨率处理，得到第一图像，包括：通过所述生成网络中的至少一个反卷积层对训练集中的样本图像进行反卷积处理，得到所述第一图像。在一种可能的实现方式中，所述识别网络包括文字整流网络和文字识别网络；所述通过识别网络对所述第一图像进行文字识别处理，得到第一文字信息，包括：通过所述文字整流网络对所述第一图像中的文字进行整流处理，得到整流后的文字序列；通过所述文字识别网络对所述文字序列进行文字识别处理，得到第一文字信息。根据本公开的另一方面，提供了一种图像处理方法，包括：通过生成网络对待处理图像进行超分辨率处理，得到超分辨率图像，其中，所述超分辨率图像的分辨率大于所述待处理图像的分辨率；其中，所述生成网络采用前述网络训练方法训练得到。在一种可能的实现方式中，所述方法还包括：通过识别网络对超分辨率图像进行文字识别处理，确定所述待处理图像中的文字信息；其中，所述识别网络采用前述网络训练方法训练得到。根据本公开的一方面，提供了一种网络训练装置，所述装置包括：第一处理模块，用于通过生成网络对训练集中的样本图像进行超分辨率处理，得到第一图像，所述第一图像的分辨率高于所述样本图像的分辨率，所述训练集中的各所述样本图像对应标注图像以及标注文字信息；第一确定模块，用于根据所述样本图像的标注图像及所述第一图像，确定所述生成网络的图像生成损失；第二处理模块，用于通过识别网络对所述第一图像进行文字识别处理，得到第一文字信息；第二确定模块，用于根据所述样本图像的标注文字信息及所述第一文字信息，确定第一文字识别损失；第一训练模块，用于根据所述图像生成损失及所述第一文字识别损失，训练所述生成网络。在一种可能的实现方式中，所述第一训练模块还用于：对所述图像生成损失与所述第一文字识别损失进行加权求和操作，得到所述生成网络的第一总体损失；根据所述生成网络的第一总体损失，调整所述生成网络的网络参数。在一种可能的实现方式中，所述装置还包括：第二训练模块，用于根据所述第一文字识别损失，训练所述识别网络。在一种可能的实现方式中，所述装置还包括：第三处理模块，用于针对所述样本图像的标注图像，通过识别网络对该样本图像的标注图像进行文字识别处理，得到第二文字信息；第三确定模块，用于根据所述样本图像的标注图文字信息及所述第二文字信息，确定所述识别网络的第二文字识别损失；第三训练模块，用于根据所述第二文字识别损失，训练所述识别网络。在一种可能的实现方式中，所述第一训练模块还用于：通过判别网络分别对所述样本图像对应的第一图像及所述样本图像的标注图像进行高分辨率判别处理，得到所述第一图像的判别结果及所述标注图像的判别结果；根据所述第一图像的判别结果及所述标注图像的判别结果，确定对抗损失；根据所述对抗损失训练所述生成网络及所述判别网络。在一种可能的实现方式中，所述第一训练模块还用于：根据所述图像生成损失、所述第一文字识别损失以及所述对抗损失，得到所述生成网络的第二总体损失；根据所述第二总体损失训练所述生成网络及所述判别网络。在一种可能的实现方式中，所述生成网络包括至少一个反卷积层；所述第一处理模块还用于：通过所述生成网络中的至少一个反卷积层对训练集中的样本图像进行反卷积处理，得到所述第一图像。在一种可能的实现方式中，所述识别网络包括文字整流网络和文字识别网络；所述第二处理模块还用于：通过所述文字整流网络对所述第一图像中的文字进行整流处理，得到整流后的文字序列；通过所述文字识别网络对所述文字序列进行文字识别处理，得到第一文字信息。根据本公开的一方面，提供了一种图像处理装置，包括：第一处理模块，用于通过生成网络对待处理图像进行超分辨率处理，得到超分辨率图像，其中，所述超分辨率图像的分辨率大于所述待处理图像的分辨率；其中，所述生成网络本文档来自技高网...

【技术保护点】
1.一种网络训练方法，其特征在于，所述方法包括：/n通过生成网络对训练集中的样本图像进行超分辨率处理，得到第一图像，所述第一图像的分辨率高于所述样本图像的分辨率，所述训练集中的各所述样本图像对应标注图像以及标注文字信息；/n根据所述样本图像的标注图像及所述第一图像，确定所述生成网络的图像生成损失；/n通过识别网络对所述第一图像进行文字识别处理，得到第一文字信息；/n根据所述样本图像的标注文字信息及所述第一文字信息，确定第一文字识别损失；/n根据所述图像生成损失及所述第一文字识别损失，训练所述生成网络。/n

【技术特征摘要】
1.一种网络训练方法，其特征在于，所述方法包括：
通过生成网络对训练集中的样本图像进行超分辨率处理，得到第一图像，所述第一图像的分辨率高于所述样本图像的分辨率，所述训练集中的各所述样本图像对应标注图像以及标注文字信息；
根据所述样本图像的标注图像及所述第一图像，确定所述生成网络的图像生成损失；
通过识别网络对所述第一图像进行文字识别处理，得到第一文字信息；
根据所述样本图像的标注文字信息及所述第一文字信息，确定第一文字识别损失；
根据所述图像生成损失及所述第一文字识别损失，训练所述生成网络。


2.根据权利要求1所述的方法，其特征在于，所述根据所述图像生成损失及所述第一文字识别损失，训练所述生成网络，包括：
对所述图像生成损失与所述第一文字识别损失进行加权求和操作，得到所述生成网络的第一总体损失；
根据所述生成网络的第一总体损失，调整所述生成网络的网络参数。


3.根据权利要求1或2所述的方法，其特征在于，所述根据所述图像生成损失及所述第一文字识别损失，训练所述生成网络，包括：
通过判别网络分别对所述样本图像对应的第一图像及所述样本图像的标注图像进行高分辨率判别处理，得到所述第一图像的判别结果及所述标注图像的判别结果；
根据所述第一图像的判别结果及所述标注图像的判别结果，确定对抗损失；
根据所述对抗损失训练所述生成网络及所述判别网络。


4.一种图像处理方法，其特征在于，包括：
通过生成网络对待处理图像进行超分辨率处理，得到超分辨率图像，其中，所述超分辨率图像的分辨率大于所述待处理图像的分辨率；
其中，所述生成网络采用权利要求1至3的网络训练方法训练得到。


5.一种网络训练装置，其特征在于，所述装置包括...

【专利技术属性】
技术研发人员：谢恩泽，王文海，刘学博，梁鼎，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11