基于渐进式编码的文字识别方法、装置、电子设备制造方法及图纸

本申请公开了一种基于渐进式编码的文字识别方法，属于计算机技术领域，有助于提升图像中文字识别的准确率。所述文字识别方法包括：预先训练包括：级联的至少三个编码模块，以及，与每个所述编码模块对应的一个解码模块的编码

【技术实现步骤摘要】
基于渐进式编码的文字识别方法、装置、电子设备


[0001]本申请实施例涉及计算机
，特别是涉及一种基于渐进式编码的文字识别方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]文字识别作为机器视觉中的一种常用技术，被广泛应用于文档分析、证照识别、街景识别、信息自动录入等应用场景中。现有技术中，文字识别的主流方法都是由编码
‑
解码结构构成。其中，编码过程是将输入的图像信息转化成一个表征向量；解码过程则是将编码过程生成的表征向量再转化成输出目标序列。现有技术中，编码过程通常采用卷积神经网络，或者，采用卷积神经网络+递归神经网络的网络结构实现，相应的，解码过程采用序列连接分类解码技术或者采用基于注意力机制的序列到序列的解码对上下文语意进行识别的解码技术实现。
[0003]现有技术中的文字识别方法至少存在以下缺陷：1、卷积神经网络+序列连接分类解码技术的编码
‑
解码过程方法，仅考虑的图像的视觉特征，如果图像中某个字符被污染(如遮挡)，则识别准确率将大大降低；2、卷积神经网络+递归神经网络的网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于渐进式编码的文字识别方法，其特征在于，预先训练的编码
‑
解码网络模型包括：级联的至少三个编码模块，以及，与每个所述编码模块对应的一个解码模块，所述方法包括：依次执行所述至少三个编码模块，对目标图像进行渐进深度的特征编码，分别得到每个所述编码模块的编码输出；分别执行每个所述解码模块，对相应所述编码模块的所述编码输出进行解码，得到各所述解码模块对所述目标图像的文字识别结果；对各所述解码模块对所述目标图像的文本识别结果进行融合处理，确定所述编码
‑
解码网络模型对所述目标图像的文字识别结果。2.根据权利要求1所述的方法，其特征在于，所述至少三个编码模块包括：第一编码模块、第二编码模块和第三编码模块，所述解码模块包括：与所述第一编码模块对应的第一解码模块、与所述第二编码模块对应的第二解码模块、与所述第三编码模块对应的第三解码模块；所述依次执行所述至少三个编码模块，对目标图像进行渐进深度的特征编码，分别得到每个所述编码模块的编码输出的步骤，包括：执行所述第一编码模块，对所述目标图像中的视觉特征进行编码，输出第一特征向量；执行所述第二编码模块，对所述第一特征向量进行特征对齐处理，输出第二特征向量；执行所述第三编码模块，对所述第二特征向量进行语义特征编码，输出第三特征向量。3.根据权利要求1或2所述的方法，其特征在于，所述编码
‑
解码网络模型通过以下方法训练：对于每个训练样本图像，分别执行以下编码和解码操作：依次执行所述至少三个编码模块，对所述训练样本图像进行渐进深度的特征编码，分别得到每个所述编码模块对所述训练样本图像的编码输出；分别执行每个所述解码模块，对相应所述编码模块对所述训练样本图像的所述编码输出进行解码，得到各所述解码模块对所述训练样本图像的文字预测结果；对于每个所述训练样本图像，根据各所述解码模块对所述训练样本图像的文字预测结果与所述训练样本图像对应的文字真实值的差值，计算所述训练样本图像的预测误差，并根据所有所述训练样本图像的所述预测误差，确定所述编码
‑
解码网络模型的损失值；通过优化所述编码
‑
解码网络模型的模型参数，对所述编码
‑
解码网络模型进行迭代训练，以优化所述损失值。4.根据权利要求3所述的方法，其特征在于，所述依次执行所述至少三个编码模块，对所述训练样本图像进行渐进深度的特征编码，分别得到每个所述编码模块对所述训练样本图像的编码输出的步骤，包括：执行所述第一编码模块，对所述训练样本图像中的视觉特征进行编码，输出所述训练样本图像对应的第一特征向量；所述分别执行每个所述解码模块，对相应所述编码模块对所述训练样本图像的所述编码输出进行解码，得到各所述解码模块对所述训练样本图像的文字预测结果的步骤，包括：执行所述第一解码模块，对所述训练样本图像对应的所述第一特征向量进行解码，得到第一文字预测结果。5.根据权利要求4所述的方法，其特征在于，所述依次执行所述至少三个编码模块，对
所述训练样本图像进行渐进深度的特征编码，分别得到每个所述编码模块对所述训练样本图像的编码输出的步骤，还包括：执行所述第二编码模块，对所述训练样本图像对应的所述...

【专利技术属性】
技术研发人员：宋祺，姜仟艺，张睿，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：