双向表征自主迭代网络下高表征迁移的中文图像识别方法技术

本发明专利技术涉及中文图像识别技术领域，具体公开了一种双向表征自主迭代网络下高表征迁移的中文图像识别方法，首先对采集的不同自然场景下的英文图片和中文图片进行预处理，以增强训练时的图像数据的特征；然后通过双向表征自主迭代网络对英文数据集提取英文文本特征并生成相应的特征权重参数矩阵；进一步使用特征权重参数矩阵权重矩阵对中文识别网络模型进行初始化，从而加快微调模型性能提高的速度；以及将英文文本特征迁移到中文识别网络模型中，与根据中文数据集得到的中文文本特征相融合，生成新的中文文本特征参与下次卷积，依次类推，从而保证中文训练时特征的多样性，实现高表征迁移，识别率、运算速度、稳定性、鲁棒性显著提高。显著提高。显著提高。

【技术实现步骤摘要】
双向表征自主迭代网络下高表征迁移的中文图像识别方法


[0001]本专利技术涉及中文图像识别
，具体公开了双向表征自主迭代网络下高表征迁移的中文图像识别方法。

技术介绍

[0002]文字是人类信息交流的主要媒介，是人类最伟大和最具影响力的专利技术之一，是人类文化、思想传承的一种基本的表达方式和不可或缺的载体。日常生活中文字信息无处不在，它是我们认识和记录这个世界的主要工具。随着中国移动互联网技术的飞速发展使得这类数据的传播和分享更加便捷，许多新的应用场景都需要利用这些文本信息，尤其在信息智能化场景，随着数码相机、智能手机等具有拍照和摄像功能的便携式电子设备的广泛使用，大量的文本也以图像或者视频的数据方式被保存下来。因此，人们迫切希望利用计算机对图像或视频中的文本进行检测识别，形成语义表达的方式对其进行理解。一方面可以提高各种应用场景的生产效率；另一方面这些文本可以作为描述场景的额外信息，辅助各类计算机视觉的实际应用任务。因此，文本的分析与处理越来越成为计算机视觉领域的研究热点之一。
[0003]针对文档文本中文图像数据识别功能准确度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.双向表征自主迭代网络下高表征迁移的中文图像识别方法，其特征在于，包括步骤：S1、采集不同自然场景下的英文图片和中文图片进行预处理后，得到对应的英文图片数据集和中文图片数据集，并对英文图片数据集和中文图片数据集进行文本提取，得到对应的英文文本数据集和中文文本数据集；S2、采用英文图片数据集及英文文本数据集对构建的双向表征自主迭代网络进行训练，训练完成后得到英文视觉特征、英文语义特征以及特征权重参数矩阵；S3、通过迁移模块将特征权重参数矩阵迁移至中文识别网络模型，采用特征权重参数矩阵对构建的中文识别网络模型的网络参数进行初始化；S4、采用中文图片数据集及中文文本数据集、英文视觉特征、英文语义特征对初始化后的中文识别网络模型进行训练。2.根据权利要求1所述的双向表征自主迭代网络下高表征迁移的中文图像识别方法，其特征在于：在步骤S2中，双向表征自主迭代网络包括视觉模块、语义模块和融合模块；视觉模块用于提取英文图片数据集的英文视觉特征F
V
；语义模块用于提取英文文本数据集的英文语义特征F
L
；融合模块用于对英文视觉特征F
V
和英文语义特征F
L
进行融合后采用Softmax函数进行归一化，其中融合后的特征为：G＝σ([F
V
,F
L
]W
f
)其中，σ(
·
)表示使F
V
和F
L
的矩阵保持一致的函数，表示F
V
和F
L
的权重参数，T表示字符序列的长度，C是特征维数，R表示实数域。3.根据权利要求2所述的双向表征自主迭代网络下高表征迁移的中文图像识别方法，其特征在于：视觉模块具有N层卷积层，以对输入的英文图片数据集进行N次卷积，每次卷积后输出对应的英文视觉特征；语义模块具有N层卷积层，以对输入的英文文本数据集进行N次卷积，每次卷积后输出对应的英文语义特征；在训练过程中，通过迭代原理重新细化视觉模块和语义模块的预测，其中的错误预测作为噪声进行处理，通过反复将语义模块的输出作为全新的数据输入视觉模块、视觉模块重新执行以矫正视觉模块的预测效果；视觉模块执行第n次卷积后输出第n层英文视觉特征，语义模块执行第n次卷积后输出第n层英文语义特征；融合模块对第n层英文视觉特征和第n层英文语义特征进行融合后采用Softmax函数进行归一化得到第n层特征权重参数矩阵，n＝1,2,
…
,N，N≥...

【专利技术属性】
技术研发人员：利节，吴仙海，张祥，颜定江，吴瑞，杜忠凯，覃锐，黄晓薇，
申请(专利权)人：重庆科技学院，
类型：发明
国别省市：