基于图像和文本信息融合的文字识别方法及系统技术方案

本申请涉及一种基于图像和文本信息融合的文字识别方法及系统，包括获取待处理图像，并基于预设的文本识别网络对所述待处理图进行特征抽取并获取当前图像特征；根据所述当前图像特征和预先标注的人工标注标签，生成CTC损失，并基于所述CTC损失对预先设置的特征抽取模型进行更新；根据所述当前图像特征进行文本标签预测，并生成当前文本标签；根据所述当前文本标签对进行预先设置的对比度损失模型的训练更新，并获取文本相似结果。本发明专利技术实现融合图片和文本信息而进行文字识别，进而通过加载知识库中的文本信息，帮助提升文字识别的准确率。准确率。准确率。

【技术实现步骤摘要】
基于图像和文本信息融合的文字识别方法及系统


[0001]本申请涉及文字识别
，特别是涉及一种基于图像和文本信息融合的文字识别方法及系统。

技术介绍

[0002]传统的文字识别方法多种多样，如申请号为CN202110587936.9的专利技术专利公开了一种文字识别模型的训练方法和识别图像中文字的方法、装置、电子设备和存储介质，应用于人工智能
，具体应用于计算机视觉和深度学习
，可应用于图像识别场景下。文字识别模型的训练方法的具体实现方案为：以第一目标图像作为第一文字识别模型的输入，获得第一特征图；以样本图像作为第二文字识别模型的输入，获得第二特征图，其中，第二文字识别模型以第一文字识别模型作为初始模型；基于第一特征图和第二特征图的差异，确定第一损失值；以及基于第一损失值，对第二文字识别模型进行训练。其中，第一目标图像与样本图像包括相同的文字，且第一目标图像以目标格式表示文字。
[0003]虽然上述专利文件能够识别图像中文字的方法，但是仍存识别准确率低的问题。

技术实现思路

[0004]基于此，有必要针对上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像和文本信息融合的文字识别方法，其特征在于，所述方法包括：步骤S100：获取待处理图像，并基于预设的文本识别网络对所述待处理图进行特征抽取并获取当前图像特征；步骤S200：根据所述当前图像特征和预先标注的人工标注标签，生成CTC损失，并基于所述CTC损失对预先设置的特征抽取模型进行更新；步骤S300：根据所述当前图像特征进行文本标签预测，并生成当前文本标签；步骤S400：根据所述当前文本标签对进行预先设置的对比度损失模型的训练更新，并获取文本相似结果。2.根据权利要求1所述的基于图像和文本信息融合的文字识别方法，其特征在于，步骤S400：根据所述当前文本标签对进行预先设置的对比度损失模型的训练更新，并获取文本相似结果，具体包括：步骤S410：基于预设的中文字形相似度模型根据所述当前文本标签获取与所述当前文本标签相似度达到预设特定值的特定数量的当前待挑选文字；步骤S420：分别计算特定数量的所述当前待挑选文字与所述人工标注标签y之间，以及特定数量的所述当前待挑选文字与所述当前文本标签之间的对比度损失，并获取对比度损失值；步骤S430：根据所述对比度损失值进行预先设置的对比度损失模型的训练更新，并获取文本相似结果。3.根据权利要求2所述的基于图像和文本信息融合的文字识别方法，其特征在于，所述特定数量为至少100个。4.根据权利要求1
‑
3任一项所述的基于图像和文本信息融合的文字识别方法，其特征在于，步骤S300：根据所述当前图像特征进行文本标签预测，并生成当前文本标签，具体包括：对所述当前图像特征采用Softmx进行文本标签预测，并生成当前文本标签。5.根据权利要求1
‑
3任一项所述的基于图像和文本信息融合的文字识别方法，其特征在于，步骤S100：获取待处理图像，并基于预设的文本识别网络对所述待处理图进行特征抽取并获取当前图像特征，...

【专利技术属性】
技术研发人员：曾祥云，朱姬渊，
申请(专利权)人：上海易康源医疗健康科技有限公司，
类型：发明
国别省市：