【技术实现步骤摘要】
基于深度学习的图像文字识别方法、系统及介质
本专利技术涉及深度学习及图像识别
，具体地，涉及一种基于深度学习的图像文字识别方法、系统及介质。
技术介绍
随着智能手机和移动设备的普及，图片作为信息传播的载体在越来越多的场景中被使用。原有业务流程内手动对证照票据关键信息进行提取往往因为字段冗长而效率不高，因此随之而来的也有越来越多的图片文字识别的需求。通过OCR技术完成对票据、表格内关键信息的提取，成为一种提升信息录入效率手段。传统OCR处理流程包括文本检测、单字符分割、单字符识别、后处理等过程，比较有代表性的为谷歌公司提出的PhotoOCR算法，包含文字区域检测、文本行归并、过分割、基于BeamSearch的分割区域组合、基于HOG特征和全链接神经网络的单字符分类等内容，但该方法需要将OCR系统割裂成过多环节，需要在每个环节上引入过多的人工干预，需要根据场景设定方法集成，难以做到端对端的训练及部署，使用成本过高。并且在识别服务生产流程中，原始系统间割裂导致数据采集流程长时间成本高，上下游信息传递效率差导致
【技术保护点】
1.一种基于深度学习的图像文字识别方法，其特征在于，包括：/n步骤1：对图像进行频域分析、边缘检测、亮度和色彩饱和度分析，判断图像的来源类别；/n步骤2：根据图像的来源类别，通过卷积神经网络提取图像目标区域并对目标区域进行分类，获得一个或多个目标区域以及分类；/n步骤3：通过卷积神经网络构建四分类分类器对目标区域的图像进行朝向矫正，将图像旋转至正向朝向，并通过线段检测和频域信号分析法计算图像的倾斜角度，实行角度矫正后，进行文字检测；/n步骤4：使用目标检测算法，用深度卷积网络计算图像的特征图，对文本行进行目标分割，将每一行文本送入到训练好的识别模型中进行文字识别；/n步骤5...
【技术特征摘要】
1.一种基于深度学习的图像文字识别方法，其特征在于，包括：
步骤1：对图像进行频域分析、边缘检测、亮度和色彩饱和度分析，判断图像的来源类别；
步骤2：根据图像的来源类别，通过卷积神经网络提取图像目标区域并对目标区域进行分类，获得一个或多个目标区域以及分类；
步骤3：通过卷积神经网络构建四分类分类器对目标区域的图像进行朝向矫正，将图像旋转至正向朝向，并通过线段检测和频域信号分析法计算图像的倾斜角度，实行角度矫正后，进行文字检测；
步骤4：使用目标检测算法，用深度卷积网络计算图像的特征图，对文本行进行目标分割，将每一行文本送入到训练好的识别模型中进行文字识别；
步骤5：根据CRNN算法将深度卷积网络和双向循环网络相结合，进行端到端的网络训练；
步骤6：通过训练得到图片中文字所在的位置及模型识别内容，并进行锚点定位、图片缩放和摆正、模板匹配、干扰文本过滤和识别文本二次纠正，提取文字信息。
2.根据权利要求1所述的基于深度学习的图像文字识别方法，其特征在于，所述步骤4中目标检测算法的骨架网络采用残差网络的FPN版本，在多尺寸的特征图上进行RPN目标提取，由RPN网络输出目标区域，再经分类定位的多任务损失判断目标的坐标和类别。
3.根据权利要求1所述的基于深度学习的图像文字识别方法，其特征在于，所述步骤5中CRNN算法，以CNN特征作为输入，通过注意力模型对RNN的状态和上一状态的注意力权重计算出新状态的注意力的权重，再将CNN特征和权重输入RNN，通过编码和解码得到训练结果。
4.根据权利要求1所述的基于深度学习的图像文字识别方法，其特征在于，所述步骤6中的锚点定位，通过一张正摆放的图片用于制作模板，把所在位置和内容固定的文本作为锚点，和当前图片中识别出来的文本进行比对，根据文本的相似度、文本规则完成锚点的定位。
5.根据权利要求4所述的基于深度学习的图像文字识别方法，其特征在于，所述步骤6中的图片缩放和摆正，在模板匹配的基础上根据图片中匹配的锚点与模板图上的锚点计算透视矩阵，对图片进行缩放和投影变换，完成图片...
【专利技术属性】
技术研发人员：高铭，叶君峰，吉振领，连云娟，
申请(专利权)人：上海天壤智能科技有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。