一种单据识别方法以及识别系统技术方案

本发明专利技术实施例涉及一种单据识别方法以及识别系统。本发明专利技术实施例的单据识别方法首先对单据图片进行图像增强处理；然后采用孪生神经网络对增强的单据图片进行质量评分，并将质量评分不低于预定阈值的单据图片认定为待识别单据图片；接着使用第一CNN定位所述待识别单据图片的四个角点，沿着四个角点抠取待识别区域；之后采用FPN对所述待识别区域进行文本框检测获得多个文本框；接着使用CRNN以及CTC对检测获得的所述多个文本框进行文本识别，得到每个文本框对应的字符段；最后使用TextCNN对识别得到的字符段进行识别，得到各个字符段对应的字符识别结果。本发明专利技术可提高单据识别效率以及录入效率，降低录入成本。

【技术实现步骤摘要】
一种单据识别方法以及识别系统
本专利技术实施例涉及图像识别领域，具体涉及一种单据识别方法以及识别系统。
技术介绍
目前光学字符识别（OpticalCharacterRecognition，简称OCR）算法已经逐渐达到成熟阶段，OCR识别技术也逐渐在各大场景中落地，比如身份证识别、银行卡识别、驾驶证识别等。而对单据识别的需求也逐渐在市场中显现出来，利用自动化识别单据的方法来取代人工输入的方式，也越来越成为未来的趋势。目前已经有一些单据识别的解决方案，但这些方法在使用中暴露出了一些弊端，一部分现有方案使用的是传统的文本检测识别等方法，但是传统方法对于光照甚至图片质量泛化能力较差，一些曝光场景或者图片质量较差时，效果都没有深度学习方法好。一部分现有方案使用了深度学习方法识别字段，但后处理时使用的是位置区域查找。此举使多样的单据版式受到很大的影响。在新增的一些版式情况下，就会失效；另外基本上所有的现有方案都没有对单据本身的质量有要求，如果单据本身质量不行，识别出来的效果会大打折扣。因此，需要一种单据识别方法以及识别系统，以提高单据识别效率以及录入效率，降低录入成本，此已成为业界亟待解决的技术问题。
技术实现思路
为了解决现有技术存在的问题，本专利技术的至少一个实施例提供了一种单据识别方法以及识别系统。第一方面，本专利技术实施例提出一种单据识别方法，包括：步骤一、对单据图片进行图像增强处理；步骤二、采用孪生神经网络，对增强的单据图片进行质量评分，并将质量评分不低于预定阈值的单据图片认定为待识别单据图片；步骤三、使用第一卷积神经网络CNN定位所述待识别单据图片的四个角点，沿着四个角点抠取待识别区域；步骤四、采用特征金字塔网络FPN，对所述待识别区域进行文本框检测而获得多个文本框；步骤五、使用卷积递归神经网络CRNN以及时序分类网络CTC对检测获得的所述多个文本框进行文本识别，得到每个文本框对应的字符段；以及步骤六、使用文本卷积神经网络TextCNN对识别得到的字符段进行识别，得到各个字符段对应的字符识别结果。在一些实施例中，所述步骤一中的所述图像增强处理包括对待识别单据图片进行亮度调节、明暗度调节、饱和度调节、裁剪、拉伸、旋转、仿射变换、透视变换中的至少一种处理。在一些实施例中，步骤二中对由于抖动、机械运行、光照因素造成所述质量评分低于所述预定阈值的单据图片停止识别。在一些实施例中，步骤二中的所述孪生神经网络包括主干网络、以及与所述主干网络串联且相互并联的第一卷积层及RELU层以及第二卷积层及RELU层，在训练时所述第一卷积层及RELU层以及第二卷积层及RELU层每次各被输入第一图片以及第二图片，所述主干网络输出的维度为一的质量得分，质量得分与第一图片以及第二图片的熵函数之间的差值为最终的传播损失，所述第一图片的质量分数大于所述预定阈值，所述第二图片的质量分数小于所述预定阈值。在一些实施例中，步骤二中将单据图片与其质量评分高于所述预定阈值的底库图片成对送入训练好的孪生神经网络中，所述孪生神经网络对应输出质量得分，在质量得分不低于所述预定阈值时，所述单据图片被认定为待识别单据图片。在一些实施例中，步骤四中使用渐进式规模扩展网络PSEnet对所述待识别区域进行文本框检测获得多个文本框，所述PSEnet通过Resnet50残差网络提取所述待识别区域的特征，并利用FPN融合深层及底层的特征，得到特征图p2、p3、p4以及p5，再通过对应函数得到最终预测的融合特征F；所述PSEnet基于分割的方式，生成不同核尺寸的分割实例S1、S2、…、Sn，对文本框不同核大小做预测，采用渐进式扩展算法扩展最小尺度核S1到最大尺度核Sn，从而获得最终的检测结果R。在一些实施例中，步骤五中所述CRNN包括卷积层、LSTM层以及转录层，所述卷积层自动从所述多个文本框中提取图像卷积特征，然后所述LSTM层进一步提取图像卷积特征中的序列特征，所述转录层进行每帧预测并将得到的特征序列输入到时序分类网络CTC由其对所述特征序列进行预测而获得对应的字符段。第二方面，本专利技术实施例还提供一种单据识别系统，包括：单据增强处理模块，其用于对单据图片进行图像增强处理；单据质量分析模块，其采用孪生神经网络，对增强的单据图片进行质量评分，并将其质量评分不低于预定阈值的单据图片认定为待识别单据图片；单据定位模块，其使用第一卷积神经网络CNN定位待识别单据图片的四个角点，沿着四个角点抠取待识别区域；文本检测模块，其采用特征金字塔网络FPN，对所述待识别区域进行文本框检测而获得多个文本框；文本识别模块，其使用卷积递归神经网络CRNN以及时序分类网络CTC对检测获得的所述多个文本框进行文本识别，得到每个文本框对应的字符段；以及NLP语义分类模块，其使用文本卷积神经网络TextCNN对识别得到的字符段进行识别，得到各个字符段对应的字符段识别结果。在一些实施例中，所述单据图片处理模块的所述图像增强处理包括对待识别单据图片进行亮度调节、明暗度调节、饱和度调节、裁剪、拉伸、旋转、仿射变换、透视变换中的至少一种处理。在一些实施例中，所述单据识别系统对由于抖动、机械运行、光照因素造成所述质量评分低于所述预定阈值的单据图片停止识别。在一些实施例中，所述孪生神经网络包括主干网络、以及与所述主干网络串联且相互并联的第一卷积层及RELU层以及第二卷积层及RELU层，在训练时所述第一卷积层及RELU层以及第二卷积层及RELU层每次各被输入第一图片以及第二图片，所述主干网络输出的维度为一的质量得分，质量得分与第一图片以及第二图片的熵函数之间的差值为最终的传播损失，所述第一图片的质量分数大于所述预定阈值，所述第二图片的质量分数小于所述预定阈值。在一些实施例中，所述训练好的孪生神经网络接收成对送入其中的单据图片以及质量评分高于所述预定阈值的底库图片，孪生神经网络对应输出质量得分，在质量得分不低于所述预定阈值时，所述单据图片被认定为待识别单据图片。在一些实施例中，所述单据定位模块的第一CNN包括输入层、第一瓶颈层以及第二瓶颈层，单据图片经所述输入层输入并经所述第一瓶颈层以及第二瓶颈层处理后输出四个角点位置；所述第一瓶颈层或第二瓶颈层包括直连部分、以及与所述直连部分并联且相互串接的sigmoid函数以及全连接层，所述直连部分包括相互串接的第一3×3卷积层、1×1卷积层以及第二3×3卷积层。在一些实施例中，所述文本检测模块为渐进式规模扩展网络PSEnet，所述PSEnet通过Resnet50残差网络提取所述待识别区域的特征，并利用FPN融合深层及底层的特征，得到特征图p2、p3、p4以及p5，再通过对应函数得到最终预测的融合特征F；PSEnet基于分割的方式，生成不同核尺寸的分割实例S1、S2、…、Sn，对文本框不同核大小做预测，采用渐进式扩展算法扩展最小尺度核S1到最大尺度核Sn，从而获得最终的检测结果R。在一些实施本文档来自技高网...

【技术保护点】
1.一种单据识别方法，包括：/n步骤一、对单据图片进行图像增强处理；/n步骤二、采用孪生神经网络，对增强的单据图片进行质量评分，并将质量评分不低于预定阈值的单据图片认定为待识别单据图片；/n步骤三、使用第一卷积神经网络CNN定位所述待识别单据图片的四个角点，沿着四个角点抠取待识别区域；/n步骤四、采用特征金字塔网络FPN，对所述待识别区域进行文本框检测而获得多个文本框；/n步骤五、使用卷积递归神经网络CRNN以及时序分类网络CTC对检测获得的所述多个文本框进行文本识别，得到每个文本框对应的字符段；以及/n步骤六、使用文本卷积神经网络TextCNN对识别得到的字符段进行识别，得到各个字符段对应的字符识别结果。/n

【技术特征摘要】
1.一种单据识别方法，包括：
步骤一、对单据图片进行图像增强处理；
步骤二、采用孪生神经网络，对增强的单据图片进行质量评分，并将质量评分不低于预定阈值的单据图片认定为待识别单据图片；
步骤三、使用第一卷积神经网络CNN定位所述待识别单据图片的四个角点，沿着四个角点抠取待识别区域；
步骤四、采用特征金字塔网络FPN，对所述待识别区域进行文本框检测而获得多个文本框；
步骤五、使用卷积递归神经网络CRNN以及时序分类网络CTC对检测获得的所述多个文本框进行文本识别，得到每个文本框对应的字符段；以及
步骤六、使用文本卷积神经网络TextCNN对识别得到的字符段进行识别，得到各个字符段对应的字符识别结果。


2.根据权利要求1所述的单据识别方法，其特征在于，所述步骤一中的所述图像增强处理包括对待识别单据图片进行亮度调节、明暗度调节、饱和度调节、裁剪、拉伸、旋转、仿射变换、透视变换中的至少一种处理。


3.根据权利要求1所述的单据识别方法，其特征在于，步骤二中对由于抖动、机械运行、光照因素造成所述质量评分低于所述预定阈值的单据图片停止识别；步骤二中的所述孪生神经网络包括主干网络、以及与所述主干网络串联且相互并联的第一卷积层及RELU层以及第二卷积层及RELU层，在训练时所述第一卷积层及RELU层以及第二卷积层及RELU层每次各被输入第一图片以及第二图片，所述主干网络输出的维度为一的质量得分，质量得分与第一图片以及第二图片的熵函数之间的差值为最终的传播损失，所述第一图片的质量分数大于所述预定阈值，所述第二图片的质量分数小于所述预定阈值；步骤二中将单据图片与其质量评分高于所述预定阈值的底库图片成对送入训练好的孪生神经网络中，所述孪生神经网络对应输出质量得分，在质量得分不低于所述预定阈值时，所述单据图片被认定为待识别单据图片。


4.根据权利要求1所述的单据识别方法，其特征在于，步骤四中使用渐进式规模扩展网络PSEnet对所述待识别区域进行文本框检测获得多个文本框，所述PSEnet通过Resnet50残差网络提取所述待识别区域的特征，并利用FPN融合深层及底层的特征，得到特征图p2、p3、p4以及p5，再通过对应函数得到最终预测的融合特征F；所述PSEnet基于分割的方式，生成不同核尺寸的分割实例S1、S2、…、Sn，对文本框不同核大小做预测，采用渐进式扩展算法扩展最小尺度核S1到最大尺度核Sn，从而获得最终的检测结果R。


5.根据权利要求1所述的单据识别方法，其特征在于，步骤五中所述CRNN包括卷积层、LSTM层以及转录层，所述卷积层自动从所述多个文本框中提取图像卷积特征，然后所述LSTM层进一步提取图像卷积特征中的序列特征，所述转录层进行每帧预测并将得到的特征序列输入到时序分类网络CTC由其对所述特征序列进行预测而获得对应的字符段。


6.一种单据识别系统，包括：
单据增强处理模块，其用于对单据图片进行图像增强处理；
单据质量分析模块，其采用孪生神经网络，对增强的单据图片进行质量评分，并将其质量评分不低于预定阈值的单据图片...

【专利技术属性】
技术研发人员：王普，黄明飞，梁维斌，
申请(专利权)人：开放智能机器上海有限公司，
类型：发明
国别省市：上海;31