票据识别方法及装置、电子设备及存储介质制造方法及图纸

本公开涉及票据识别方法及装置、电子设备及存储介质。该方法包括：对待识别图像进行字符检测，确定所述待识别图像中的至少一个字符区域；对所述至少一个字符区域进行字符识别，确定所述至少一个字符区域中的字符内容；基于所述待识别图像对应的票据模板数据以及所述至少一个字符区域中的字符内容，得到票据识别结果。本公开能够自动识别票据中的所有字符内容，无需人工进行票据审核和查验，大大提高了票据识别效率以及准确性。

【技术实现步骤摘要】
票据识别方法及装置、电子设备及存储介质
本公开涉及计算机视觉
，尤其涉及一种票据识别方法及装置、电子设备及存储介质。
技术介绍
目前，需要人工对票据进行审核和查验。例如，机动车销售统一发票为购货单位的付款凭证，目前需要人工对机动车销售统一发票进行审核和查验。票据的审核和查验需要大量的人力，工作效率低，且易出错。
技术实现思路
有鉴于此，本公开提出了一种票据识别技术方案。根据本公开的一方面，提供了一种票据识别方法，包括：对待识别图像进行字符检测，确定所述待识别图像中的至少一个字符区域；对所述至少一个字符区域进行字符识别，确定所述至少一个字符区域中的字符内容；基于所述待识别图像对应的票据模板数据以及所述至少一个字符区域中的字符内容，得到票据识别结果。在一种可能的实现方式中，在对待识别图像进行字符检测之前，所述方法还包括：在所述待识别图像存在倾斜或扭曲的情况下，校正所述待识别图像，得到校正处理后的所述待识别图像；所述对待识别图像进行字符检测，包括：对所述校正处理后的所述待识别图像进行字符检测。在一种可能的实现方式中，所述校正所述待识别图像，得到校正处理后的所述待识别图像，包括：确定所述待识别图像的目标顶点坐标；根据所述待识别图像的目标顶点坐标以及所述待识别图像的初始顶点坐标，确定所述待识别图像对应的投影矩阵；根据所述投影矩阵对所述待识别图像进行投影变换，得到校正处理后的所述待识别图像。在一种可能的实现方式中，所述对待识别图像进行字符检测，确定所述待识别图像中的至少一个字符区域，包括：通过第一神经网络对所述待识别图像进行字符检测，确定所述待识别图像中的至少一个字符区域。在一种可能的实现方式中，所述对所述至少一个字符区域进行字符识别，确定所述至少一个字符区域中的字符内容，包括：对水平方向的距离小于第一阈值的至少两个字符区域进行合并，得到至少一个文本行区域；对所述至少一个文本行区域进行字符识别，得到所述至少一个文本行区域中的字符内容。在一种可能的实现方式中，在对所述至少一个文本行区域进行字符识别之前，所述方法还包括：基于所述至少一个文本行区域中每个文本行区域在水平方向上的尺寸，对所述至少一个文本行区域进行筛选，得到至少一个目标文本行区域；所述对所述至少一个文本行区域进行字符识别，得到所述至少一个文本行区域中的字符内容，包括：对所述至少一个目标文本行区域进行字符识别，得到所述至少一个目标文本行区域中每个目标文本行区域的文字内容。在一种可能的实现方式中，所述基于所述至少一个文本行区域中每个文本行区域在水平方向上的尺寸，对所述至少一个文本行区域进行筛选，得到至少一个目标文本行区域，包括：从所述至少一个文本行区域中去除水平方向的尺寸小于第二阈值的文本行区域，得到至少一个目标文本行区域；和/或，从所述至少一个文本行区域中去除水平方向的尺寸与竖直方向的尺寸的比值小于第三阈值的文本行区域，得到至少一个目标文本行区域。在一种可能的实现方式中，所述对所述至少一个文本行区域进行字符识别，得到所述至少一个文本行区域中的字符内容，包括：对所述文本行区域进行特征提取处理，得到所述文本行区域的特征图；对所述特征图进行解码处理，得到标签序列，其中，所述标签序列包括至少一个标签，每个标签对应一个字符；基于所述标签序列，获得所述文本行区域的字符内容。在一种可能的实现方式中，所述标签序列的长度与所述特征图的宽度相对应。在一种可能的实现方式中，基于所述标签序列，获得所述文本行区域的字符内容，包括：基于所述标签序列中对应于空格符的至少一个标签，将所述标签序列分割为至少两个子序列；基于所述至少两个子序列中每个子序列中包含的标签，确定所述每个子序列对应的字符内容；基于所述至少两个子序列的排列顺序连接所述至少两个子序列对应的字符内容，得到所述文本行区域的字符内容。在一种可能的实现方式中，基于所述至少两个子序列中每个子序列中包含的标签，确定所述每个子序列对应的字符内容，包括：将所述子序列中相同的至少两个相邻标签进行合并，得到合并处理后的所述子序列；基于合并处理后的所述子序列中包含的标签，确定所述子序列对应的字符内容。在一种可能的实现方式中，所述方法还包括：基于所述至少一个字符区域中的字符内容，确定所述待识别图像对应的票据模板数据。在一种可能的实现方式中，所述基于所述待识别图像对应的票据模板数据以及所述至少一个字符区域中的字符内容，得到票据识别结果，包括：基于所述待识别图像对应的票据模板数据，确定所述待识别图像包含的信息的类别和位置；基于所述待识别图像包含的信息的类别和位置，确定所述待识别图像中的字符内容所属的类别；对属于同一类别的字符内容进行合并，得到所述票据识别结果。根据本公开的一方面，提供了一种票据识别装置，包括：字符检测模块，用于对待识别图像进行字符检测，确定所述待识别图像中的至少一个字符区域；字符识别模块，用于对所述至少一个字符区域进行字符识别，确定所述至少一个字符区域中的字符内容；第一确定模块，用于基于所述待识别图像对应的票据模板数据以及所述至少一个字符区域中的字符内容，得到票据识别结果。在一种可能的实现方式中，所述装置还包括：校正模块，用于在所述待识别图像存在倾斜或扭曲的情况下，校正所述待识别图像，得到校正处理后的所述待识别图像；所述字符检测模块用于：对所述校正处理后的所述待识别图像进行字符检测。在一种可能的实现方式中，所述校正模块包括：第一确定子模块，用于确定所述待识别图像的目标顶点坐标；第二确定子模块，用于根据所述待识别图像的目标顶点坐标以及所述待识别图像的初始顶点坐标，确定所述待识别图像对应的投影矩阵；校正子模块，用于根据所述投影矩阵对所述待识别图像进行投影变换，得到校正处理后的所述待识别图像。在一种可能的实现方式中，所述字符检测模块用于：通过第一神经网络对所述待识别图像进行字符检测，确定所述待识别图像中的至少一个字符区域。在一种可能的实现方式中，所述字符识别模块包括：第一合并子模块，用于对水平方向的距离小于第一阈值的至少两个字符区域进行合并，得到至少一个文本行区域；字符识别子模块，用于对所述至少一个文本行区域进行字符识别，得到所述至少一个文本行区域中的字符内容。在一种可能的实现方式中，所述装置还包括：筛选模块，用于基于所述至少一个文本行区域中每个文本行区域在水平方向上的尺寸，对所述至少一个文本行区域进行筛选，得到至少一个目标文本行区域；所述字符识别子模块用于：对所述至少一个目标文本行区域进行字符识别，得到所述至少一个目标文本行区域中每个目标文本行区域的文字内容。在一种可能的实现方式中，所述筛选模块用于：从所述至少一个文本行区域中去除水平方向的尺寸小于第二阈值的文本行区域，得到至少一个目标文本行区域；和/或，从所述至少一个文本行区域中去除水平方向的尺寸与竖直方向的尺寸的比值小于第三阈值的文本行区域，得到至少一个目标文本行区域。在一种可能的实现方式中，所述字符识别子模块包括：特征提取单元，用于对所述文本行区域进行特征提取处理，得到所述文本行区域的特征图；解码单元，用于对所述特征图进行解码处理，得到标签序列，其中，所述标签序列包括至少一个标签，每个标签对应一个字符；获得单元，用于基于所述标签序列，获得所述文本行区域的字符内容。在一本文档来自技高网...

【技术保护点】
1.一种票据识别方法，其特征在于，包括：对待识别图像进行字符检测，确定所述待识别图像中的至少一个字符区域；对所述至少一个字符区域进行字符识别，确定所述至少一个字符区域中的字符内容；基于所述待识别图像对应的票据模板数据以及所述至少一个字符区域中的字符内容，得到票据识别结果。

【技术特征摘要】
1.一种票据识别方法，其特征在于，包括：对待识别图像进行字符检测，确定所述待识别图像中的至少一个字符区域；对所述至少一个字符区域进行字符识别，确定所述至少一个字符区域中的字符内容；基于所述待识别图像对应的票据模板数据以及所述至少一个字符区域中的字符内容，得到票据识别结果。2.根据权利要求1所述的方法，其特征在于，所述对所述至少一个字符区域进行字符识别，确定所述至少一个字符区域中的字符内容，包括：对水平方向的距离小于第一阈值的至少两个字符区域进行合并，得到至少一个文本行区域；对所述至少一个文本行区域进行字符识别，得到所述至少一个文本行区域中的字符内容。3.根据权利要求2所述的方法，其特征在于，在对所述至少一个文本行区域进行字符识别之前，所述方法还包括：基于所述至少一个文本行区域中每个文本行区域在水平方向上的尺寸，对所述至少一个文本行区域进行筛选，得到至少一个目标文本行区域；所述对所述至少一个文本行区域进行字符识别，得到所述至少一个文本行区域中的字符内容，包括：对所述至少一个目标文本行区域进行字符识别，得到所述至少一个目标文本行区域中每个目标文本行区域的文字内容。4.根据权利要求2或3所述的方法，其特征在于，所述对所述至少一个文本行区域进行字符识别，得到所述至少一个文本行区域中的字符内容，包括：对所述文本行区域进行特征提取处理，得到所述文本行区域的特征图；对所述特征图进行解码处理，得到标签序列，其中，所述标签序列包括至少一个标签，每个标签对应一个字符；基于所述标签序列，获得所述文本行区域的字符内容。5.一种票据识别装置，其特征在于，包括：字符检测模块，用于对待识别图像进行字符检测，确定所述待识别图...

【专利技术属性】
技术研发人员：陈子萍，刘学博，梁鼎，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11