识别单据上记载的信息的方法及系统技术方案

本公开涉及一种识别单据上记载的信息的方法，包括：基于所述单据的影像和预先训练的第一模型，识别所述单据上的一个或多个区域中的每个区域的位置，所述一个或多个区域中的每个区域与所述单据上记载的全部或部分信息相关联，其中，所述第一模型是基于神经网络的模型；以及基于所述单据的影像、所述一个或多个区域中的每个区域的所述位置、以及预先训练的第二模型，识别所述一个或多个区域中的每个区域中的字符，从而确定所述单据上记载的信息，其中，所述第二模型是基于神经网络的模型。本公开还涉及一种识别单据上记载的信息的系统。本公开能够高效、准确地识别各种单据上记载的信息。

Method and system for identifying information recorded on documents

The present disclosure relates to a method of identifying information recorded on a document, including identifying the location of each region in one or more regions on the document, each region in the one or more regions, and all or part of the information recorded on the document, based on the image of the document and a first pre-trained model of the document. The first model is a model based on a neural network, and the single is determined by recognizing the characters in each region of the one or more regions based on the image of the document, the position of each region in the one or more regions, and a second pre-trained model. According to the information recorded, the second model is based on the neural network model. The disclosure also relates to a system for identifying information recorded on a document. The disclosure can efficiently and accurately identify information recorded on various documents.

【技术实现步骤摘要】
识别单据上记载的信息的方法及系统
本公开涉及一种识别单据上记载的信息的方法及系统。
技术介绍
准确地识别各种单据上记载的信息是不简单的。因此，存在对新技术的需求。
技术实现思路
本公开的一个目的是提供一种识别单据上记载的信息的方法及系统。根据本公开的第一方面，提供了一种识别单据上记载的信息的方法，包括：基于所述单据的影像和预先训练的第一模型，识别所述单据上的一个或多个区域中的每个区域的位置，所述一个或多个区域中的每个区域与所述单据上记载的全部或部分信息相关联，其中，所述第一模型是基于神经网络的模型；以及基于所述单据的影像、所述一个或多个区域中的每个区域的所述位置、以及预先训练的第二模型，识别所述一个或多个区域中的每个区域中的字符，从而确定所述单据上记载的信息，其中，所述第二模型是基于神经网络的模型。根据本公开的第二方面，提供了一种识别单据上记载的信息的系统，包括：第一模型，所述第一模型是基于神经网络的模型；第二模型，所述第二模型是基于神经网络的模型；以及一个或多个第一装置，所述一个或多个第一装置被配置为：基于所述单据的影像和所述第一模型，识别所述单据上的一个或多个区域中的每个区域的位置，所述一个或多个区域中的每个区域与所述单据上记载的全部或部分信息相关联；以及基于所述单据的影像、所述一个或多个区域中的每个区域的所述位置、以及所述第二模型，识别所述一个或多个区域中的每个区域中的字符，从而确定所述单据上记载的信息。根据本公开的第三方面，提供了一种获取单据上记载的信息的设备，将所述单据的影像传送给如上所述的系统；以及从所述系统获取被数字化了的由所述系统识别出的所述单据上记载的信息。根据本公开的第四方面，提供了一种识别单据上记载的信息的系统，包括：一个或多个处理器；以及一个或多个存储器，所述一个或多个存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，其中，当所述一系列计算机可执行的指令被所述一个或多个处理器执行时，使得所述一个或多个处理器进行如上所述的方法。根据本公开的第五方面，提供了一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列计算机可执行的指令被一个或多个计算装置执行时，使得所述一个或多个计算装置进行如上所述的方法。通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。附图说明构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：图1是示意性地示出根据本公开的一个实施例的单据的示例的至少一部分的示意图。图2A和图2B是分别示意性地示出根据本公开的一个实施例的识别单据上记载的信息的方法的至少一部分的框图。图3是示意性地示出根据本公开的一个实施例的识别单据上记载的信息的方法的至少一部分的流程图。图4是示意性地示出根据本公开的一个实施例的识别单据上记载的信息的系统的至少一部分的结构图。图5是示意性地示出根据本公开的一个实施例的识别单据上记载的信息的系统的至少一部分的结构图。注意，在以下说明的实施方式中，有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分，而省略其重复说明。在本说明书中，使用相似的标号和字母表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。具体实施方式以下将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。在下面描述中，为了更好地解释本公开，阐述了许多细节，然而可以理解的是，在没有这些细节的情况下也可以实践本公开。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。本公开提供了一种识别单据上记载的信息的方法。本公开的方法包括：基于单据的影像和预先训练的第一模型，识别单据上的一个或多个区域中的每个区域的位置，一个或多个区域中的每个区域与单据上记载的全部或部分信息相关联，其中，第一模型是基于神经网络的模型；以及基于单据的影像、一个或多个区域中的每个区域的位置、以及预先训练的第二模型，识别一个或多个区域中的每个区域中的字符，从而确定单据上记载的信息，其中，第二模型是基于神经网络的模型。应当理解，本公开所称的“单据”是指在其上记载有信息的实体，这些信息以一些模式被布置在单据上，并由中文字、外文字、数字、符号、图形等中的一种或多种形式来承载。本公开所称的“单据”的一些具体示例可以是，发票、账单、税单、收据、购物清单、餐饮小票、保险单、报销单、存款流水单、信用卡对账单、快递单、行程单、车票、登机牌、专利公开文本的信息页、选票、调查问卷、评价表、签到表、申请表等各种由人工和/或机器填写的单据。本领域技术人员可以理解，本公开所称的“单据”不限于本文所列出的这些具体示例，而且不限于与金融或商业有关的票据，也不限于其上带有公章的单据，可以是带有打印字体的单据也可以是带有手写字体的单据，可以是具有规定和/或通用格式的单据也可以不是具有规定和/或通用格式的单据。单据的影像是指以可视化方式呈现的单据，例如单据的图片、视频等。区域的位置可以是能够表示这个区域在单据中的位置的任何形式，例如，区域的位置可以是区域的顶点(一个或多个)在单据中的坐标(绝对或相对坐标)，也可以是区域的顶点(一个或多个)在单据中的坐标(绝对或相对坐标)和边长(一个或多个)，还可以是区域的中心(一个或多个)的在单据中的坐标(绝对或相对坐标)和半径(一个或多个)。每个区域中的字符可以是中文字、外文字、数字、符号、图形等中的一种或多种。识别出单据上的一个或多个区域中的每个区域中的字符，就可以根据这些字符所承载的信息来确定单据上记载的信息。例如，对于如图1所示的单据100，先基于预先训练的第一模型识别出单据100上的区域110、120、130、140的位置，其中每个区域与单据100上记载的一种信息相关联；然后基于预先训练的第二模型识别出各个区域110、120、130、140中的字符，从而就能确定单据100上的每个区域中所记载的信息的内容。本领域技术人员可以理解，图1中示出的单据100仅仅是示意性的，其不能用来限制本公开。虽然图1中仅示出了4个区域，但本公开的单据上的区域显然还可以更少或者更多。虽然图1所示出的区域110、120、130、140的边界均是以矩形界定的，但其边界还可以是由圆形、椭圆形、其他多边形(例如三角形、平行四边形、梯形等)、不规则形状等来界定的。本公开的单据上的任一个区域均可以布置在单据中的任何位置，例如，在图1中，区域110与区域120可以是距离较近的甚至是相邻的，区域130可以是位于单据100的边缘的，区域140比起其他区域可以是较小的。当然，本领域技术人员还可以理本文档来自技高网...

【技术保护点】
1.一种识别单据上记载的信息的方法，其特征在于，包括：基于所述单据的影像和预先训练的第一模型，识别所述单据上的一个或多个区域中的每个区域的位置，所述一个或多个区域中的每个区域与所述单据上记载的全部或部分信息相关联，其中，所述第一模型是基于神经网络的模型；以及基于所述单据的影像、所述一个或多个区域中的每个区域的所述位置、以及预先训练的第二模型，识别所述一个或多个区域中的每个区域中的字符，从而确定所述单据上记载的信息，其中，所述第二模型是基于神经网络的模型。

【技术特征摘要】
1.一种识别单据上记载的信息的方法，其特征在于，包括：基于所述单据的影像和预先训练的第一模型，识别所述单据上的一个或多个区域中的每个区域的位置，所述一个或多个区域中的每个区域与所述单据上记载的全部或部分信息相关联，其中，所述第一模型是基于神经网络的模型；以及基于所述单据的影像、所述一个或多个区域中的每个区域的所述位置、以及预先训练的第二模型，识别所述一个或多个区域中的每个区域中的字符，从而确定所述单据上记载的信息，其中，所述第二模型是基于神经网络的模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述单据的影像和所述第一模型，还识别与所述一个或多个区域中的每个区域相关联的信息的信息类型；以及基于识别出的与所述一个或多个区域中的每个区域相关联的信息的所述信息类型、以及识别出的所述一个或多个区域中的每个区域中的所述字符，来确定所述单据上记载的信息。3.根据权利要求1所述的方法，其特征在于，在识别所述单据上的一个或多个区域中的每个区域的位置之前，所述方法还包括：基于所述单据的影像和预先训练的第三模型，识别所述单据的类别，其中，所述第三模型是基于神经网络的模型；以及根据识别出的所述类别来选择将要使用的所述第一模型和/或所述第二模型。4.根据权利要求3所述的方法，其特征在于，所述类别至少包括语种。5.根据权利要求1所述的方法，其特征在于，所述第一模型通过如下过程得到：对第一单据影像样本训练集中的每个单据影像样本进行标注处理，以标注出每个所述单据影像样本中的一个或多个区域中的每个区域的位置，所述一个或多个区域中的每个区域与所述单据影像样本中的全部或部分信息相关联；以及通过经过所述标注处理的所述第一单据影像样本训练集，对第一神经网络进行训练，以得到所述第一模型。6.根据权利要...

【专利技术属性】
技术研发人员：徐青松，陈明权，罗欢，
申请(专利权)人：杭州睿琪软件有限公司，
类型：发明
国别省市：浙江,33