基于特征点的票据对齐和八邻域连通体偏移修正的文本区域定位方法技术

本发明专利技术涉及图像的技术领域，更具体地，涉及基于特征点的票据对齐和八邻域连通体偏移修正的文本区域定位方法。本发明专利技术提出了一种新颖且高效的双阶段文字区域定位方法，即第一阶段首先对票据图像标准化到统一尺寸，利用SIFT特征点匹配的思路，对每张待识别的票据进行特征提取，并与其对应的模板基准图进行特征点匹配，求得变换矩阵后进行投射变换，完成票据对齐。第二阶段利用已有的模板信息对其中一个信息区域使用八领域搜索连通体并将八领域内符合约定性质的连通体以一定顺序加入队列，并通过计算队列队首连通体的中心与该模板信息区中点的偏移量，推断出其余信息区的预测位置，并且通过对进行偏移修正后的各个区域的位置中是否存在合适的连通体来推断偏移量的计算是否准确。本方法结合了计算机视觉中特征点匹配算法以及基于位置搜索算法，实现了对模板信息区域的精确定位，尤其对套打偏移严重的票据有很好的效果。

【技术实现步骤摘要】
基于特征点的票据对齐和八邻域连通体偏移修正的文本区域定位方法
本专利技术涉及图像的
，更具体地，涉及基于特征点的票据对齐和八邻域连通体偏移修正的文本区域定位方法。
技术介绍
在基于模板的票据自动化识别的系统往往采取直接根据每类模板中定义好的信息区的位置直接定位待识别的票据的位置，这种模板信息区域直接定位方法的方法定位正确率偏低。这是因为每张票据都有自身的特点，因为拍摄角度和票据完好程度的不同，这导致了直接套用模板信息来定位文本成功率并不高，这导致后面的文字识别的失败。中国专利公开号CN104916034A公开了一种基于可干预模板的票据识别系统及识别方法，该系统中的感兴趣文本区域定位是直接采用原有模板的文本的位置信息，并没有对文本定位作出额外的优化操作。此方法对和模板票据拍摄尺寸存在差异或者套打效果明显的票据的定位基本失效。中国专利公开号CN107622255A公开了一种基于位置模板与语义模板的票据字段定位方法及系统，该系统在感兴趣文本的定位中同样简单使用位置模板信息，此方法对于一些拍摄角度存在差异导致图像中的票据尺寸与模板票据尺寸不同的票据并不适用。同时该系统针对套打类发票的文本定位使用了位置信息与票据标志字段相结合的方法进行位置修正，但此方法要求首先为每类发票定义好特征字段并通过检测每张发票的特征字段来计算相对偏移，此方法具有局限性。第一此法需要人工为每类票据设计特征字段，费时费力，而且并不能保证为每类票据都能够设计出特征标记；第二在搜索特征字段时可能因为识别错误而导致特征字段寻找失败进而文本定位失败；第三，采用此法的前提是需要对所有文本行进行识别，效率很低。
技术实现思路
本专利技术为克服上述现有技术所述的至少一种缺陷，提供基于特征点的票据对齐和八邻域连通体偏移修正的文本区域定位方法，基于特征点匹配对齐和八邻域连通体偏移修正的文字区域定位方法能对绝大多数的票据在进行基于模板的文字定位的系统中，利用特征点信息完成票据对齐，并通过高效的连通体搜索算法准确计算出偏移误差，进而成功解决定套打票据文本定位难的问题。整套定位算法能解决大多数票据的定位问题，该方法有很强的普适性。本专利技术的技术方案是：基于特征点的票据对齐和八邻域连通体偏移修正的文本区域定位方法，其中，包括基于特征点匹配的票据对齐和八邻域连通体偏移修正两大部分，基于特征点匹配的票据对齐部分是整个文本区域定位算法的第一个阶段，首先对票据尺寸标准化，并对票据进行SIFT特征点提取，再与模板票据特征点进行特征匹配，求得变换矩阵，并进行投射变换，完成第一阶段的票据对齐；八邻域连通体偏移修正是文本区域定位算法的第二阶段，在票据已经对齐的基础上，选取其中一个信息区域作为主操作区域，根据原有票据模板上的文字区域信息与连通体队列的偏移误差，并使用该偏移误差对模板其他区域的位置进行修正，进而求得每个信息区域的精确位置。进一步的，所述的同类的票据对齐是通过特征点的提取和匹配计算求得变换矩阵，并根据该变换矩阵进行透视变换，完成票据对齐。进一步的，所述的对票据模板内的某个信息区域生成八邻域搜索区，然后对搜索区进行二值化和形态学处理，并将搜索区域内的连通体按照指定顺序入队列存储，生成主连通体队列。进一步的，所述的搜索区域内的连通体按照指定顺序入队列存储的顺序为中、右、左、上、下、右上、右下、左上、左下。进一步的，计算队列首部的连通体的中心坐标，并计算该坐标与模板内该区域的中心坐标的偏移，并以该偏移量修正其他模板内信息区域的位置，并对计算后的信息区同样八邻域搜索连通体并将其入队，若其他位置的连通体队列中定位到符合条件的连通体，则表明该偏移量计算正确，否则连通体出队，继续对主队列里下一个连通体进行相同的操作。票据对齐为整套定位算法的第一阶段，票据对齐阶段的具体步骤如下：（1）首先对待处理票据图像进行尺寸标准化，即对其缩放至该类票据的指定尺寸。（2）对待处理的票据图像进行灰度化，然后进行SIFT特征点提取，并与相对应的模板图像的特征点进行匹配，进而求得变换矩阵H。（3）根据变换矩阵H对待处理图像进行投射变换，得到变换后的票据图像，完成了待处理图像与基准图像的对齐操作。一般而言，对于普通、非套打票据的文字定位，在进行第一阶段的票据对齐后直接套用模板内的信息区域位置信息就可以获取到准确的文本区域。若要解决套打票据文字偏移的问题，还需要继续进行算法的第二阶段，即偏移修正阶段，其具体步骤如下：（1）随机选取模板中某个信息区域作为主操作区，以该区域的尺寸向其四周共八个方向进行扩展，生成八邻域搜索区。（2）对该八邻域搜索区进行二值化和相应的形态学处理，对九个格子内的连通体按照一定规则进行入队存储。（3）计算队列第一个连通体的中心坐标，以此坐标与该区域模板信息中心坐标作差值，得出偏移量K。（4）根据该偏移量K重新计算其他信息区域的具体位置信息，得到新的信息区域位置信息，并对各个新的位置适当放大位置区域，检测该区域内是否存在符合该区域约定条件的连通体，有则表明该偏移量就是真实偏移量，偏移修正阶段完成，否则对队列中下一个连通体进行相同的偏移修正操作。与现有技术相比，有益效果是：本专利技术充分利用了票据间相似度较高，可以借助同类票票据间特征点完成票据的对齐。在票据已经对齐的基础上，我们利用套打字体间相对位置不变的特点，使用八邻域连通体偏移矫正进行文本的准确定位。该方法适用的票据很广，且无需事先设计特征标志辅助定位，操作简单而且准确率高。附图说明图1表示本专利技术的算法框架。图2表示算法第二阶段时的八邻域搜索示意图。图3表示偏移修正阶段的算法过程。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。如图1所示，我们该方案分为票据对齐和偏移修正两大阶段。票据对齐阶段的具体步骤包括：（1）读取待识别的票据图像，对其进行分类并获得相对应的票据模板信息；（2）对待识别图像灰度化处理，并对其尺寸标准化为该类票据的统一尺寸；（3）对该图像进行SIFT特征点提取，将该图的特征点点集与模板图像的特征点点集进行匹配，求得变换矩阵H；（4）根据变换矩阵H对该图进行透视变换，实现当前票据与模板票据的配准，即实现了票据的对齐。如图3所示，票据偏移修正阶段的具体步骤包括：（1）我们随机选取该类模板中任意一个信息区域作为主操作区，并对该区域的八个方向生成与其大小相同的搜索区域，如图2所示，主操作区一共包含九个格子；（2）我们对这个九个格子的搜索区进行二值化和形态学处理，使用膨胀操作使得文本行粘连成一块形成连通体，使用腐蚀操作使得小颗粒小噪声消除；（3）对搜索区内的连通体按照一定顺序进行入队存储，其中的入队顺序根据每个连通体的中心落入九个格子中的哪一个来决定当前连通体的优先级，各个格子的优先级如图2所示，1为最高优先级，9为最低优先级。入队时按照连通体的优先级的高低来决定入队顺序，优先级高的连通体先入队；（4）计算队列第一个连通体的中心坐标，以此坐标与该区域模板信息中心坐标作差值，得出偏移量K；（5）根据该偏移量本文档来自技高网...

【技术保护点】
1.基于特征点的票据对齐和八邻域连通体偏移修正的文本区域定位方法，其特征在于，包括基于特征点匹配的票据对齐和八邻域连通体偏移修正两大部分，基于特征点匹配的票据对齐部分是整个文本区域定位算法的第一个阶段，首先对票据尺寸标准化，并对票据进行SIFT特征点提取，再与模板票据特征点进行特征匹配，求得变换矩阵，并进行投射变换，完成第一阶段的票据对齐；八邻域连通体偏移修正是文本区域定位算法的第二阶段，在票据已经对齐的基础上，选取其中一个信息区域作为主操作区域，根据原有票据模板上的文字区域信息与连通体队列的偏移误差，并使用该偏移误差对模板其他区域的位置进行修正，进而求得每个信息区域的精确位置。

【技术特征摘要】
1.基于特征点的票据对齐和八邻域连通体偏移修正的文本区域定位方法，其特征在于，包括基于特征点匹配的票据对齐和八邻域连通体偏移修正两大部分，基于特征点匹配的票据对齐部分是整个文本区域定位算法的第一个阶段，首先对票据尺寸标准化，并对票据进行SIFT特征点提取，再与模板票据特征点进行特征匹配，求得变换矩阵，并进行投射变换，完成第一阶段的票据对齐；八邻域连通体偏移修正是文本区域定位算法的第二阶段，在票据已经对齐的基础上，选取其中一个信息区域作为主操作区域，根据原有票据模板上的文字区域信息与连通体队列的偏移误差，并使用该偏移误差对模板其他区域的位置进行修正，进而求得每个信息区域的精确位置。2.根据权利要求1所述的基于特征点的票据对齐和八邻域连通体偏移修正的文本区域定位方法，其特征在于：所述的同类的票据对齐是通过特征点的提取和匹配计算求得变换矩阵，并根据该变换矩阵进行透视变换，完成票据对齐。3.根据权利要求1所述的...

【专利技术属性】
技术研发人员：李浚时，李文军，陈龙，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44