【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，尤其是一种印章弯曲文本行矫正方法、装置及系统。
技术介绍
1、印章识别在很多图像信息提取业务中有重要价值。印章识别一个技术痛点是圆形印章中弯曲文本行的矫正和识别。
2、目前对于该种弯曲文本行的识别可分为端到端识别方案和基于文本行分割、矫正、识别的级联方案。由于端到端方案的识别效果与级联方案相比有很大差距，工业界现以级联方案为主流。而级联方案中的弯曲文本行校正工作为整个流程中的痛点。
3、对于弯曲文本行矫正，当前工业界分为两条方法路线：一条方法路线是使用tps变换将弯曲文本行拉直，该方法路线的缺点是tps变换会引起字符变形(如图4)，这将导致后续的文字识别效果变差；另一条方法路线是字符分割组合，即将弯曲文本行中的每个字符切割出来并组合拼接成直的文本行以达到弯曲矫正的效果，并可避免字符变形问题。但由于第二条方法路线有两点致命缺陷，如今工业界仍首选第一条方法路线的tps变换方法进行弯曲文本行矫正。该方法的效果图如图1所示。
4、具体地，所述第二条路线的主流方法的两点致命缺陷如下：
5、1.对于包含两个或以上弯曲文本行的印章，无法区分不同的文本行实例(即无法区分某一字符应属于哪个文本行)；
6、2.所有印章的弯曲文本行字符排列方向必须一致(全为顺时针或全为逆时针方向)。
技术实现思路
1、为了解决以上问题，本专利技术技术方案提供一种印章弯曲文本行矫正方法、装置及系统。对于任意印章图像，能够分割并矫正所
2、根据本专利技术技术方案的第一方面，提供一种印章弯曲文本行矫正方法，所述印章包含直文本行和/或弯曲文本行，其中，所述印章弯曲文本行矫正方法包括：
3、s1文本分割步骤：接收印章图像，对所述印章图像进行文本分割，得到文本行掩膜、子字符掩膜、弯曲文本行首字符掩膜；
4、s2实例构造步骤：根据以上三个掩膜，将所有文本行区分为直文本行和弯曲文本行，并针对弯曲文本行构成弯曲文本行实例；
5、s3字符排序步骤：对所述弯曲文本行实例包含的所有子字符框进行排序；
6、s4字符切割和拼接步骤：将所述弯曲文本行实例包含的所有子字符框根据所述排序的结果进行透视变换、切割和拼接，得到校正的弯曲文本行内容。
7、进一步地，所述s1文本分割步骤中，采用可差分二值化的实时场景文本检测(real-time scene text detection with differentiable binarization，dbnet)算法模型进行文本分割。
8、进一步地，所述s1文本分割步骤中，所述实时场景文本检测算法模型包含三个结构相同的预测头，分别用于输出所述文本行掩膜、子字符掩膜、弯曲文本行首字符掩膜。
9、进一步地，所述s1文本分割步骤还包括：将经处理后收缩的所述文本行掩膜、子字符掩膜、弯曲文本行首字符掩膜扩充为原实例大小尺寸。
10、进一步地，所述s2实例构造步骤具体包括：
11、s21：根据所述文本行掩膜，确定文本行坐标(文本行轮廓的坐标表示)；
12、s22：将所述文本行坐标映射至所述弯曲文本行首字符掩膜，确定弯曲文本行首字符位置是否存在字符，是，则为弯曲文本行；否，则为直文本行(无需构造实例进行处理)；
13、s23：取所述弯曲文本行，根据所述子字符掩膜将每个子字符的轮廓求取最小外接矩形框，得到每个子字符的子字符框及坐标；
14、s24：将所述子字符框坐标和弯曲文本行的首字符框坐标作为弯曲文本行实例。
15、进一步地，所述s3字符排序步骤具体包括：
16、s31：根据所述弯曲文本行实例包含信息对每个弯曲文本行实例所包含的所有字符进行排序，得到字符排序信息；
17、s32：根据所述弯曲文本行实例包含信息对每个弯曲文本行实例所包含的所有字符的顶点进行排序，得到字符顶点排序信息。
18、进一步地，所述步骤s31具体包括：
19、从每个弯曲文本行实例的子字符框坐标中找到与弯曲文本行的首字符框坐标重叠的子字符框坐标，为第一个字符；剩余字符中与第一个字符距离最近的字符为第二个字符；剩余字符中与第二个字符距离最近的为第三个字符......直到只剩下一个字符，则该字符为最后一个字符；
20、由此得到字符排序信息。
21、进一步地，所述步骤s31中，根据两个字符框中点的直线距得到字符距离。
22、进一步地，所述步骤s32具体包括：
23、s321：对于每个所述弯曲文本行实例，根据字符排序信息计算所有字符的子字符框的中点；
24、s322：取第一个子字符框和第二个子字符框中点，构建前进方向向量；针对第一个子字符框的4个顶点，分别从中点到顶点构建各个顶点方向的方向向量；
25、s323：计算所述前进方向向量与任一顶点方向的方向向量的向量叉积和向量点积，并根据结果确定其为左下顶点、左上顶点、右上顶点或右下顶点；
26、s324：以左下顶点为起点，按照顺时针方向将该子字符框的顶点按顺序排放，以此实现第一个子字符框的顶点顺序排序；
27、s325：以此类推，再取第二个子字符框和第三个子字符框计算，实现第二个子字符框的顶点排序，直至最后一个子字符框，取上一个子字符框和该子字符框组成前进方向向量进行计算，由此得到字符顶点排序信息。
28、进一步地，所述步骤s323中，根据以下原则确定左下顶点、左上顶点、右上顶点或右下顶点：
29、如果叉积小于零且点积小于零，则该顶点为左上顶点；
30、如果叉积小于零且点积大于零，则该顶点为右上顶点；
31、如果叉积大于零且点积小于零，则该顶点为左下顶点；
32、如果叉积大于零且点积大于零，则该顶点为右下顶点。
33、进一步地，所述s4字符切割和拼接步骤具体包括：
34、设定固定的文本行目标高度，每个字符的目标宽度根据自身长宽比进行缩放；
35、针对每个所述弯曲文本行实例，根据所述字符顶点排序信息，在所述印章图像上通过透视变换以所述文本行目标高度将每个目标字符区域切割出来，并根据所述字符排序信息拼接成文本行，由此得到校正的弯曲文本行内容。
36、进一步地，所述步骤s4中，所述文本行目标高度为32像素或48像素。
37、进一步地，所述步骤s4中，在透视变换前将子字符框先左右各外扩0.1个字符宽度，以避免拼接成的文本行，字符因距离过近粘连在一起。
38、根据本专利技术技术方案的第二方面，提供一种印章弯曲文本行矫正装置，所述内容识别装置基于根据以上任一方面所述的印章弯曲文本行矫正方法进行操本文档来自技高网...
【技术保护点】
1.一种印章弯曲文本行矫正方法，所述印章包含直文本行和/或弯曲文本行，其特征在于，所述印章弯曲文本行矫正方法包括：
2.根据权利要求1所述的印章弯曲文本行矫正方法，其特征在于，所述S1文本分割步骤中，采用能够差分二值化的实时场景文本检测算法模型进行文本分割。
3.根据权利要求2所述的印章弯曲文本行矫正方法，其特征在于，所述S1文本分割步骤中，所述实时场景文本检测算法模型包含三个结构相同的预测头，分别用于输出所述文本行掩膜、子字符掩膜、弯曲文本行首字符掩膜。
4.根据权利要求1所述的印章弯曲文本行矫正方法，其特征在于，所述S1文本分割步骤还包括：将经处理后收缩的所述文本行掩膜、子字符掩膜、弯曲文本行首字符掩膜扩充为原实例大小尺寸。
5.根据权利要求1所述的印章弯曲文本行矫正方法，其特征在于，所述S2实例构造步骤具体包括：
6.根据权利要求1所述的印章弯曲文本行矫正方法，其特征在于，所述S3字符排序步骤具体包括：
7.根据权利要求6所述的印章弯曲文本行矫正方法，其特征在于，所述步骤S31具体包括：
8
9.根据权利要求6所述的印章弯曲文本行矫正方法，其特征在于，所述步骤S32具体包括：
10.根据权利要求9所述的印章弯曲文本行矫正方法，其特征在于，所述步骤S323中，根据以下原则确定左下顶点、左上顶点、右上顶点或右下顶点：
11.根据权利要求1所述的印章弯曲文本行矫正方法，其特征在于，所述S4字符切割和拼接步骤具体包括：
12.根据权利要求11所述的印章弯曲文本行矫正方法，其特征在于，所述步骤S4中，所述文本行目标高度为32像素或48像素。
13.根据权利要求11所述的印章弯曲文本行矫正方法，其特征在于，所述步骤S4中，在透视变换前将子字符框先左右各外扩0.1个字符宽度，以避免拼接成的文本行，字符因距离过近粘连在一起。
14.一种印章弯曲文本行矫正装置，其特征在于，所述内容识别装置基于根据权利要求1至13中任一项所述的印章弯曲文本行矫正方法进行操作，包括：
15.一种印章弯曲文本行矫正系统，所述系统包括：处理器和用于存储可执行指令的存储器；其特征在于，所述处理器被配置为执行所述可执行指令，以执行根据权利要求1至13中任一项所述的印章弯曲文本行矫正方法。
16.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至13中任一项所述的印章弯曲文本行矫正方法。
...【技术特征摘要】
1.一种印章弯曲文本行矫正方法，所述印章包含直文本行和/或弯曲文本行，其特征在于，所述印章弯曲文本行矫正方法包括：
2.根据权利要求1所述的印章弯曲文本行矫正方法，其特征在于，所述s1文本分割步骤中，采用能够差分二值化的实时场景文本检测算法模型进行文本分割。
3.根据权利要求2所述的印章弯曲文本行矫正方法，其特征在于，所述s1文本分割步骤中，所述实时场景文本检测算法模型包含三个结构相同的预测头，分别用于输出所述文本行掩膜、子字符掩膜、弯曲文本行首字符掩膜。
4.根据权利要求1所述的印章弯曲文本行矫正方法，其特征在于，所述s1文本分割步骤还包括：将经处理后收缩的所述文本行掩膜、子字符掩膜、弯曲文本行首字符掩膜扩充为原实例大小尺寸。
5.根据权利要求1所述的印章弯曲文本行矫正方法，其特征在于，所述s2实例构造步骤具体包括：
6.根据权利要求1所述的印章弯曲文本行矫正方法，其特征在于，所述s3字符排序步骤具体包括：
7.根据权利要求6所述的印章弯曲文本行矫正方法，其特征在于，所述步骤s31具体包括：
8.根据权利要求7所述的印章弯曲文本行矫正方法，其特征在于，所述步骤s31中，根据两个字符框中点的直线距得到字符距离。
9.根据权利要求6所述的印章弯曲文本行矫正...
【专利技术属性】
技术研发人员：沈达伟，王勇，朱军民，王立刚，孙朗，
申请(专利权)人：北京易道博识科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。