表格或文本行的处理方法、票据处理方法、装置及存储介质制造方法及图纸

本发明专利技术属于文档识别技术领域，具体涉及一种表格或文本行的处理方法、票据处理方法、装置及存储介质。主要包括：获取待处理对象相对两边界上的点，分别计入第一边界点集合、第二边界点集合；根据第一边界点集合得到第一边界曲线，根据第二边界点集合得到第二边界曲线；在第一边界曲线和第二边界曲线上分别提取对应数量的源控制点；将各个源控制点对齐，得到对应的目标控制点；根据各个源控制点、目标控制点和最小能量函数得到插值函数；应用插值函数对待处理对象对应的文本行区域进行处理。将薄板样条插值技术用于弯曲文本行或者弯曲表格的处理中，有效解决了现有技术中使用机器学习方法对弯曲文本进行矫正时，矫正效果受训练样本限制的问题。样本限制的问题。样本限制的问题。

【技术实现步骤摘要】
表格或文本行的处理方法、票据处理方法、装置及存储介质


[0001]本专利技术属于文档识别
，具体涉及一种表格或文本行的处理方法、票据处理方法、装置及存储介质。

技术介绍

[0002]过去几年来，计算机视觉研究主要集中在卷积神经网络(常简称为ConvNet或CNN)上。由于卷积神经网络能使用局部操作对表征进行分层抽象，卷积神经网络已经在广泛的分类和回归任务上具有较佳表现。卷积架构在计算机视觉领域的成功主要受到有大关键的设计思想的推动：第一，CNN利用了图像的2D结构，并且由于相邻区域内的像素通常是高度相关的，故CNN无需使用所有像素单元之间的一对一连接(大多数神经网络都会这么做)，而可以使用分组的局部连接。第二，CNN架构依赖于特征共享，因此每个通道(即输出特征图)是在所有位置使用同一个过滤器进行卷积而生成的。
[0003]空间变换网络(Spatial Transformer Networks，STNs)是由Jaderberg等人提出的一种卷积神经网络架构模型，空间变换网络由三个部分组成：本地化网络(localisation network)、网格生成器(grid generator)及采样器(sampler)。STNs可用于输入层，也可插入到卷积层或者其它层的后面，而不需要改变原CNN模型的内部结构。STNs对于输入的图片，先用本地化网络来预测需要进行的变换，即经过连续若干层计算(包括卷积和全连接计算)，然后网格生成器和采样器对图片实施变换，变换得到的图片被放到CNN中进行分类。其中网络生成器使用了双线性插值方法来生成网络；采样器采用形式上可微的图像采样方法，让整个网络保持可以端到端反向传播BP训练，经过训练后的网络可以对弯曲的网络进行矫正。
[0004]针对现实应用场景中文本容易出现弯曲的情况，现有的基于STNs的深度学习矫正算法能在一定程度上解决弯曲矫正的问题，但是都是将CNN当作黑箱使用，这种做法虽然能得到优秀的结果，但是起效的原因却模糊不清，图像矫正不完全，扭曲失真，这严重满足不了科学研究的要求。同时如果训练好一个可用的深度学习网络，需要大量的数据，然而在现实应用场景种，文本的种类繁多，每一类弯曲的样本数量较少，非常难收集到训练好一个网络所需要的数据量，标注成本也非常高。

技术实现思路

[0005]本专利技术提出了一种表格或文本行的处理方法、票据处理方法、装置及存储介质，将薄板样条插值技术用于弯曲文本行或者弯曲表格的处理中，有效解决了现有技术中使用机器学习方法对弯曲文本进行矫正时，矫正效果受训练样本限制的问题。
[0006]本专利技术的第一方面，本申请提供了一种表格或文本行的处理方法，包括以下步骤：获取待处理对象相对两边界上的点，分别计入第一边界点集合、第二边界点集合；根据第一边界点集合得到第一边界曲线，根据第二边界点集合得到第二边界曲线；在第一边界曲线和第二边界曲线上分别提取对应数量的源控制点；将各个源控制点对齐，得到对应的目标
控制点；根据各个源控制点、目标控制点和最小能量函数得到插值函数；应用插值函数对待处理对象对应的文本行区域进行处理。
[0007]在本专利技术中，所述获取待处理对象相对两边界上的点，分别计入第一边界点集合、第二边界点集合，其中一种实现方式包括以下步骤：以第一预设顺序遍历待处理对象的文本行区域，所述第一预设顺序为针对各列由左至右、针对每一列由上至下；将各列中像素点的亮暗指示值的变化第一次达到预设差值后的第一个像素点计入第一边界点集合、最后一次达到预设差值前的最后一个像素点计入第二边界点集合；或者，以第二预设顺序遍历待处理对象的文本行区域，所述第二预设顺序为针对各行由上至下，针对每一行由左至右；将各行中像素点的亮暗指示值的变化第一次达到预设差值后的第一个像素点计入第一边界点集合、最后一次达到预设差值前的最后一个像素点计入第二边界点集合。
[0008]进一步地，在本专利技术提供的表格或文本行的处理方法中，所述获取待处理对象相对两边界上的点，分别计入第一边界点集合、第二边界点集合，还包括：判断所述待处理对象的走向；当该待处理对象为横向时，以第一预设顺序遍历文本行区域；当该待处理对象为纵向时，以第二预设顺序遍历文本行区域。
[0009]进一步地，在本专利技术提供的表格或文本行的处理方法中，所述亮暗指示值为灰度值、红色分量值、蓝色分量值和绿色分量值中的其中一种；或者，当所述文本行区域为二值化的文本行区域时，所述亮暗指示值为1或0，此时，所述预设差值为1。
[0010]进一步地，在本专利技术提供的表格或文本行的处理方法中，在执行所述获取待处理对象相对两边界上的点，分别计入第一边界点集合、第二边界点集合的步骤之前，还包括：对待处理对象对应的文本行区域进行渐进式扩展网络处理，得到所述待处理对象。
[0011]进一步地，在本专利技术提供的表格或文本行的处理方法中，在执行所述根据第一边界点集合得到第一边界曲线，根据第二边界点集合得到第二边界曲线的步骤之前，还包括：用回归直线方程拟合第一边界点集合内的点，得到对应的第一回归直线方程；或者，用回归直线方程拟合第二边界点集合内的点，得到对应的第二回归直线方程；判断得到的第一回归直线方程或者第二回归直线方程的拟合优度是否符合第一优度阈值；当符合第一优度阈值时，直接输出待处理对象的文本行区域；当不符合第一优度阈值时，继续执行所述根据第一边界点集合得到第一边界曲线，根据第二边界点集合得到第二边界曲线；
[0012]或者，用回归直线方程分别拟合第一边界点集合内的点和第二边界点集合内的点，得到对应的第三回归直线方程和第四回归直线方程；判断得到的第三回归直线方程和第四回归直线方程的拟合优度是否均符合第二优度阈值；当第三回归直线方程的拟合优度和第四回归直线方程的拟合优度均符合第二优度阈值时，直接输出待处理对象的文本行区域；当第三回归直线方程的拟合优度和/或第四回归直线方程的拟合优度不符合第二优度阈值时，继续执行所述根据第一边界点集合得到第一边界曲线，根据第二边界点集合得到第二边界曲线。
[0013]所述回归直线方程为:y＝φ(x)＝a0+a1x。
[0014]进一步地，在本专利技术提供的表格或文本行的处理方法中，所述根据第一边界点集合得到第一边界曲线，根据第二边界点集合得到第二边界曲线，包括：利用逐次提高多项式最高次项次数的方式，用多项式分别拟合第一边界点集合内的点和第二边界点集合内的点，得到拟合优度符合第三优度阈值的第一边界曲线和第二边界曲线，具体包括：利用多项
式拟合第一边界点集合内的点，得到对应的多项式边界方程；判断得到的多项式边界方程的拟合优度是否符合第三优度阈值；当得到的多项式边界方程的拟合优度符合第三优度阈值时，确定该多项式边界方程为第一边界曲线，并用该多项式拟合第二边界点集合内的点，得到第二边界曲线；当得到的多项式边界方程的拟合优度不符合第三优度阈值时，换用更高次多项式重复上述步骤。
[0015]进一步地，在本专利技术提供的表格或文本行的处理方法中，第一优度阈值、第二优度阈值和第三优度阈值均为0.7<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表格或文本行的处理方法，其特征在于，包括以下步骤：获取待处理对象相对两边界上的点，分别计入第一边界点集合、第二边界点集合；根据第一边界点集合得到第一边界曲线，根据第二边界点集合得到第二边界曲线；在第一边界曲线和第二边界曲线上分别提取对应数量的源控制点；将各个源控制点对齐，得到对应的目标控制点；根据各个源控制点、目标控制点和最小能量函数得到插值函数；应用插值函数对待处理对象对应的文本行区域进行处理。2.根据权利要求1所述的方法，其特征在于，所述获取待处理对象相对两边界上的点，分别计入第一边界点集合、第二边界点集合，包括：以第一预设顺序遍历待处理对象的文本行区域，将各列中像素点的亮暗指示值的变化第一次达到预设差值后的第一个像素点计入第一边界点集合、最后一次达到预设差值前的最后一个像素点计入第二边界点集合；或者，以第二预设顺序遍历待处理对象的文本行区域；将各行中像素点的亮暗指示值的变化第一次达到预设差值后的第一个像素点计入第一边界点集合、最后一次达到预设差值前的最后一个像素点计入第二边界点集合；或者，所述获取待处理对象相对两边界上的点，分别计入第一边界点集合、第二边界点集合，还包括：判断所述待处理对象的走向；当该待处理对象为横向时，以第一预设顺序遍历文本行区域；将各列中像素点的亮暗指示值的变化第一次达到预设差值后的第一个像素点计入第一边界点集合、最后一次达到预设差值前的最后一个像素点计入第二边界点集合；当该待处理对象为纵向时，以第二预设顺序遍历文本行区域；将各行中像素点的亮暗指示值的变化第一次达到预设差值后的第一个像素点计入第一边界点集合、最后一次达到预设差值前的最后一个像素点计入第二边界点集合；其中，所述第一预设顺序为针对各列由左至右、针对每一列由上至下；所述第二预设顺序为针对各行由上至下，针对每一行由左至右。3.根据权利要求1所述的方法，其特征在于，在执行所述获取待处理对象相对两边界上的点，分别计入第一边界点集合、第二边界点集合的步骤之前，还包括：对待处理对象对应的文本行区域进行渐进式扩展网络处理，得到所述待处理对象。4.根据权利要求1所述的方法，其特征在于，在执行所述根据第一边界点集合得到第一边界曲线，根据第二边界点集合得到第二边界曲线的步骤之前，还包括：用回归直线方程拟合第一边界点集合内的点，得到对应的第一回归直线方程；或者，用回归直线方程拟合第二边界点集合内的点，得到对应的第二回归直线方程；判断得到的第一回归直线方程或者第二回归直线方程的拟合优度是否符合第一优度阈值；当符合第一优度阈值时，直接输出待处理对象的文本行区域；当不符合第一优度阈值时，继续执行所述根据第一边界点集合得到第一边界曲线，根
据第二边界点集合得到第二边界曲线；或者，用回归直线方程分别拟合第一边界点集合内的点和第二边界点集合内的点，得到对应的第三回归直线方程和第四回归直线方程；判断得到的第三回归直线方程和第四回归直线方程的拟合优度是否均符合第二优度阈值；当第三回归直线方程的拟合优度和第四回归直线方程的拟合优度均符合第二优度阈值时，直接输出待处理对象的文本行区域；当第三回归直线方程的拟合优度和/或第四回归直线方程的拟合优度不符合第二优度阈值时，继续执行所述根据第一边界点集合得到第一边界曲线，根据第二边界点集合得到第二边界曲线；所述回归直线方程为:y＝φ(x)＝a0+a1x。5.根据权利要求1所述的方法，其特征在于，所述根据第一边界点集合得到第一边界曲线，根据第二边界点集合得到...

【专利技术属性】
技术研发人员：张岩，李俊杰，
申请(专利权)人：张岩，
类型：发明
国别省市：