一种基于直线分割的表格图像配准方法技术

本发明专利技术公开了一种基于直线分割的表格图像配准方法，包括直线分割网络和基于LSN分割结果的图像配准两部分，直线分割网络包括LSN的平均池化部分和LSN的注意力机制部分两部分，图像配准将一个图像移动和变形尽可能地与另一个图像匹配；本发明专利技术的优点在于：本发明专利技术针对包含表格数据的配准效果差的情况，主要是传统的基于特征点的图像配准效果和基于深度学习的HomographyNet配准效果不理想。本发明专利技术提供一种新的图像配准思路，即先利用语义分割技术分割出图像中的横竖线，然后根据分割出来的横竖线用来寻找表格的4个顶点，并与参考图像的4个顶点一一对应，然后找到单应性矩阵，从而实现配准。实现配准。实现配准。

【技术实现步骤摘要】
一种基于直线分割的表格图像配准方法


[0001]本专利技术涉及一种表格图像配准方法，具体地说是一种基于直线分割的表格图像配准方法，属于表格图像配准方法领域。

技术介绍

[0002]基于表格的内容提取是许多文档分析应用项目中的一项重要任务，其中，准确提取图像中的感兴趣区域是事关重要的。例如，针对不动产登记证类别中的每张图片，需要提取此类别的感兴趣区域（权利人、义务人、位置等关键要素信息所在图片区域）。提供一张包含表格的图片作为参考图像，其他图片作为待配准图像与参考图像进行配准，配准后的图片与参考图片有相同的内容分布，如图1所示。如此一来，便可以根据在参考图片中预先设置好的感兴趣区域，提取出其他图片对应位置上的感兴趣区域。其中，图像配准是指将一个图像移动和变形尽可能地与另一个图像匹配的过程。对图像进行移动和变形是通过单应性矩阵完成的，单应性矩阵是一个平面到另一个平面的投影矩阵。传统方法检测出参考图片和待配准的特征点，并对特征点进行关联匹配，然后根据匹配的特征点对计算单应性矩阵并变换待配准图像，最终实现配准。Deep Image Homography本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于直线分割的表格图像配准方法，其特征在于，包括直线分割网络和基于LSN分割结果的图像配准两部分，具体内容如下：（1）直线分割网络，包括LSN的平均池化部分和LSN的注意力机制部分两部分；所述LSN的平均池化部分，在Unet下采样中，加入基于横竖向的平均池化模块，融合更多细节上的语义信息；其中，在Unet主干中提取特征，每一层采用2个尺寸为3*3的卷积核；在每个平均池化模块中，对Unet特征进行尺寸为1*5的横向平均池化，尺寸为5*1的竖向平均池化，此池化过程不改变特征图的大小，并将池化后的特征与Unet特征进行融合；平均池化模块的公式表达如公式2所示：公式2其中，将横、竖向平均池化后的特征执行元素求和运算，然后将融合后的特征输入卷积层以生成新的特征；将Unet中下采样的特征图输入到卷积层以生成新特征； 最后，将P乘以一个标量参数，该标量参数可以学习分配权重；并将乘积结果和特征Z进行元素求和运算，从而得到最终的输出；所述LSN的注意力机制部分，在注意力模块中，针对下采样最后一层的Unet特征进行尺寸为1*5的横向平均池化，尺寸为5*1的竖向平均池化，此池化过程不改变特征图的大小；最终，将横竖向的池化特征送入到空间的注意力运算；在空间注意力运算中，设计了与双重注意网络DANet中的空间注意力相似的注意...

【专利技术属性】
技术研发人员：彭雷，高嵩峰，傅湘玲，刘春生，王友军，徐朗朗，苗丛，
申请(专利权)人：华融融通北京科技有限公司，
类型：发明
国别省市：