基于多视图的折痕文档图像的校正方法技术

本发明专利技术公开了一种基于多视图的折痕文档图像的校正方法，所述方法包括如下步骤：步骤1：获取多视图图像；步骤2：得到文档的三维点云数据；步骤3：图像空间网格的生成；步骤4：初始三维网格的生成；步骤5：初始展开网格的生成；步骤6：网格的展开优化；步骤7：图像生成。本发明专利技术提供了一种解决文档图像校正问题的计算框架，该框架同时计算三维网格M和二维展开网格Ω，并且在二维展开网格Ω上施加图像结构纹理约束(如直线等)。因此，本发明专利技术的方法可以在文档图像的结构纹理信息的指导下直接得到贴有纹理的二维展开结果，避免了现有方法中的独立的网格展开步骤引入的误差。的网格展开步骤引入的误差。的网格展开步骤引入的误差。

【技术实现步骤摘要】
基于多视图的折痕文档图像的校正方法


[0001]本专利技术涉及一种变形文档图像的校正方法，具体涉及一种基于多视图的折痕文档图像的校正方法。

技术介绍

[0002]图像中的文档对象常常存在几何变形，例如纸张的弯曲或者折叠等变形。变形文档图像的几何校正对输入的存在变形的文档图像进行处理，得到消除变形的文档图像。这类问题在基于相机的扫描仪算法、文档图像中的文字识别、古代文献的数字化等领域有重要的应用。
[0003]基于消费级相机或手机相机拍摄的图像进行文档图像的校正由于具有实用性得到了大量的研究。已有的方法已经表明了输入图像中的两类信息可以被用来提高文档图像校正的效果。一类是文档图像纹理的信息，例如文档内的文字的排列、表格等结构信息；另一类是文档的三维几何信息，即利用文档三维模型是可展模型这一几何事实。现有的方法有的基于图像上像素的亮度信息估算像素的深度信息，发掘三维几何信息；有的方法利用图像的边界信息指导文档图像的校正；有的方法通过计算文档图像内的纹理结构的流场来指导文档图像的校正；近年深度学习的方法也用来解决文档图像的校正问题，取得了比传统方法更好的效果。但是这些现有方法一般都针对文档的弯曲变形，对于具有大量折痕的文档变形效果不佳。
[0004]基于多视图的方法是指输入图像是文档对象的多个角度的照片，并基于多视角图像模型，利用立体视觉的方法计算模型的三维点云表示。现有的基于多视图的方法大概包含两个步骤：第一步生成纸张模型的三维网格M，第二步将三维网格展开到平面得到二维网格Ω，并进行纹理贴图。已有方法的研究重点在于如何得到具有较好可展性的三维网格M，将三维网格M的二维展开看作一个独立的步骤。这类方法的缺点是M的二维展开步骤会引入误差，而且误差无法通过文档图像的纹理结构信息(例如文字线和表格线等)进行控制。

技术实现思路

[0005]针对现有基于多视图的方法存在的上述问题，本专利技术提供了一种基于多视图的折痕文档图像的校正方法。
[0006]本专利技术的目的是通过以下技术方案实现的：
[0007]一种基于多视图的折痕文档图像的校正方法，包括如下步骤：
[0008]步骤1：获取多视图图像
[0009]利用消费级数码相机或者手机摄像头，从多个视角对文档对象进行拍照，得到多张图像I
′
＝{I
′
i
|i＝1,2,...,K,K≥3}，其中I
′
i
是一个图像，K是图像的数目；
[0010]步骤2：得到文档的三维点云数据
[0011]步骤2.1：使用基于运动的结构生成算法得到统一坐标系下的点云数据D
′
、去除相机畸变的图像I＝{I
i
|i＝1,2,...,K,K≥3}以及每一个图像对应的相机参数，其中I
i
是一个
去除相机畸变的图像；
[0012]步骤2.2：对点云数据D
′
进行去噪处理，得到点云数据D；
[0013]步骤3：图像空间网格的生成
[0014]从图像序列I中选取一张图像I
r
作为参考图像，在图像的范围内生成一个四边形图像网格M
I
，其网格顶点为C
ij
，0≤i≤N1，0≤j≤N2，其中N1和N2代表宽度和高度方向上的网格顶点个数；
[0015]步骤4：初始三维网格的生成
[0016]步骤4.1：将点云数据D中的数据点表示转换到参考图像I
r
对应的相机坐标系下，将点云数据D中的点D
p
投影到参考图像I
r
上，得到图像上的投影点П
p
，并删除投影点在文档区域之外的数据点，得到图像上的投影点的集合П；
[0017]步骤4.2：对于四边形图像网格M
I
的一个顶点P，假设其像素坐标为(u
p
,v
p
)，找到图像上M
I
点P的邻域内的投影数据点集合Φ
p
＝{A|A∈Π并且d(A,P)＜ε}，其中d(A,B)表示图像的像素坐标系内两个点A、B之间的欧氏距离，ε是一个阈值，设A∈Φ
p
的深度为z(A)，则P点的深度值z
p
按照以下公式进行估算：
[0018][0019]步骤4.3：计算顶点P的三维坐标(x
p
,y
p
,z
p
)，得到初始三维网格M
3D
，其中：网格顶点坐标的x
p
、y
p
按照以下公式进行计算：
[0020][0021]其中，(c
u
,c
v
)是图像的中心点坐标，(k
u
,k
v
)是图像的放缩系数，d是相机的焦距；
[0022]步骤5：初始展开网格的生成
[0023]使用已有的保长度网格展开算法将三维网格M
3D
展开到平面上，得到二维网格M
2D
；
[0024]步骤6：网格的展开优化
[0025]步骤6.1：利用Gauss
‑
Newton算法求解目标函数F的极小化问题，优化收敛时得到网格重建三维网格M
3D
和平面网格M
2D
，如果展开网格生成的文档图像的效果令人满意，或者本次迭代的文档图像的结果与上一次迭代得到的结果差别不大，则执行步骤7，否则执行步骤6.2，其中：目标函数F的定义为：
[0026][0027]其中，w
iso
、w
Fair3D
、w
Fair2D
、w
PointClose
、w
Line3D
、w
Line2D
分别是等距变换目标函数F
iso
、三维网格M
3D
的光顺函数F
Fair3D
、二维网格M
2D
的光顺函数F
Fair2D
、点云距离目标函数F
PointClose
、三维网格M
3D
的直线约束F
Line3D
和二维网格M
2D
的直线约束F
Line2D
对应的函数的系数；
[0028]步骤6.2：将三维网格M
3D
和二维网格M
2D
同时细分，以增加网格顶点数量，执行步骤6.1；
[0029]步骤7：图像生成
[0030]将参考图像I
r
作为纹理，对优化得到的二维网格M
2D
进行纹理贴图，得到校正后的文档图像。
[0031]相比于现有技术，本专利技术具有如下优点：
[0032]本专利技术提供了一种解决文档图像校正问题的计算框架本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视图的折痕文档图像的校正方法，其特征在于所述方法包括如下步骤：步骤1：获取多视图图像从多个视角对文档对象进行拍照，得到多张图像I
′
＝{I
′
i
|i＝1,2,...,K,K≥3}，其中I
′
i
是一个图像，K是图像的数目；步骤2：得到文档的三维点云数据步骤2.1：使用基于运动的结构生成算法得到统一坐标系下的点云数据D
′
、去除相机畸变的图像I＝{I
i
|i＝1,2,...,K,K≥3}以及每一个图像对应的相机参数，其中I
i
是一个去除相机畸变的图像；步骤2.2：对点云数据D
′
进行去噪处理，得到点云数据D；步骤3：图像空间网格的生成从图像序列I中选取一张图像I
r
作为参考图像，在图像的范围内生成一个四边形图像网格M
I
，其网格顶点为C
ij
，0≤i≤N1，0≤j≤N2，其中N1和N2代表宽度和高度方向上的网格顶点个数；步骤4：初始三维网格的生成步骤4.1：将点云数据D中的数据点表示转换到参考图像I
r
对应的相机坐标系下，将点云数据D中的点D
p
投影到参考图像I
r
上，得到图像上的投影点П
p
，并删除投影点在文档区域之外的数据点，得到图像上的投影点的集合П；步骤4.2：对于四边形图像网格M
I
的一个顶点P，假设其像素坐标为(u
p
,v
p
)，找到图像上M
I
点P的邻域内的投影数据点集合Φ
p
＝{A|A∈Π并且d(A,P)＜ε}，其中d(A,B)表示图像的像素坐标系内两个点A、B之间的欧氏距离，ε是一个阈值；步骤4.3：计算顶点P的三维坐标(x
p
,y
p
,z
p
)，得到初始三维网格M
3D
；步骤5：初始展开网格的生成使用保长度网格展开算法将三维网格M
3D
展开到平面上，得到二维网格M
2D
；步骤6：网格的展开优化步骤6.1：利用Gauss
‑
Newton算法求解目标函数F的极小化问题，优化收敛时得到网格重建三维网格M
3D
和平面网格M
2D
，如果展开网格生成的文档图像的效果令人满意，或者本次迭代的文档图像的结果与上一次迭代得到的结果差别不大，则执行步骤7，否则执行步骤6.2；步骤6.2：将三维网格M
3D
和二维网格M
2D
同时细分，以增加网格顶点数量，执行步骤6.1；步骤7：图像生成将参考图像I
r
作为纹理，对优化得到的二维网格M
2D
进行纹理贴图，得到校正后的文档图像。2.根据权利要求1所述的基于多视图的折痕文档图像的校正方法，其特征在于所述顶点P的x
p
、y
p
按照以下公式进行计算：其中，(c
u
,c
v
)是图像的中心点坐标，(k
u
,k
v
)是图像的放缩系数，d是相机的焦距。3.根据权利要求1所述的基于多视图的折痕文档图像的校正方法，其特征在于所述顶
点P的深度值z
p
按照以下公式进行估算：其中，z(A)为A∈Φ
p
的深度。4.根据权利要求1所述的基于多视图的折痕文档图像的校正方法，其特征在于所述目标函数F的定义为：其中，w
iso
、w
Fair3D
、w
Fair2D

【专利技术属性】
技术研发人员：伯彭波，张晓苗，罗东，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：