一种表面凹凸物体照片的高精度拼接方法技术

本发明专利技术公开了一种表面凹凸物体照片的高精度拼接方法，根据需要拼接的第一图像和第二图像的重叠区域，利用三维扫描得到表面凹凸物体上若干采样点在世界坐标系中的坐标，用最小二乘法拟合得到最佳重投影平面，建立最佳重投影坐标系；把世界坐标系中的每个采样点的坐标转化为在最佳重投影坐标系中的坐标，结合相机内外参数计算出采样点的理想图像坐标和实际图像坐标之间的误差；通过插值得出重叠区域中所有像素的理想图像坐标和实际图像坐标间的误差；对第一图像和第二图像进行修正，得到消除误差的第一图像和第二图像并进行拼接。本发明专利技术通过相机成像所遵守的针孔模型模拟无穷大焦距镜头的成像，生成的照片就消除了表面凹凸透视投影带来的拼接误差。

【技术实现步骤摘要】

本专利技术涉及计算机数字图像处理领域，尤其涉及，通过三维扫描所获取的深度信息来消除这种普通相机照片由于透视投影所带来 的凹凸表面的仿射对应误差。
技术介绍
目前的图像配准算法都是基于这样的假设，即设(u，ν)和(U，V)分别为同一物点 在不同图像中的像点(对应点)，则一般认为满足如下隐函数关系 注意上式中函数F是一个向量函数，即可以写成如下的分量形式 如果能从隐函数解出显函数，那么就可以得到如下形式或者 至于h和i或者j和k具体是什么，不同的论文有不同的提法，但都逃不出仿射变 换(包括平移变换、旋转变换、相似(比例)(缩放)变换等和透视(投影)变换的组合)。 于是求解泛函h和i或者j和k就简化为了求解已知函数形式的系数问题。从图1可以看到，由于相机成像遵守的是透视投影(因为不存在焦距无限大的镜 头)，物体表面凹凸程度Ah会带来拼接误差。首先计算相机光心到物体间的距离H。设期望的获取分辨率为R(PPI，Pixel Per Inch)，则折算成每毫米像素数为_3]忐(5)另一方面，设f35_为等效的全画幅135相机(感光元件大小为36毫米X 24毫米) 的焦距，若感光元件大小小于全画幅135相机的感光元件大小，设小的倍数为η (对角线距 离的比值)，则相机的实际焦距f和等效135焦距存在如下关系，f35fflffl = nf(6)设水平方向的感光元件的分辨率为Rx，则感光元件每毫米像素数为 根据透镜的物象放大比例关系，可得 由于相机光心到物体间的距离远大于像距v，因此像距约等于焦距f，所以 nR R 整理并将公式(6)代入得 以水平方向的拼接为例，设ρ为相邻图像的重叠率(如完全重叠则P= 1)。对于左图像，偏差为 类似的，对于右图像，偏差为 因此，总偏差为 考虑到表面凹凸程度Ah远小于拍摄时光心和物体间的距离H，则 对于300ΡΡΙ (即R = 300)的获取精度，设凹凸的最大值Δ h为1毫米，135相机的 等效焦距f35_为100毫米，图像的重叠率P为0. 2，则误差为x(1-0.2)=3.4即表面每凹凸1毫米，误差就为3. 4个像素，而实际凹凸远不止1毫米，如果按照5 毫米计算，就是17个像素，完全不可接受！因此，必须有一种方法能够有效消除这种误差。从公式(14)可以看出，误差和焦距成反比，和分辨率及表面凹凸程度成正比。因 此，据此至少可以得到如下两个推论在高精度获取书画等表面起伏文物时此问题会突显。一般对于书画的获取要求至 少为300PPI，而书画表面凹凸一般有数毫米，假设获取时的常用135相机的等效焦距f35_ 为100毫米，此时误差为17个像素，必须首先消除再拼接。由于误差和焦距成反比，因此在拍摄中应该尽量采用长焦镜头。如果镜头焦距达 到无穷大(此时实际上已经是平行投影了，这是由于实际拍摄时分辨率R是一定的，根据公式(10)，焦距f35_越大，要保持分辨率R不变，拍摄时的距离H就得越远，焦距无穷大时距 离H也是无穷大，透视投影即成为平行投影。同时由于拍摄距离H是无穷大，此时有限大的 表面凹凸程度Ah可以忽略不计，当作0，即表面没有凹凸的物体)，就不存在这种误差，但 实际上此类镜头是不存在的。
技术实现思路
本专利技术提供了一种表面凹凸物体照片的高精度拼接技术，根据凹凸程度计算误 差，然后在相邻图像的拼接前首先纠正这种误差然后再拼接，从而有效提高拼接精度。可以 应用于表面凹凸物体的高精度获取，如书画等文物的高精度数字化等。本专利技术所述的表面凹凸物体一般指书画、照片(印出来的非电子版的)等需要数 字化存档的，大体上为平面结构，但表面略带凹凸(凹凸起伏的高度一般不超过1厘米)。，包括如下步骤(1)根据需要拼接的两幅图像(这两幅图像分别为第一图像和第二图像)中的重 叠区域，利用三维扫描(例如采用结构光三维扫描仪)得到表面凹凸物体上若干采样点上 的五元组(xw，yw，zw, ur, vr)；三维扫描时至少要求覆盖表面凹凸物体上与重叠区域相对应的部分，以便于误差 的校正。五元组中，(xw，yw，zw)为采样点在三维空间(世界坐标系)中的坐标，(ur，vr)为 采样点在第一图像中的坐标；所述的采样点一般均勻分布在扫描区域中。(2)根据所有采样点在三维空间中的坐标，用最小二乘法拟合得到最佳重投影平 面；以最佳重投影平面作为一个新的坐标系的xoy平面，建立坐标系，得到最佳重投 影坐标系；(3)计算世界坐标系和最佳重投影坐标系之间的旋转矩阵R'；(4)把世界坐标系中的每个采样点的坐标左乘旋转矩阵R'，得到每个采样点在 最佳重投影坐标系中的坐标(Xw’，yw’，Zw’)，将步骤(1)中的五元组(Xw，yw，Zw, Ur, vr)更 新，得到新五元组(xw，，yw‘，zw，，ur, vr)；(5)根据新五元组(xw’，yw’，ζ/，ur, vr)，利用相机标定完成最佳重投影坐标系和 图像坐标系之间所有参数的标定，得到拍摄第一图像时相机的内外参数；(6)根据新五元组(xw’，yw’，zw’， ，vr)和拍摄第一图像时相机的内外参数，计算 采样点的理想图像坐标(即假设需要拼接的两幅图像中的物体不存在凹凸部分)和实际图 像坐标之间的误差；(7)对步骤(6)的结果进行插值，得出所述的重叠区域中所有像素的理想图像坐 标和实际图像坐标之间的误差，进行插值时可以采用现有技术中的算法。由于采样点对应的图像坐标点(Up vr)个数低于重叠区域的图像像素数，如果待 纠正的图像点(U，V)没有对应的三维扫描数据点从而无法计算误差可用周围一些有三维 数据点并且可以计算误差的点所计算出来的误差通过插值算法估算得出。(8)利用重叠区域中所有像素的理想图像坐标和实际图像坐标之间的误差对第一5图像进行修正，得到消除表面凹凸透视投影误差的第一图像，该图像是保证相邻图像间满 足仿射变换的，参与后续拼接相对误差更小；同理，根据步骤(1) (8)，也可以得到消除表面凹凸透视投影误差的第二图像， 区别仅在于(W，Vr)为采样点在第二图像中的坐标；而计算采样点的理想图像坐标和实际 图像坐标之间的误差时，利用的是拍摄第二图像时相机的内外参数(根据步骤(5)标定)。实际上，步骤(7)和步骤⑶可以通过纹理映射完成，即根据(xw’，yw’，Zw’，Ur，vr) 可以算出误差，进而得到消除误差后的(Ui, Vi),将(Ur，Vr)和(Ui^i)分别作为输入图像和 输出图像中的关键点坐标进行纹理映射完成误差纠正。(9)将消除表面凹凸透视投影误差的第一图像和第二图像进行拼接。步骤(2)中，基于最小二乘法的最佳重投影平面的拟合。该步骤的目的是在满足 纠正表面凹凸透视投影误差的前提下尽可能接近原始图像(纠正量尽可能小，在不同的投 影平面上误差大小是不同的)，因为图像的拉伸程度越大，对于细节的损失也就越大。因此 需要在达到目的的前提下尽可能减少副作用。而根据公式(14)可以看到，误差(即纠正 量)与凹凸程度成正比，因此选择恰当的坐标系，使得凹凸尽量小就可以保证误差所带来 的纠正量尽可能小，而所谓凹凸就是点到某个平面的距离，凹凸尽量小可以通过最小二乘 法实现，即最小化点到某个平面的距离的平方和。步骤(3)中，最佳重投影平面与世界坐标系的对应关系的计算。在最小化凹凸时， 对应着至本文档来自技高网...

【技术保护点】
一种表面凹凸物体照片的高精度拼接方法，其特征在于，包括如下步骤：（１）根据需要拼接的第一图像和第二图像中的重叠区域，利用三维扫描得到表面凹凸物体上若干采样点上的五元组（ｘ↓［ｗ］，ｙ↓［ｗ］，ｚ↓［ｗ］，ｕ↓［ｒ］，ｖ↓［ｒ］）；五元组中，（ｘ↓［ｗ］，ｙ↓［ｗ］，ｚ↓［ｗ］）为采样点在世界坐标系中的坐标，（ｕ↓［ｒ］，ｖ↓［ｒ］）为采样点在第一图像或第二图像中的坐标；（２）根据所有采样点在世界坐标系中的坐标，用最小二乘法拟合得到最佳重投影平面，以最佳重投影平面作为一个新的坐标系的ｘｏｙ平面，建立最佳重投影坐标系；（３）计算世界坐标系和最佳重投影坐标系之间的旋转矩阵Ｒ′；（４）把世界坐标系中的每个采样点的坐标左乘旋转矩阵Ｒ′，得到每个采样点在最佳重投影坐标系中的坐标（ｘ↓［ｗ］’，ｙ↓［ｗ］’，ｚ↓［ｗ］’），将步骤（１）中的五元组（ｘ↓［ｗ］，ｙ↓［ｗ］，ｚ↓［ｗ］，ｕ↓［ｒ］，ｖ↓［ｒ］）更新，分别得到与第一图像和第二图像对应的新五元组（ｘ↓［ｗ］’，ｙ↓［ｗ］’，ｚ↓［ｗ］’，ｕ↓［ｒ］，ｖ↓［ｒ］）；（５）根据分别与第一图像和第二图像对应的新五元组（ｘ↓［ｗ］’，ｙ↓［ｗ］’，ｚ↓［ｗ］’，ｕ↓［ｒ］，ｖ↓［ｒ］），利用相机标定完成最佳重投影坐标系和图像坐标系之间所有参数的标定，得到拍摄第一图像和第二图像时相机的内外参数；（６）根据步骤（５）的结果，针对第一图像和第二图像，分别计算采样点的理想图像坐标和实际图像坐标之间的误差；（７）针对第一图像和第二图像，对步骤（６）的结果进行插值，得出所述的重叠区域中所有像素的理想图像坐标和实际图像坐标之间的误差；（８）利用重叠区域中所有像素的理想图像坐标和实际图像坐标之间的误差，针对第一图像和第二图像分别进行修正，得到消除表面凹凸透视投影误差的第一图像和第二图像；（９）将消除表面凹凸透视投影误差的第一图像和第二图像进行拼接。...

【技术特征摘要】

【专利技术属性】
技术研发人员：石洗凡，刁常宇，鲁东明，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]