基于映射适应卷积的单应不变图像模拟模型及模拟方法技术

本发明专利技术公开了一种基于映射适应卷积的单应不变图像模拟模型，是基于换元积分公式的映射适应卷积，该模型是标准卷积的换元积分公式，是标准卷积的自然扩展，它具有映射适应性。本发明专利技术还提供了一种基于映射适应卷积的单应不变图像模拟方法。本发明专利技术针对不同拍摄方位的摄像机获取的原始图像，使用这些原始图像模拟指定拍摄方位的模拟图像时，基于映射适应卷积的图像模拟方法能获得一致的模拟图像，提高匹配精度。

Mono invariant image simulation model and simulation method based on mapping adaptive convolution

The invention discloses a homography invariant image simulation model based on mapping adaptation convolution, which is based on the substitution integral formula mapping adaptation convolution, which is the standard convolution integral formula and is the natural extension of standard convolution, and it has mapping adaptability. The invention also provides a single - strain image simulation method based on mapping adaptive convolution. According to the original image obtained by the camera with different shooting directions, the original image is used to simulate the simulated image of the designated shooting position. Based on the image simulation method of mapping convolution, the consistent simulated image can be obtained, and the matching accuracy can be improved.

【技术实现步骤摘要】
基于映射适应卷积的单应不变图像模拟模型及模拟方法
本专利技术涉及一种图像模拟方法，具体涉及一种基于映射适应卷积的单应不变图像模拟模型及模拟方法，属于图像模拟

技术介绍
光滑的物体表面可以是一个复杂的曲面，如果考虑一个局部表面，则该局部表面可近似为平面。对于具有平面结构的原像，经摄像机成像后，其图像仍然是一个平面结构。由于摄像机的拍摄方位(外部参数)、内部结构(内部参数)不同，会导致其像结构的形状特征随摄像机参数变化而显著变化。因此，同一平面原像在不同参数的摄像机获取的不同图像中，其形状特征是显著不同的。在不同图像中针对同一原像的图像特征之间建立准确的匹配，是图像匹配、图像配准、图像识别、物体三维表面重建等应用的核心问题。由于两个特征是否匹配取决于二者的相似度，因此图像特征的形变对图像匹配方法带来显著的困难。针对同一平面原像，两台拍摄方位不同的摄像机分别获取两帧图像，两帧图像间的几何变换即为单应映射，如附图1所示。附图1为单应映射示意图，其中c、c’分别为两台摄像机的光心，π、π’分别为两台摄像机的成像平面。Π为原像平面，X为Π上一点，x、x’分别为X在成像平面π、π’上的像点，单应映射x’＝h(x)将x映射至x’。单应映射可表示为：在式(1.1)中，x＝(x，y)T为成像平面π上一点，单应映射x’＝h(x)将x映射至x′＝(x′，y′)T，x’为平面π’上一点，H是一个3*3的可逆矩阵，Hr3为H的第3行，由单应映射x’＝h(x)决定的奇异直线可表示为L′s＝{x|x∈R2andHr3(xT，1)T＝0}，单应映射的定义域为R2\Ls’。由于矩阵H可逆，则单应映射x’＝h(x)可逆，其逆映射记为x＝h-1(x’)，逆映射的定义域为R2\Ls’，其中Ls为逆映射决定的奇异直线。设u(x)为连续原始图像，v(x’)为连续模拟图像，假设单应映射x’＝h(x)将u(x)映射为v(x’)，可得u(x)＝v(x’)。因为x＝h-1(x’)，可得u(h-1(x’)＝v(x’)，也可记作u(h-1(x)＝v(x)。如果我们不关心图像位于哪一个平面，仅关心图像间的映射，则从连续原始图像到连续模拟图像的单应映射算子定义为：v(x)＝(Hu)(x)＝u(h-1(x))(1.2)其中x∈R2\Ls，H为单应映射算子。相应地，从连续模拟图像到连续原始图像的单应映射算子定义为：u(x)＝(H-1v)(x)＝v(h(x))(1.3)其中x∈R2\L′s，H-1为逆映射算子。同一原像的两帧不同图像间可能存在单应形变(或称为透视形变)。为获得准确的匹配结果，可通过两帧图像模拟在指定模拟摄像方位下所成的同一图像，以消除单应形变，对应的方法即图像模拟方法，如附图2所示。在数字系统中(包括计算机系统)，所有图像(包括原始图像、模拟图像)均为离散图像，因此图像模拟只能在离散域进行。在离散域实施图像模拟，必然涉及针对原始图像的重采样。针对连续图像的采样原理如附图3所示。附图3中，使用标准栅格对连续模拟图像v(x)实施采样等价于使用逆映射后的形变栅格对连续原始图像u(x)实施采样。由于模拟图像v(x)在得到模拟前并不存在，图像模拟方法只能采用右图所示方式对原始图像采样，并将采样值通过单应映射h映射至模拟平面，从而获得离散的模拟图像。定义算子S1为基于标准栅格的采样操作，定义算子为基于逆映射后形变栅格的采样操作。由图3所示原理可得：等式左边表示先对模拟图像v(x)实施标准采样，然后将所得离散图像映射至原始图像平面；等式右边表示先将模拟图像v(x)映射至原始图像平面，然后实施基于形变栅格的采样。显然，等式左右两边相等。在式(1.4)的左右两边施加映射H可得：定义经标准采样所得的离散模拟图像为则可得根据式(1.3)，可得u＝H-1v。定义经标准采样所得的离散原始图像为则可得定义算子I为香农插值算子，假设离散原始图像中没有混叠，则可得综合上述分析可得，最终，式(1.5)可改写为：式(1.6)体现了数字系统中最基本的图像模拟模型，即使用香农插值I将离散原始图像恢复为连续原始图像然后使用形变栅格对u实施采样，得到形变栅格上的离散图像最终使用映射H将所得的采样值映射至模拟平面，获得模拟的离散图像由于连续图像并不存在于数字系统中，因此，在可实现的算法中，香农插值I与基于形变栅格的采样操作只能合并为一个操作，即在采样位置实施插值。基于式(1.6)，可实现基本的模拟方法。但是，式(1.6)并未包括任何反混叠机制，如果重采样违反奈奎斯特-香农采样定理，必然导致混叠(aliasing)，即两帧完全不同的图像在经过重采样后，产生完全相同的模拟图像，从而导致错误匹配，如图4所示。反混叠是通过重采样前实施低通滤波来实现的，亦即，低通滤波必须发生在重采样之前。如果采样时违反采样定理，则混叠在采样后已经产生，无法再通过低通滤波恢复原始的连续图像。因此，在采样后实施低通滤波是无济于事的，图4也展示了相关结果。附图4示出了在单应映射条件下重采样的混叠现象。考虑摄像机的光心位于一个半球表面上，半球的球心位于原像平面中心，摄像机拍摄方向从光心指向球心，摄像机的拍摄方位可使用经度角与纬度角θ表示。考虑两个平面物体，平面物体A、B表面的纹理可分别使用函数与表示，其中常量C确保f1(x，y)≥0与f2(x，y)≥0成立。注意：根据奈奎斯特-香农采样定理，如果使用标准栅格对f1(x，y)实施采样，会发生混叠。图(a)与图(b)分别是平面物体A、B在θ＝45°条件下的倾斜视图，生成倾斜视图时，采用较大的模拟焦距确保其中的原始混叠足够小。两帧倾斜视图的分辨率均为977*788。图(a)与图(b)中央区域的纹理以较高的分辨率分别在图(c)、图(f)中展示，容易观测到两帧图像中的纹理显著不同。图(d)、图(g)分别为应用式(1.6)对图(a)、(b)重采样所得的正视图(128*128)，因为混叠已发生，两帧正视图高度相似。对图(d)、图(g)分别实施标准高斯滤波，高斯核的标准差取为0.5，分别得到图(e)、(h)。可以观测到：图(e)、(h)仍然高度相似。如果采用互相关系数(Cross-CorrelationCoefficient)评估两帧正视图的相似度，相似度为0.9460。该实验验证了两个事实：1)混叠可能使两帧完全不同的图像在重采样后得到相同的结果；2)如果混叠已经产生，采用低通滤波不能达到反混叠的目的。如果要实施反混叠，低通滤波必须在重采样之前完成。在空间域，低通滤波是通过卷积操作来实现的。具备反混叠机制的重采样方法可表示为：其中Gc(x)是标准差为c的高斯核。针对不同的需求，可以使用不同的卷积核，这里仅以高斯核为例。为获得精确匹配，针对不同拍摄方位摄像机获取的原始图像我们期望在指定模拟拍摄方位所得的模拟图像是完全一致的，即期望的模拟结果为：但是，由于标准卷积不具有映射适应性，式(1.7)的模拟结果会随单应映射H的改变而改变，如附图5所示。附图5示出了使用标准卷积实现反混叠时无法在指定拍摄方位获得一致的模拟图像。考虑摄像机的光心位于一个半球表面上，半球的球心位于原像平面中心，摄像机拍摄方向从光心指向球心，摄像机的拍摄方位可使用经度角与纬度角θ表示。考虑一个平面物体，正视图本文档来自技高网...

【技术保护点】
一种基于映射适应卷积的单应不变图像模拟模型，其特征在于：假设v(x)＝(Hu)(x)，其中u(x)为连续原始图像，v(x)为连续模拟图像；单应不变的图像模拟表示如下：

【技术特征摘要】
1.一种基于映射适应卷积的单应不变图像模拟模型，其特征在于：假设v(x)＝(Hu)(x)，其中u(x)为连续原始图像，v(x)为连续模拟图像；单应不变的图像模拟表示如下：其中，为离散原始图像，为离散模拟图像，Gc(x)是标准差为c的高斯核，算子为基于形变栅格的采样操作，形变栅格由映射H-1决定，表示针对映射H-1的映射适应卷积；式(2.6)的单应不变性在定理2.6中得到证明；定理2.6假设v(x)＝(Hu)(x，如果离散原始图像中没有混叠，则成立；假设v(x)＝(H′u′)(x，相对于u(x)，u’(x)是在不同拍摄方位获取的原始图像；因为v(x)＝(Hu)(x)＝(H′u′)(x)，H’与H是不同的单应映射；由定理2.6可知，基于式(2.6)，从原始图像u’(x)获取的模拟图像仍然为S1(Gc*v)(x)；换言之，针对同一模拟拍摄方位，使用式(2.6)从不同原始图像获取的模拟图像是一致的，即式(2.6)中的图像模拟是单应不变的；在式(2.6)中，卷积操作发生在插值操作I与重采样操作之间；但是，在可实现的算法中，因为连续图像并不存在，插值操作I与重采样操作必须同时完成，即仅在重采样位置进行插值操作；因此，为构造可行的算法，必须交换卷积操作与I的顺序；反混叠卷积先于插值操作的图像模拟模型在定理2.7中提出，并且定理2.7证明了该模型等价于式(2.6)；定理2.7令其中是单应映射x＝h-1(x″)的雅可比行列式绝对值；则成立；定理2.7中提出的图像模拟模型为：观察式(2.8)可知，虽然该模型采用标准卷积的形式表出，但针对模拟图像中每一个像素位置x0，使用的卷积核部是不同的(参见式(2.7))，卷积核的变化由映射适应卷积的定义(定义2.2)决定；因此，该模型中的卷积实质上仍然是映射适应卷积；并且有定理2.7的结论，该模拟模型等价于...

【专利技术属性】
技术研发人员：李征，徐文政，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51