基于图像内容的立体图像拼接方法技术

发明专利技术属于图像处理技术领域，为实现有效拼接立体图片，避免局部变形，并且合理地减小垂直视差。本发明专利技术采用的技术方案是，基于图像内容的立体图像拼接方法，首先，采用经过优化的一致的单应性矩阵对左右图像进行预变换；之后，采用基于内容的图像微调扭曲方法优化图像拼接并避免视觉失真；最后，运用基于切缝的查找算法和多带混合算法获取最终图像拼接结果。本发明专利技术主要应用于图像处理。

【技术实现步骤摘要】

专利技术属于图像处理
，涉及一种基于图像内容的立体图像拼接技术。
技术介绍
图像拼接在计算机视觉和制图领域得到了广泛关注。它可以把场景小的临近视野图片拼接成视野大的单独图片。目前，拼接技术集成在Adobe、Photoshop等有名的商业软件中，这些软件广泛用于帮助用户组织和制作图片集。传统上，图像拼接经常通过带参数的投影变换来合成图片。这样的投影变换通常用单应性矩阵来实现。虽然2D投影变换很稳定，但是该变换只能为平面场景或无视差相机移动提供准确地拼接，也即摄影师的物理位置必须是固定的并且只允许存在旋转运动。当不满足上述条件时，2D投影变换就会产生重影或结构破坏等人为效果。最近的图像拼接方法采用空间变化投影来拼接图片，相比2D投影变换，这些方法能带来较少的人为效果。然而，这些方法最初都是为2D图片设计的。现有的2D图像拼接技术——APAP技术在进行立体图像拼接时存在一定的问题。虽然经APAP技术处理后的左右图中没有重影，但是左图和右图的大小却不一样。而且传统的变换没有考虑垂直视差的影响。此外，对于立体图像的拼接技术也有一些学者进行了研究，但是这些方法需要密集型样本采集，常常通过视频摄像机或者是必须遵守一些指定的规则来旋转照相机，这些方法不能很好的应用于随意采集的立体图像的拼接。随着立体图像和立体视频的流行，生产和编辑立体媒体受到了研究人员的广泛关注。3D放映设备和3D相机等立体设备的快速发展，引领了用户操作立体媒体的需求。随着研究人员的深入探索，在创造舒适的3D体验的过程中出现了更多的挑战和限制。对现有2D拼接算法的普通扩展往往不能传递舒适的3D视觉体验，因此需要新的技术来适应新的约束条件，且需要新的技术更好地利用来自立体媒体的新信息。
技术实现思路
为克服现有技术的不足，提出一种混合变换模型用于立体图像拼接方法，能有效拼接立体图片，避免局部变形，并且合理地减小垂直视差。本专利技术采用的技术方案是，基于图像内容的立体图像拼接方法，首先，采用经过优化的一致的单应性矩阵对左右图像进行预变换；之后，采用基于内容的图像微调扭曲方法优化图像拼接并避免视觉失真；最后，运用基于切缝的查找算法和多带混合算法获取最终图像拼接结果。基于归一化单应性矩阵的预变换具体步骤是，和表示输入的立体图像对，并且选取和作为参考图像对，下标L表示左图，R表示右图，采用计算单应性矩阵H的方法来预对齐输入的图像和单应性矩阵H由和之间匹配的SIFT(Scale-invariantfeaturetransform)特征点集合估计得来，并用RANSAC(RANdomSAmpleConsensus)得到的基本矩阵验证所有的匹配特征点，用和分别表示和的匹配特征点，IOL表示和的重叠区域，IOR表示和的重叠区域，为了计算单应性矩阵H，在考虑拼接和视差连续性的基础上定义了能量项Epre，其表达式为：Epre=1n1Σp=1n1||1wpHfpl2-fpl1||2+1n2Σq=1n2||1wqHfqr2-fqr1||2+1n3Σm=1n3|[1wmHfml2]y-[1wmHfmr2]y|2]]>其中，H表示有八个参数的单应性矩阵，n1，n2和n3表示特征点个数，wp，wp和wm是对应第p，q和m个特征点的权重因子，和分别表示变换后特征点的y坐标；使用迭代的方法计算来计算单应性矩阵,其中在迭代过程中具有最小能量的Epre对应的H被作为最终的单应性矩阵，获得H矩阵后，待拼接的图像(非参考立体图像)和即被变换为和基于内容的图像变换具体步骤是，将和划分为大小为m×n的网格，和中的顶点表示为和和是从图像对和中分别得到的匹配特征点的集合；图像拼接问题表述为一个网格变换问题，其表示如下：V^i,j2=W(Vi,j2‾)]]>其中，是未知变量，包括和图像中的特征点用匹配网格的四个网格顶点的线性组合表示，其表示如下：f^=Σi=12Σj=12ai,jV^i,j2]]>其中，ai,j表示通过双线性差值得到的系数，通过解决能量项最小化问题来实现网格变换，这些能量项包括拼接能量项、立体限制能量项、形状保留能量项，各能量项详细表述如下：(1)拼接能量项在局部拼接过程中，扭曲后的图像特征点和应该被移动以匹配它们在参考图像和中的匹配位置，这样才能实现图像的更好拼接，局部拼接能量项Eh定义如下：Eh=Σfi,l1∈F‾1||f^i,l2-fi,l1||2+Σfi,r1∈F‾2||f^i,r2-fi,r1||2]]>(2)立体限制能量项立体限制能量项用于获得舒适的3D体验，包括垂直的和水平的视差限制，人类视觉系统对这些特征敏感，通过对匹配特征点的稀疏集合运用来执行两个图像之间的立体限制；垂直视差限制用于确保特征点的垂直拼接，即两张图像中相应特征点的y坐标(用表示)应近似，垂直视差限制能量项Ey定义为：Ey=Σ||f^i,l,y2-f^i,r,y2||2]]>水平视差限制用于保持预变换结果和的视差一致性，即每个特征点的x坐标(用表示)应该和预变换图像里特征点的视差接近，水平视差限制能量项定义为：其中，通过改变视差分布图实现用户定义的视差分布；(3)形状保留能量项形状保留能量项用于减小失真并保持变化的流畅性，在变换过程中，希望获得平滑而且局部相似的变换结果，来实现更少的失真。在这种情况下，变换函数应满足柯西—黎曼方程，把方程转化为基于有限差分的能量函数，柯西—黎曼方程等效于相似变换的能量函数，相似变换的能量定义项Es1如下：Es1(i,j)=Σ(i,j)∈mij||V^i+1,j,l2-V^i,j,l2-u·(V^i,j+1,l2-V^i,j,l2)-v·R·(V^i,j+1,l2-V^i,j,l2)||2]]>其中，R=0-110,]]>mij表示一个网格，u和v是局部坐标系下的未知坐标，因为网格是矩形，此处u＝0,v=||Vi+1,j‾-Vi,j‾||||Vi,j+1‾-Vi,j‾||;]]>相比图像非显著区域，要对显著区域进行更为严格的平滑处理：双视点立体图像中的左图像的形状保留能量项Esl定义为：Esl＝∑ω(i,j)·Es1(i,j)其中，ω(i,j)表示网格的显著值；双视点图像中本文档来自技高网...

【技术保护点】
一种基于图像内容的立体图像拼接方法，其特征是，首先，采用经过优化的一致的单应性矩阵对左右图像进行预变换；之后，采用基于内容的图像微调扭曲方法优化图像拼接并避免视觉失真；最后，运用基于切缝的查找算法和多带混合算法获取最终图像拼接结果。

【技术特征摘要】
1.一种基于图像内容的立体图像拼接方法，其特征是，首先，采用经过优化的一致的单应性
矩阵对左右图像进行预变换；之后，采用基于内容的图像微调扭曲方法优化图像拼接并避
免视觉失真；最后，运用基于切缝的查找算法和多带混合算法获取最终图像拼接结果。
2.如权利要求1所述的基于图像内容的立体图像拼接方法，其特征是，基于归一化单应性矩
阵的预变换具体步骤是，和表示输入的立体图像对，并且选取和作为
参考图像对，下标L表示左图，R表示右图，采用计算单应性矩阵H的方法来预对齐输
入的图像和单应性矩阵H由和之间匹配的SIFT
(Scale-invariantfeaturetransform)特征点集合估计得来，并用RANSAC(RANdom
SAmpleConsensus)得到的基本矩阵验证所有的匹配特征点，用和
分别表示和的匹配特征点，IOL表示和的重叠区域，
IOR表示和的重叠区域，为了计算单应性矩阵H，在考虑拼接和视差连续性的基础上
定义了能量项Epre，其表达式为：
Epre=1n1Σp=1n1||1wpHfpl2-fpl1||2+1n2Σq=1n2||1wqHfqr2-fqr1||2+1n3Σm=1n3|[1wmHfml2]y-[1wmHfmr2]y|2]]>其中，H表示有八个参数的单应性矩阵，n1，n2和n3表示特征点个数，wp，wp和
wm是对应第p，q和m个特征点的权重因子，和分别表示变换后
特征点的y坐标；
使用迭代的方法计算来计算单应性矩阵,其中在迭代过程中具有最小能量的Epre对应
的H被作为最终的单应性矩阵，获得H矩阵后，待拼接的图像(非参考立体图像)和即被变换为和3.如权利要求1所述的基于图像内容的立体图像拼接方法，其特征是，基于内容的图像变换
具体步骤是，将和划分为大小为m×n的网格，和中的顶点表示为和和是从图像对和中分别得到的匹配特征点的集合；
图像拼接问题表述为一个网格变换问题，其表示如下：
V^i,j2=W(Vi,j2‾)]]>其中，是未知变量，包括和图像中的特征点用匹配网格的四个网
格顶点的线性组合表示，其表示如下：
f^=Σi=12Σj=12ai,jV^i,j2]]>其中，ai,j表示通过双线性差值得到的系数，通过解决能量项最小化问题来实现网格

\t变换，这些能量项包括拼接能量项、立体限制能量项、形状保留能量项，各能量项详细
表述如下：
(1)拼接能量项
在局部拼接过程中，扭曲后的图像特征点和应该被移动以匹配它们在参考图
像和中的匹配位置，这样才能实现图像的更好拼接，局部拼接能量项Eh定义如下：
Eh=Σfi,l1∈F‾1||f^i,l2-fi,l1||2+Σfi,r1∈F‾2||f^i,r2-fi,r1||2]]>(2)立体限制能量项
立体限制能量项用于获得舒适的3D体验，包括垂直的和水平的视差限制，人类视觉
系统对这些特征敏感，通过对匹配...

【专利技术属性】
技术研发人员：侯春萍，阎维青，刘琦，浦亮洲，王来花，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12