本申请公开了图像拼接的方法和图像拼接的装置。其中图像拼接方法首先通过第一图像和第二图像中的特征点确定重合区域以及变换矩阵；然后将所述重合区域内当前行中变换误差满足预定条件的像素点作为拼接点；所述变换误差为所述第一图像的像素点经过所述变换矩阵变换到第二图像的像素点位置与所述第二图像中的匹配像素点位置之间的误差；根据所述拼接点进行图像拼接。通过本申请能够改善拼接表面存在不同物距时的拼接缝隙问题。
【技术实现步骤摘要】
图像拼接的方法及装置
本申请涉及计算机视觉领域和图像处理技术，尤其涉及图像拼接的方法及装置。
技术介绍
图像拼接是计算机视觉领域和图像处理的一个重要分支，它是将两幅以上的具有 部分重叠的图像进行无缝拼接从而得到大画幅或宽视角的图像。 相邻图像的配准及拼接是全景图生成技术的关键，目前普遍使用的是基于SIFT 特征匹配的无缝图像拼接方法，该方法利用SIFT特征匹配、RANSAC算法、L-M算法、多分辨 率融合算法克服了传统图像拼接技术中的局限性，实现了光照和尺度变化条件下的多视角 无缝图像拼接。 该现有技术对于拼接表面为同一景深平面的情况，或者物体距离摄像机的距离足 够远，可以近似为同一平面的情况，可以取得较好的拼接效果。当存在图像聚焦模糊、变换 矩阵误差以及特征点检测错误时，拼接缝隙会被察觉。一个通用有效的方法是使用图像融 合，将待拼接图像分解到不同的频带进行处理：以两个频带为例，待融合图像分成低频和高 频两部分数据，低频部分数据使用较大的权重进行融和，由于低频对应图像的平坦部分，不 会产生较大的细节丢失，高频图像使用较小的权重进行融和，保留图像细节部分。最后再把 两个频带处理后的数据恢复到时域，得并相加，得到最终融合后的图像。 但上述过程只可以解决存在较小的拼接缝隙，如1-2个像素点。在实际的拼接场 景中，常常还有一种情况，既在两个相机的重合区域中，存在不同物距的物体，当景深（就 是物距）较近，且存在不同景深时，拼接后的图像往往会产生明显的拼缝。
技术实现思路
本申请提供图像拼接的方法及装置，能够改善拼接表面存在不同物距时的拼接缝 隙问题。 根据本申请实施例的第一方面，提供一种图像拼接的方法，该方法包括步骤： 通过第一图像和第二图像中的特征点确定重合区域以及变换矩阵； 将所述重合区域内当前行中变换误差满足预定条件的像素点作为拼接点；所述变 换误差为所述第一图像的像素点经过所述变换矩阵变换到第二图像的像素点位置与所述 第二图像中的匹配像素点位置之间的误差； 根据所述拼接点进行图像拼接。 根据本申请实施例的第二方面，提供一种图像拼接的装置，该装置包括： 图像预拼接模块，用于通过第一图像和第二图像中的特征点确定重合区域以及变 换矩阵； 拼接点提取模块，用于将重合区域内当前行中变换误差满足预定条件的像素点作 为拼接点；所述变换误差为所述第一图像的像素点经过所述变换矩阵变换到第二图像的像 素点位置与所述第二图像中的匹配像素点位置之间的误差； 图像拼接模块，用于根据所述拼接点进行图像拼接。 本申请在选取拼接点之前首先对拼接区域内是否存在不同物距的物体进行检测， 如果存在不同物距的物体，则选择变换误差足够小的像素点作为拼接点，尽可能的绕开物 距不同的像素点作为拼接点，因此拼接后的图像不会有明显的拼缝，避免了不同物距图像 拼接产生的拼缝问题。 【附图说明】 图1为本申请实施例中图像拼接方法的流程图； 图2是本申请实施例中图像拼接装置的硬件架构图； 图3是本申请实施例中图像拼接装置的内部结构逻辑框图； 图4是本申请一应用实例的处理流程图。 【具体实施方式】 图像拼接技术中拼接区域拼接点该如何选取对于图像拼接的效果起着至关重要 的作用，现有技术对于拼接区域中存在多物距的情况无法达到令人满意的拼接效果。本申 请针对该问题提出了一种图像拼接的方法，在图像拼接时首先检测在摄相机公共可视角内 (即拼接区域）是否存在远近物距差异明显的情况，如果存在不同物距的物体，则尽量避开 不同物距的像素点选取拼接点的解决方案，利用此方案选取拼接点实现图像拼接。以下结 合图1进行详细描述。 申请人:经过仔细研究发现，在图像拼接时，当将其中一张图像的像素点转换到另 一张图像中的匹配像素点位置时，不同的物距下需要使用不同的变换矩阵来描述它的变换 关系，现有技术中选取拼接点的方式并没有考虑这一点，由于变换矩阵无法同时表示不同 物距的变换模型，因此拼接后的图像往往会产生较大的拼缝。因此 申请人:借助变换矩阵来 作为检测物距是否相同的手段。变换矩阵是指在两幅待拼接图像中，计算其中一张图像中 的像素点变换到另一张图像中的匹配像素点时所使用的矩阵。为了描述上的方便，以两张 待拼接图像进行拼接的过程为例，对于多张待拼接图像拼接的情况可以分解成一组两两拼 接的过程。在本申请中，将为了描述方便，两幅图像中其中一幅图像称为第一图像，另一张 图像称为第二图像；变换矩阵为第一图像的像素变换到第二图像的相应位置时所使用的矩 阵。 为了检测拼接区域是否存在不同物距的物体，本方法首先对待拼接的两张图像进 行特征点检测和匹配，根据特征点确定出待拼接的两张图像的重合区域以及变换矩阵（步 骤101)，重合区域是由特征点所确定的重合区域，该步骤可以通过现有技术中已经存在的 技术手段获得，变换矩阵则通过两幅图像中一对匹配的特征点在两幅图像中的空间位置关 系计算得出，为了描述方便，在本申请中变换矩阵为第一图像的特征点变换到第二像素的 匹配特征点所使用的变换矩阵。作为一个实施例，本申请通过SIFT特征匹配算法采集两张 待拼接图像中的SIFT特征点进行匹配，找出两幅待拼接图像中属于同一个物理点的一对 特征点，即特征点和该特征点的匹配特征点。如果匹配到的特征点对数量超出变换矩阵变 量数量，就可以求解出变换矩阵中所有的变量，本实施例使用RANSAC算法得到变换矩阵。 本申请利用得到的变换矩阵作为检验是否存在不同物距的物体的技术手段。具体 过程如下： 对步骤101中所获得的重合区域进行扫描，判断当前行中是否存在变换误差（变 换误差是指第一图像的像素点经过步骤101所求得变换矩阵变换到第二图像的像素点的 位置与第二图像中的匹配像素点的位置之间的误差）满足预定条件的像素点，然后选取该 行中满足预定条件的像素点作为拼接点（步骤102)，从而避开了不同物距的物体。值得指 出的是，在本申请中，设置的预定条件是为了使变换误差足够小，以便各个拼接点在图像拼 接时能够看作是同一拼接平面，从而可以使用同一变换矩阵而不会导致明显拼接缝，因此 如何设置可根据用户的不同需求而不同。在一个实施例中，在重合区域进行行扫描的规则 可以是存在多种情况，例如逐行遍历的方式，设置优先扫描区域的方式等等，用户可以根据 需求灵活选择。扫描时判断当前像素点的变换误差是否满足条件，如果误差值不满足预定 条件，则继续对该行中其他像素进行检测，选取该行中变换误差符合预定条件的像素点作 为最终选定的拼接点。 由于所选取的拼接点从第一图像变换到第二图像时变换误差足够小，因此可以认 为这些拼接点在同一拼接平面，可以使用相同的变换矩阵，因此可以使用现有技术中的技 术手段根据这些拼接点进行图像拼接（步骤103)，拼接后的图像不会产生明显的拼接缝。 对于步骤102,如何判断像素点的变换误差是否满足预定条件，本申请提供了多种 实现方式：作为一个实施例，在执行完步骤101获得变换矩阵之后，判断重合区域内的每个 像素点的变换误差是否满足预定条件，并将判断结果记录下来，记录的方式可以由用户自 由选择，例如，可以将变本文档来自技高网...
【技术保护点】
一种图像拼接的方法，其特征在于，该方法包括步骤：通过第一图像和第二图像中的特征点确定重合区域以及变换矩阵；将所述重合区域内当前行中变换误差满足预定条件的像素点作为拼接点；所述变换误差为所述第一图像的像素点经过所述变换矩阵变换到第二图像的像素点位置与所述第二图像中的匹配像素点位置之间的误差；根据所述拼接点进行图像拼接。
【技术特征摘要】
1. 一种图像拼接的方法，其特征在于，该方法包括步骤： 通过第一图像和第二图像中的特征点确定重合区域以及变换矩阵； 将所述重合区域内当前行中变换误差满足预定条件的像素点作为拼接点；所述变换误 差为所述第一图像的像素点经过所述变换矩阵变换到第二图像的像素点位置与所述第二 图像中的匹配像素点位置之间的误差； 根据所述拼接点进行图像拼接。2. 根据权利要求1所述的方法，其特征在于：将所述重合区域内当前行中变换误差满 足预定条件的像素点作为拼接点的过程包括： 判断所述重合区域内的每个像素点的变换误差是否满足所述预定条件，并记录判断结 果； 根据所记录的判断结果，将当前行中满足预定条件的像素点作为所述拼接点。3. 根据权利要求1所述的方法，其特征在于，通过下述公式中fSAD与预设值对比，判断 所述变换误差是否满足所述预定条件；其中，fSAD为第一图像中的像素点为中心位置的滑动窗口内各像素点变换到第二图像 的像素点位置与第二图像中的匹配像素点位置之间的误差累加之和；W是滑动窗口的大 小，T表示所述变换矩阵，dl是指I1的图像像素点映射到I2的图像后横坐标的图像偏移量； d2指从I1的图像像素点映射到I2的图像后纵坐标的图像偏移量；I1是指第一图像，I 2为作 为第二图像。4. 根据权利要求3所述的方法，其特征在于，该方法还包括步骤： 如果当前行中不存在变换误差满足预定条件的像素点，则将该行中所述fSAD的值最小 的像素点作为拼接点。5. 根据权利要求3所述的方法，其特征在于，所述预设值为W*W*0. 1*WMEAN，其中Wmean为 窗口内所述第二图像的图象亮度的均值，W为滑动窗口的大小。6. -种图像拼接的装置，其特征在于，该装...
【专利技术属性】
技术研发人员：朱旭东，李婵，王智玉，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。