The invention relates to an image mosaic method based on manifold optimization, which belongs to the field of image mosaic technology. The stitching method first overlaps the image and meshes the image, then optimizes the residual of the matching feature points by using the iterative optimization method in the manifold space to align the overlapped parts of the image, then reprocesses the non overlapping parts of the image, and transforms the single stress matrix of the previous grids and the global similarity transformation in the previous images. The manifold space interpolates according to the distance weight. Compared with the existing direct interpolation methods, the interpolation in the manifold space is more reasonable and the effect is improved obviously. In the experimental results, the results show that the results of the manifold space are more natural and smooth, and the effect is better than the results in the ordinary Euclidean space.
【技术实现步骤摘要】
一种基于流形优化的图像拼接方法
本专利技术涉及一种图像拼接方法，特别涉及一种基于流形优化的图像拼接方法，属于图像处理以及图像拼接
技术介绍
随着可视化媒体的逐渐发展，社会大众对于媒体信息也有了更高的需求。除了希望可以得到更高的分辨率和更清晰的图像之外，人们还希望图像中可以涵盖更大视角的场景信息。但是当前一般的拍摄设备因为摄像头硬件条件的限制，无法获取到更大视角的图像。虽然有可以拍摄出更大视角的广角相机或是超广角相机，但是这类相机的成本一般会比较高，而且操作起来会非常复杂，只有专业的人士才可以使用，在普通用户中很难推广。为了可以迎合大众在这方面的需求，利用图像拼接获取广视角图像的科研方向逐步发展起来。之前的图像拼接方法都是在欧氏空间操作，得到的图像可能会有扭曲的产生，本专利技术的操作基本都是在流形空间中进行，可以有效避免在欧氏空间中可能会产生的问题，从而得到一幅平滑而自然的拼接图像。
技术实现思路
本专利技术的目的就是要利用流形优化的优势来实现图像的拼接，并得到一幅平滑自然的广角图像，提出了一种基于流形优化的图像拼接方法。本专利技术的核心思想是将图像拼接的中的变换矩阵映射到流形空间去，在流形空间中通过一系列的优化插值得到最后的图像变换矩阵，然后再将该矩阵映射到欧氏空间并作用到变换图像上，最后将参照图像和变换图像融合到一起得到最后的广角图像；之所以将矩阵的操作放到流形空间是因为从李群的角度俩看，变换矩阵在欧氏空间中的加减运算是不合理的，容易产生奇异的结果，而在流形空间则会避免这样的情况，所以将变换矩阵的操作放入流形空间。本专利技术的具体实现步骤如下：一种...
【技术保护点】
1.一种基于流形优化的图像拼接方法，其特征在于：核心思想是将图像拼接的中的变换矩阵映射到流形空间去，在流形空间中通过一系列的优化插值得到最后的图像变换矩阵，然后再将该矩阵映射到欧氏空间并作用到变换图像上，最后将参照图像和变换图像融合到一起得到最后的广角图像；之所以将矩阵的操作放到流形空间是因为从李群的角度来看，变换矩阵在欧氏空间中的加减运算是不合理的，容易产生奇异的结果，而在流形空间则会避免这样的情况，所以将变换矩阵的操作放入流形空间。
【技术特征摘要】
1.一种基于流形优化的图像拼接方法，其特征在于：核心思想是将图像拼接的中的变换矩阵映射到流形空间去，在流形空间中通过一系列的优化插值得到最后的图像变换矩阵，然后再将该矩阵映射到欧氏空间并作用到变换图像上，最后将参照图像和变换图像融合到一起得到最后的广角图像；之所以将矩阵的操作放到流形空间是因为从李群的角度来看，变换矩阵在欧氏空间中的加减运算是不合理的，容易产生奇异的结果，而在流形空间则会避免这样的情况，所以将变换矩阵的操作放入流形空间。2.根据权利要求1所述的一种基于流形优化的图像拼接方法，其特征在于：具体实现步骤如下：步骤一、将待拼接的两幅图像的重叠部分进行对齐；其中，使用I1和I2来表示待拼接的两幅图像；步骤二、在流形空间中矫正非重叠部分的扭曲，得到变换后的图像；步骤二之前的变换矩阵可以将图像I1和I2的重叠部分对齐，但是会让图像I2的非重叠部分产生投影扭曲，所以需要矫正这部分扭曲；步骤三、图像融合，具体基于步骤二得到变换后的图像，再利用线性融合的方式将这两幅图像融合到一起，得到了一幅包含更大视角的图像；至此，从步骤一到步骤三，完成了一种基于流形空间的图像拼接方法。3.根据权利要求2所述的一种基于流形优化的图像拼接方法，其特征在于：步骤一，包括以下步骤：步骤1.1、求取待拼接的两幅图像的对应特征点；具体为：首先使用特征点提取的算法检测图像I1和图像I2的特征点；然后进行粗匹配；再利用RANSAC算法进一步筛选出准确的匹配特征点；步骤1.2、利用流形优化的方法获取图像变换矩阵，具体为：步骤1.2.1、将图像I2网格化，即将图像I2为w×h个网格；其中，w为宽，h为高，共M＝w×h个网格；步骤1.2.2、在流形空间中获取步骤1.2.1中w×h个网格的变换矩阵；在流形空间中获取w×h个网格中的每一个网格的变换矩阵，具体通过迭代优化能量函数(1)来得到：其中，M＝w×h表示所有的网格数；i表示w×h个网格按行排列后的第i个网格；Ni表示第i个网格内的所有匹配特征点数；是第i个网格前一次迭代后得到的变换矩阵，初始的值设为直接线性变换得到的全局单应矩阵；Hi(xi)表示第i个网格每次迭代要更新的值，而xi就是Hi(xi)在流形空间中的表示形式，第i个网格在每一次迭代后都会得到xi，将其转换到欧氏空间后利用更新之后再次迭代；w(H)(pj)表示变换矩阵H与点pj坐标的齐次形式相乘得到新的坐标位置；表示利用第i个网格变换矩阵变换该网格内的特征点pj后得到的特征点与实际检测到的特征点p'j之间的距离；K表示第i个网格的四个顶点；k表示第i个网格内按行排列的第k个顶点；μk表示与顶点qk相连接的网格集合；表示第i个网格变换矩阵和第l个网格变换矩阵变换同一个网格顶点qk后相差的距离；λ是为了平衡匹配项和平滑项而设立的参数；为了求解能量函数，令：其中，yi(x)表示与第i个网格优化所涉及的所有能量项组成的向量；Ni表示在第i个网格内的特征点对数；表示在第i个网格中，利用第j对特征点建立的能量项，可以表示为其中表示利用对pji做变换，也可以表示为代表操作的叠加：先用Hi(xi)与的齐次形式相乘得到新的坐标位置，再用与之前得到的新的坐标位置相乘；Fi表示第i个网格的顶点数，Fi＝4；表示与第i个网格中的第k(k∈Fi)个顶点建立的能量项，可以表示为l∈μk；将公式(2)带入公式(1)推出通过优化w×h个网格的y(x)，就可得能量函数(1)的优化结果，进而就可得到w×h个网格的变换矩阵；由于w×h个网格计算的过程是一样的，而且是独立进行的，为了简化表示就用y(x)来表示当前处理网格的yi(x)；步骤1.2.2，又具体包括如下子步骤：步骤1.2.2.A、将y(x)按照泰勒公式展开，得到了如下公式(3)：其中，J(x)为y(x)的雅各比矩阵，如公式(4)；M(0,x)，即M(x1＝0,x2＝x)，它的计算过程如公式(5)所示：再将公式(3)带入J(x)＝▽xy(x)得到(6)：J(x)＝J(0)+M(0,x)+O(||x||2)(6)将公式(6)带入公式(3)得到(7)：(7)公式的近似表示为(8)：至此，网格y(x)优化的目标是为了找一个x0使得y(x0)≈0；将y(x0)＝0带入公式(8)后，可得x0＝-2(J(0)+J(x0))+*y(0)；其中，(J(0)+J(x0))+表示(J(0)+J(x0))的伪逆矩阵；从x0＝-2(J(0)+J(x0))+*y(0)看出，求出J(0)和J(x0)，可得x0；步骤1.2.2.B、求解J(0...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。