基于规则边界约束的图像拼接方法技术

本发明专利技术公开了一种基于规则边界约束的图像拼接方法，包括：S1图像的初始化拼接；S2全景图不规则边界的提取；S3基于分段矩形的规则边界建立；S4基于分段矩形边界约束的图像拼接。该方法根据全景图的内容和形状特征定义规则边界，通过全局能量优化实现基于规则边界的图像拼接。

【技术实现步骤摘要】
基于规则边界约束的图像拼接方法
本专利技术属于图像处理
，具体涉及一种基于规则边界约束的图像拼接方法。
技术介绍
随着图像获取和编辑处理技术的快速发展，全景图像已经在智能手机等便携式移动设备中得到了广泛应用，其更加宽广的视角给用户带来了更好的视觉体验。现有技术中存在的图像拼接的边界不规则问题(不规则的边界)使得全景图像在实现展示过程中需要大量切割，进而容易丢失部分图像信息。虽然当前图像编辑技术已经取得了大量进展且在智能设备中广泛应用，然而，由于手机等移动终端的相机在拍摄过程中会发生自由移动，经过特征配准后的全景图像大多存在不规则边界，为了在普通显示设备中展示全景图，通常需要对其进行切割。一般说来，手机相机拍摄得到的全景图是经矩形窗口切割后得到的结果，此时其已经丢失了部分图像信息，从而降低了全景图的宽广视角体验。为了生成具有规则边界的全景图，并避免因切割带来的图像内容缺失，当前主要有两种解决方法方面的研究：(1)图像内容补全方法。该方法首先获取全景图的外接矩形边界，然后补全矩形边界和不规则边界之间的图像内容。然而，图像补全方法的性能不稳定，难以高质量地补全具有一定语义的内容。(2)KaimingHe等人于2013年提出了基于变形的全景图像矩形化方法。该方法以边界不规则的全景图为输入，将外接矩形作为边界约束，结合局部形状和直线保持约束，通过基于变形的优化得到边界为矩形的全景图。以上两种方法虽然能够改善全景图不规则边界的问题，但仍然存在以下问题：1)将图像拼接和边界规则化作为两个独立的过程，难以保证结果的最优。2)不规则全景图上的网格存在边界的空洞问题。3)当全景图存在大量内容缺失时，变形优化后的结果存在较大的畸变，和特征的错误对应。因此，当不规则边界和外接矩形之间的空隙较大时，需要重新定义规则边界约束，在保证边界规则的同时，减少变形带来的畸变。
技术实现思路
本专利技术要解决的技术问题是提供一种基于规则边界约束的图像拼接方法，该方法根据全景图的内容和形状特征定义规则边界，通过全局能量优化实现图像拼接和边界规则化。为解决上述技术问题，本专利技术采用如下技术方案：一种基于规则边界约束的图像拼接方法，所述图像拼接方法包括：S1，以多个包含部分重叠的图像为输入，建立以图像间的特征对应、局部网格形状保持、全局相似性保持为约束的能量优化，通过网格变形得到图像的初始拼接结果；S2，以图像初始拼接的网格顶点为输入，提取变形后多个图像网格的边界，并构造成多边形，通过多边形布尔运算的并集操作得到多个图像网格的不规则边界，该边界由部分网格顶点和网格间的交点组成；S3，以不规则边界为输入，根据不规则边界的上网格交点和顶点对边界进行分段，根据分段后边界的方向和顶点数目进行相邻边界聚类，将聚类后各段边界顶点的坐标均值作为全景图目标边界条件，从而生成分段矩形边界约束；S4，根据步骤S2和步骤S3的不规则边界和分段边界约束条件，按照以下方式实现全景图无缝拼接和规则边界保持：将图像初始化拼接约束、规则边界约束、以及直线保持约束进行线性组合，然后求解能量优化并通过变形得到全景图拼接结果。一优选实施例中，步骤S4包括：将图像初始化拼接约束、规则边界约束，以及直线保持约束按照公式E(v)＝wa(Ea)+ws(Es)+wg(Eg)+wr(Er)+wl(El)进行线性组合，求解能量优化并通过变形得到全景图拼接结果。一优选实施例中，步骤S4还包括：通过迭代的方式优化分段边界，并以此为约束求解新的变形网格，得到边界更加规则的全景图，以使分段规则边界接近矩形并避免畸变。采用本专利技术具有如下的有益效果：1、本专利技术所述的基于规则边界约束的图像拼接方法能够生成高质量的全景图，在边界规则化的同时，保证视觉可接受的畸变。2、本专利技术所述的基于规则边界约束的图像拼接方法具有高效性和实用性，能够快速计算并渲染出全景图，有效地保证全景拍摄结果的内容完整性和边界规则性。3、本专利技术所述的基于规则边界约束的图像拼接方法提出了在图像拼接的优化框架中加入规则边界约束，通过全局优化实现基于规则边界的图像拼接，从而解决了下述问题：当不规则边界和外接矩形之间的空隙较大，能够通过定义合理的分段矩形边界，最大程度地保证全景拼接的内容完整性，并能够有效控制变形带来的畸变。附图说明图1为本专利技术实施例一种基于规则边界约束的图像拼接方法的处理流程示意图；图2为基于图1所示处理方法的图像拼接系统。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参照图1，本专利技术公开了一种基于规则边界约束的图像拼接方法，图1示出了本专利技术图像拼接方法一实施例的处理流程示意图，该方法包括：S1，图像的初始化拼接以多个部分重叠的图像为输入，建立以图像间的特征对应{Ea}、局部网格形状保持{Es}、全局相似性保持{Eg}为约束的能量优化，通过网格变形生成图像的初始拼接结果，其中：1)特征点对应采用Zaragoza等人于2014年提出的APAP方法实现特征点的准确对应。2)通过约束每个网格的形变实现局部形状保持，即将每个四边网格分割成两个三角形，利用Igarashi等人于2009年提出的方法实现每个直角三角形的形状特征保持。3)全局特征保持采用Chen等人于2016年提出的方法，通过保持拼接图像的尺度和旋转一致性，实现全局相似性变换。S2，全景图不规则边界的提取根据S1以图像的初始拼接的网格为输入，提取各网格的边界，并将其构造成对应的多边形，然后对多个多边形进行布尔的并集运算，从而得到全景图的不规则边界。此时，该边界上包含了部分网格顶点和网格之间的交点。进一步地，提取出不规则边界中包含的网格角点(即网格的上、下、左、右4个角点)，并将其中距离不规则边界的外接矩形四个顶点最近的角点作为不规则边界的角点，此时提取出的角点将不规则边界上的顶点划分为4个方向。S3，基于分段矩形的规则边界建立根据不规则边界每个方向上的网格交点和角点对边界进行分段。然后，进一步地，根据各分段边界的长度和方向进行分段边界聚类分析，将同类或过短的分段边界进行合并，最终将聚类后各分段边界的坐标平均值作为目标边界值。对于边界上的网格交点，首先提取出形成该交点的两对网格顶点，并利用其线性插值表示该交点，最后将交点的边界约束转化为对插值网格顶点的约束。S4，基于分段矩形边界约束的图像拼接根据步骤S2和步骤S3的不规则边界和分段边界约束条件，按照以下方式实现全景图的无缝拼接和规则边界保持，根据S3的不规则边界约束，结合S1的初始图像拼接约束，建立全局能量优化实现基于分段矩形边界约束的图像拼接，其能量约束包括特征一致对应{Ea}、局部形状保持{Es}、全局相似性保持{Eg}、直线保持{El}、规则边界{Er}，将以上能量按照下述公式进行线性组合，得到总的能量方程E(v)，通过最小化E(v)得到变形后的网格，其中，一具体实施例中，各能量项的权值分别为wa＝1.5，ws＝10，wg＝0.75，wr＝1000，wl＝15。最后，根据变形后的网格位置进行纹理映射，本文档来自技高网...

【技术保护点】
1.一种基于规则边界约束的图像拼接方法，其特征在于，所述图像拼接方法包括：S1，以多个包含部分重叠的图像为输入，建立以图像间的特征对应、局部网格形状保持、全局相似性保持为约束的能量优化，通过网格变形得到图像的初始拼接结果；S2，以图像初始拼接的网格顶点为输入，提取变形后多个图像网格的边界，并构造成多边形，通过多边形布尔运算的并集操作得到多个图像网格的不规则边界，该边界由部分网格顶点和网格间的交点组成；S3，以不规则边界为输入，根据不规则边界的上网格交点和顶点对边界进行分段，根据分段后边界的方向和顶点数目进行相邻边界聚类，将聚类后各段边界顶点的坐标均值作为全景图目标边界条件，从而生成分段矩形边界约束；S4，根据步骤S2和步骤S3的不规则边界和分段边界约束条件，按照以下方式实现全景图无缝拼接和规则边界保持：将图像初始化拼接约束、规则边界约束、以及直线保持约束进行线性组合，然后求解能量优化并通过变形得到全景图拼接结果。

【技术特征摘要】
1.一种基于规则边界约束的图像拼接方法，其特征在于，所述图像拼接方法包括：S1，以多个包含部分重叠的图像为输入，建立以图像间的特征对应、局部网格形状保持、全局相似性保持为约束的能量优化，通过网格变形得到图像的初始拼接结果；S2，以图像初始拼接的网格顶点为输入，提取变形后多个图像网格的边界，并构造成多边形，通过多边形布尔运算的并集操作得到多个图像网格的不规则边界，该边界由部分网格顶点和网格间的交点组成；S3，以不规则边界为输入，根据不规则边界的上网格交点和顶点对边界进行分段，根据分段后边界的方向和顶点数目进行相邻边界聚类，将聚类后各段边界顶点的坐标均值作为全景图目标边界条件，从而生成分段矩形边界约束；S4，根据步骤S2和步骤S3的不规则边界和分...

【专利技术属性】
技术研发人员：张赟，
申请(专利权)人：浙江传媒学院，
类型：发明
国别省市：浙江,33