基于图割能量优化的影像间最优拼接线寻找方法及系统技术方案

一种基于图割能量优化的影像间最优拼接线寻找方法及系统，进行待拼接影像数据准备，获得各待拼接影像之间所有重叠区域及相应重叠度；对待拼接影像进行预处理，综合考虑颜色、梯度以及纹理信息确定图割全局能量函数，图割全局能量函数包括数据项和平滑项，平滑项能量权重设置，采用图割能量优化方法，对总能量进行优化，获取最优拼接线。本发明专利技术所得拼接线尽量避免通过色差过大、纹理复杂区域以及明显地物的边缘，从而最大程度上保证了拼接线的最优化，解决了多影像多度重叠区域拼接线联合优化的问题，适用性广。

【技术实现步骤摘要】
基于图割能量优化的影像间最优拼接线寻找方法及系统
本专利技术属于数字影像处理
，特别是涉及一种基于图割(Graph-Cuts)能量优化的影像间最优拼接线寻找技术方案及系统。
技术介绍
在数字影像拼接过程中，由于受到影像配准几何误差以及影像色差等因素的影响，在拍摄视角或目标运动等造成影像间差异较大的区域(如建筑物、车辆以及行人等明显地物)，拼接后的影像往往存在较为明显的错位现象。因此，如何快速高效地寻找一条最优的拼接线(避免穿过影像差异较大区域)，是影像拼接中最为关键的技术，也是计算机视觉和摄影测量领域研究的热点课题之一，在全景影像拼接和航空影像拼接(尤其是低空倾斜影像拼接)等中应用最为广泛。目前拼接线自动寻找的方法主要有三种技术路线：一是基于辅助数据的方法，二是基于对象的拼接线寻找方法，三是基于重叠区域影像差异的方法。基于辅助数据的拼接线寻找方法主要利用辅助数据(道路矢量数据、LiDAR点云数据等)对拼接线的走向进行约束，从而取得较好的拼接结果。该方法的主要缺陷在于对辅助数据的依赖性，拼接结果的好坏很大程度上取决于辅助数据的精度。基于对象的拼接线寻找方法结合影像分割算法，对重叠本文档来自技高网...

【技术保护点】
一种基于图割能量优化的影像间最优拼接线寻找方法，包括以下步骤：步骤1，进行待拼接影像数据准备，获得各待拼接影像之间所有重叠区域及相应重叠度；步骤2，对待拼接影像进行预处理；步骤3，确定图割全局能量函数如下，设当前待拼接影像为N张，分别为影像I1，I2，I3，…，IN，构成的影像集为图割全局能量函数包括Edata和Esmooth两项，其中，Edata和Esmooth分别代表数据能量项和平滑能量项，其具体计算如下，所述数据能量项的计算如下，其中，Edata(Ik)代表经最优拼接线拼接后的影像J中每个像素来自于影像Ik的能量惩罚，定义如下，Edata(Ik)＝Σp∈JRp(Ik)其中，p为拼接后影像...

【技术特征摘要】
1.一种基于图割能量优化的影像间最优拼接线寻找方法，包括以下步骤：步骤1，进行待拼接影像数据准备，获得各待拼接影像之间所有重叠区域及相应重叠度；步骤2，对待拼接影像进行预处理；步骤3，确定图割全局能量函数如下，设当前待拼接影像为N张，分别为影像I1,I2,I3,…,IN，构成的影像集为图割全局能量函数包括Edata和Esmooth两项，其中，Edata和Esmooth分别代表数据能量项和平滑能量项，其具体计算如下，所述数据能量项的计算如下，其中，Edata(Ik)代表经最优拼接线拼接后的影像J中每个像素来自于影像Ik的能量惩罚，定义如下，Edata(1k)＝∑p∈JRp(Ik)其中，p为拼接后影像J上的某个像素，Rp(Ik)代表像素p来自于影像Ik的能量惩罚，定义如下，所述平滑能量项定义如下，其中，颜色空间能量项以及梯度空间能量项的计算公式如下，其中，p和q为两个相邻的像素，为像素p的四邻域，和分别代表拼接后影像J中像素p和q所属影像的编号，函数的定义如下，和分别代表相邻像素p和q在重叠区域对应的颜色空间平滑项能量和梯度空间平滑项能量，定义如下，其中，Ia和Ib为影像集中任意两个存在重叠区域的影像，设影像Ia,Ib构成待拼接影像对和分别为相邻像素p和q在Ia和Ib重叠区域对应的颜色空间平滑项能量和梯度空间平滑项能量；步骤4，平滑项能量权重设置，包括基于步骤3所得结果，将单个像素的颜色空间能量项以及梯度空间能量项重新定义如下，其中，wd(p)为像素p靠近重叠区域边缘的权重，定义如下：，其中，d(p)表示像素p到重叠区域边缘的最短距离，dth为预设阈值；步骤5，采用图割能量优化方法，对经步骤4重新定义颜色空间能量项以及梯度空间能量项后的总能量进行优化，获取最优拼接线。2.根据权利要求1所述基于图割能量优化的影像间最优拼接线寻找方法，其特征在于：当根据步骤5所得最优拼接线进行优化后出现局部优化效果不佳时，对局部优化效果不佳区域的每个重叠区域分别加入干预，优化拼接线，步骤如下，步骤A1，在重叠区域中选取点集，并赋予相应影像归属编号，设选取的M个点的集合定义为相应赋予的影像归属编号表示为步骤A2，针对步骤A1选取的点集对应的平滑能量项不作改动，对应的数据能量项的能量惩罚修改如下，其中，xi为步骤A1选取的一个像素，为步骤A1赋予给像素xi的影像归属编号，经此修改能量项后重新采用图割能量优化方法获取最优拼接线。3.根据权利要求1或2所述基于图割能量优化的影像间最优拼接线寻找方法，其特征在于：所述相邻像素p和q在Ia和Ib重叠区域对应的颜色空间平滑项能量和梯度空间平滑项能量和的获取方式如下，针对拼接后影像J中每个像素p来自影像对的纹理空间能量定义如下，其中，Γa(p)和Γb(p)分别代表像素p在影像Ia和Ib上的纹理复杂度；针对拼接后影像J中每个像素p来自影像对的颜色空间能量定义如下，其中，H(p)和S(p)分别表示像素p在影像H通道和S通道中的值，wh和ws分别为对应的权；针对拼接后影像J中每个像素p来自影像对的梯度空间能量定义如下，其中，λ为平衡参数，和分别为像素p在影像Ia上的水平方向梯度大小、在影像Ia上的垂直方向梯度大小、在影像Ib上的水平方向梯度大小和在影像Ib上的垂直方向梯度大小；颜色空间平滑项能量和梯度空间平滑项能量和定义如下，4.根据权利要求1或2所述基于图割能量优化的影像间最优拼接线寻找方法，其特征在于：步骤2所述对待拼接影像进行预处理，包括影像降采样、影像颜色空间转换及灰度化、影像梯度计算和纹理复杂度计算。5.根据权利要求4所述基于图割能量优化的影像间最优拼接线寻找方法，其特征在于：当待拼接影像为全景图像时，步骤2所述对待拼接影像进行预处理中包括进行影像扩展。6.一种基于图割能量优化的影像间最优拼接线寻找系统，包括以下模块：数...

【专利技术属性】
技术研发人员：姚剑，李礼，唐文莉，常娟，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42