An image mosaic method based on improved optical flow, belongs to the field of image information processing technology. The method includes: S1: Calculation of image space adjacent to the overlap region; S2: a feature descriptor matching method and dense matching calculation based on optical flow; S201: structural constraints by the general energy function variational model; S202: according to the total energy function, restriction to solve the feature descriptor: the method of continuous S203; in the variational model of gray value constraints, gradient constraint and smoothness constraint, square optical flow was solved; S3: registration and transformation of the overlap region based on S4: the optical flow information; after image fusion, in order to get the mosaic image; the invention combines feature descriptor matching and dense matching optical flow estimation of optical flow information, thus to mosaic the image, the method of large displacement and small displacement flow can be accurate calculation, which can greatly improve the accuracy of optical flow registration.
【技术实现步骤摘要】
一种基于改进光流的图像拼接方法
本专利技术属于图像信息处理
,涉及图像拼接技术,尤其涉及一种基于改进光流的图像拼接方法。
技术介绍
图像拼接是利用多个摄像机获取不同角度的图像并进行拼接形成宽视野图像的技术。根据场景不同,可以分为静止场景的图像拼接和运动场景的图像拼接。对于静止场景,难点在于如何消除静止视差引起的重影。对于运动场景,不仅包括静止物体的视差,还有前景移动物体穿越相机时的重影。为了消除运动目标的拼接重影,如“鬼影”,目前方法大致可分为三类:第一类方法是采用先进的图像合成技术,如seamcutting(接缝切割)方法,但这类方法在有移动目标经过缝合线时,拼接图像中会出现运动目标断裂。第二类方法是基于深度信息的配准方法,因为运动区域和静止区域的深度特征区别较明显,采用立体匹配方法估计相邻图像的深度信息,利用深度信息进行配准,该类方法深度信息的正确估计尤为关键,然而,深度估计计算复杂度通常很高。第三类方法是基于运动矢量的配准方法,首先是估计运动矢量(运动大小和运动方向),然后根据运动矢量匹配相邻两幅图像。目前先进的运动矢量估计方法为光流法。对于光流估计, ...
【技术保护点】
一种基于改进光流的图像拼接方法,其特征在于,包括:S1:计算空间相邻图像的重合区域;S2:基于特征描述符匹配和密集匹配相结合的方法计算光流;S201:构造由总能量函数约束的变分模型;总能量约束方式如下:E(W)=Ecolor(W)+αEgrad(W)+βEsmooth(W)+γEmatch(W,W1)+δEdesc(W1);其中,Ecolor(W)为灰度值约束项、Egrad(W)为梯度约束、Esmooth(W)为平滑度约束、Edesc(W1)为描述符匹配约束项、Ematch(W,W1)为光流平方差;S202:特征描述符匹配约束项Edesc(W1)求解;S203:采用连续方法 ...
【技术特征摘要】
1.一种基于改进光流的图像拼接方法,其特征在于,包括:S1:计算空间相邻图像的重合区域;S2:基于特征描述符匹配和密集匹配相结合的方法计算光流;S201:构造由总能量函数约束的变分模型;总能量约束方式如下:E(W)=Ecolor(W)+αEgrad(W)+βEsmooth(W)+γEmatch(W,W1)+δEdesc(W1);其中,Ecolor(W)为灰度值约束项、Egrad(W)为梯度约束、Esmooth(W)为平滑度约束、Edesc(W1)为描述符匹配约束项、Ematch(W,W1)为光流平方差;S202:特征描述符匹配约束项Edesc(W1)求解;S203:采用连续方法对变分模型中Ecolor(W)为灰度值约束项、Egrad(W)为梯度约束、Esmooth(W)为平滑度约束、Ematch(W,W1)为光流平方差进行求解;S3:基于上一步骤求得的光流信息对重合区域进行配准和变换;具体的,基于S2步骤计算的光流场,对重叠区域进行配准变换,变换公式如下:I1(p)=I2(x+u(p),y+v(p))=I2(p′)其中,I1、I2分别表示左右图像,p=(x,y)表示左图像的像素点坐标,u(p)表示p点在x方向的光流,v(p)表示p点在y方向的光流;p′表示右图像的像素点坐标,即p和p′是根据光流而对应的两像素点;即用单应性矩阵表示为:S4:对变换后的图像进行融合,从而得到拼接后图像;对变换后的图像采用渐进渐出图像融合方法融合重叠区域,再将非重叠区域和拼接后的重叠区域图像融合,得到最终的全景图像;渐进渐出融合公式为:其中R1为左图像非重叠区域,R2为右图像非重叠区域,R3为左右图像的图像重叠区域,i表示右图像重叠区域的横坐标值,overlapImgWidth指相邻两幅图像重叠区域的图像宽度。2.根据权利要求1所述的方法,其特征在于,所述S201中,I1,I2分别是待配准的左图像和右图像,X=(x,y)T表示是图像区域上的像素坐标,W=(u,v)T表示光流;首先,加上灰度值约束项Ecolor(W)普通约束,即对应点应具有相同的灰度值;约束方式如下:Ecolor(W)=∫ΩΨ(|I2(X+W(X))-I1(X)|2)dx函数梯度约束Egrad(W)约束方式如下:其中,表示图像在x方向和y方向的梯度值,平滑度约束Esmooth(W)的约束方式如下:其中,u(X)表示像素点X=(x,y)T在x方向的位移,v(X...
【专利技术属性】
技术研发人员:不公告发明人,
申请(专利权)人:长沙全度影像科技有限公司,
类型:发明
国别省市:湖南,43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。