当前位置: 首页 > 专利查询>北京大学专利>正文

图像拼接方法及装置制造方法及图纸

技术编号:19024402 阅读:28 留言:0更新日期:2018-09-26 19:19
本发明专利技术提供一种图像拼接方法及装置,通过获取背景图像与自拍图像中任意两张之间的对应点,并由对应点的颜色信息、状态信息、平均颜色信息获取每一背景图像及自拍图像的光照变换系数,根据光照变换系数统一背景图像及自拍图像的光照,再通过仿射变换将颜色调整后的背景图像对齐到颜色调整后的自拍图像,再经过图像拼接,实现自拍图背景的扩展。本实施例提供的图像拼接方法,保证了在背景图像和自拍图像光照条件不一致情况下实现图像拼接,其拼接后的图像具有较好的连续性和一致性,提高了拼接图像的视觉质量。

【技术实现步骤摘要】
图像拼接方法及装置
本专利技术实施例涉及图像编辑
,尤其涉及一种图像拼接方法及装置。
技术介绍
随着社交媒体的发展与智能手机的普及,分享自拍照片越来越流行。但是因为自拍时拍摄者到摄像头的距离限制和前置摄像头的数据采集能力限制,自拍照往往只有非常有限的视野和差强人意的光照风格,其中的景物尤其是高大的建筑往往残缺不全,无法很好地重现景物。为此,需要利用图像拼接技术对图像视野进行扩展。图像拼接过程最重要的是多张图像之间的光照统一以及场景匹配的问题。现有的图像拼接技术通常只能基于多张图像光照条件一致才能进行拼接。而实际上多张图像光照条件并不能保证完全一致。虽然可以在图像拼接前进行光照统一,但对于多张仅有部分重叠关系或对应关系的图像,例如背景残缺的自拍照和背景的部分照片或完整照片,现有技术难于进行光照统一,进而影响图像拼接。
技术实现思路
本专利技术提供一种图像拼接方法及装置,以有效的对多张光照条件不一致且仅有部分重叠关系或对应关系的图像进行拼接。本专利技术的一个方面是提供一种图像拼接方法,包括:获取至少一张背景图像与自拍图像中任意两张之间的对应点;获取任意对应点在任意所述背景图像和所述自拍图像中是否存在的状态信息以及颜色信息,根据所述颜色信息获取任意对应点在所有所述背景图像和所述自拍图像中的平均颜色信息;根据所述颜色信息、所述状态信息、所述平均颜色信息获取每一所述背景图像及所述自拍图像的光照变换系数,所述光照变换系数包括白平衡变换系数和灰度变换系数;根据所述白平衡变换系数和灰度变换系数对所述背景图像及所述自拍图像的像素点进行颜色调整;基于所述自拍图像,对颜色调整后的所述背景图像进行仿射变换;对仿射变换后的所述背景图像与颜色调整后的所述自拍图像进行图像拼接。进一步的,所述根据所述对应点的颜色信息、所述状态信息、所述平均颜色信息获取每一所述背景图像及所述自拍图像的光照变换系数,所述光照变换系数包括白平衡变换系数和灰度变换系数,具体包括:构建低秩矩阵优化方程:其中,W为表示所述状态信息的状态矩阵,其大小为(N+1)×M阶,N为所述背景图像的个数;M为在所有所述背景图像和所述自拍图像中所述对应点的总个数,如果对应点pj在图像Ii中出现,则Wij=1,如果对应点pj在图像Ii中未出现,则Wij=0,i为0-(N+1)中的整数,j为1-M中的整数,I0为所述自拍图像;O为表示所述颜色信息的颜色矩阵,其大小为(N+1)×M阶,Oij=log(Ii(xij)),Ii(xij)表示对应点pj在图像Ii中的颜色;Q′为表示所述平均颜色信息的平均颜色矩阵,其大小为M×2阶,Q′j1=1,Q′j2=logaj′;P为光照变换系数矩阵,其大小为(N+1)×2阶,Pi1=γilogci,Pi2=γi,ci为图像Ii的白平衡变换系数,γi为图像Ii的灰度变换系数;Q为目标颜色矩阵,其大小为M×2阶,Qj1=1,Qj2=logaj,aj为对应点pj的目标颜色;运算符号⊙为矩阵按元素相乘的操作;根据所述低秩矩阵优化方程获取使得所述低秩矩阵优化方程结果最小的光照变换系数矩阵P和目标颜色矩阵Q;根据所得的光照变换系数矩阵P和目标颜色矩阵Q获取所述背景图像及所述自拍图像分别变换到目标颜色矩阵Q的光照变换系数Bi=[ci,γi]。进一步的,所述基于所述自拍图,对颜色调整后的所述背景图像进行仿射变换,具体包括:根据所述背景图像与所述自拍图像中任意两张:图像Ii1和图像Ii2之间的对应点的位置关系获取所述图像Ii1和所述图像Ii2之间的仿射变换矩阵Hi1,i2,并获取所述图像Ii1和所述图像Ii2之间进行仿射变换的权重1/mi1,i2,其中mi1,i2为所述图像Ii1和所述图像Ii2中满足该仿射变换矩阵的对应点的数量;获取每张所述背景图像Ii经由若干张背景图像到达所述自拍图像I0权重叠加之和最小的路径Ii→Ii1→Ii2→…→Iin→I0;将与所述路径对应的各仿射变换矩阵根据Hi=Hin,0·…·Hi1,i2·Hi,i1叠乘,获取所述背景图像Ii到所述自拍图像I0的对齐变换系数Hi;根据对齐变换系数Hi对颜色调整后的所述背景图像Ii进行仿射变换。进一步的,所述在对颜色调整后的所述背景图像进行仿射变换后,所述对仿射变换后的所述背景图像与颜色调整后的所述自拍图进行按对应位置的叠加前,还包括:对仿射变换后的所述背景图像及颜色调整后的所述自拍图像重复所述获取对应点的步骤,所述获取对应点的状态信息、颜色信息、平均颜色信息的步骤,所述获取光照变换系数的步骤,所述颜色调整的步骤,以及所述仿射变换的步骤,直至本次循环达到预定条件。进一步的,所述对仿射变换后的所述背景图像及颜色调整后的所述自拍图像重复所述获取对应点的步骤,所述获取对应点的状态信息、颜色信息、平均颜色信息的步骤,所述获取光照变换系数的步骤,所述颜色调整的步骤,以及所述仿射变换的步骤,具体包括:在第k次循环中,对第k-1次循环仿射变换后的所述背景图像及颜色调整后的所述自拍图像重复获取所述对应点的步骤,所述获取对应点的状态信息、颜色信息、平均颜色信息的步骤,所述获取光照变换系数的步骤,从而得到第k次光照变换系数Bi,k=[ci,k,γi,k],其中Bi,k为图像Ii在第k次循环中所得的光照变换系数,ci,k与γi,k为对应的白平衡变换系数和灰度变换系数;根据迭代至第1次循环,获取累计的光照变换系数Bi,根据所述累计的光照变换系数Bi及颜色调整公式对初始的所述背景图像及初始的所述自拍图像的像素点进行颜色调整,其中,ci,k-1与γi,k-1为第k-1次循环中所得的光照变换系数Bi,k-1=[ci,k-1,γi,k-1]中的白平衡变换系数和灰度变换系数,Ii(xin)表示在初始的图像Ii中第n个像素点xin的颜色;获取第k次循环中所述背景图像Ii到所述自拍图像I0的对齐变换系数Hi,k,根据Hi=[Hi,k·Hi,k-1]迭代至第1次循环,获取累计的对齐变换系数Hi,其中Hi,k-1为第k-1次循环中所得的对齐变换系数,根据所述累计的对齐变换系数Hi对颜色调整后的初始的所述背景图像进行仿射变换。本专利技术的另一个方面是提供一种图像拼接装置,包括:对应点获取模块,用于获取至少一张背景图像与自拍图像中任意两张之间的对应点;对应点信息获取模块,用于获取任意对应点在任意所述背景图像和所述自拍图像中是否存在的状态信息以及颜色信息,根据所述颜色信息获取任意对应点在所有所述背景图像和所述自拍图像中的平均颜色信息;光照变换系数获取模块,用于根据所述颜色信息、所述状态信息、所述平均颜色信息获取每一所述背景图像及所述自拍图像的光照变换系数,所述光照变换系数包括白平衡变换系数和灰度变换系数;颜色调整模块,用于根据所述白平衡变换系数和灰度变换系数对所述背景图像及所述自拍图像的像素点进行颜色调整;仿射变换模块,用于基于所述自拍图像,对颜色调整后的所述背景图像进行仿射变换;图像拼接模块,用于对仿射变换后的所述背景图像与颜色调整后的所述自拍图像进行图像拼接。进一步的,所述光照变换系数获取模块具体用于:构建低秩矩阵优化方程:其中,W为表示所述状态信息的状态矩阵,其大小为(N+1)×M阶,N为所述背景图像的个数;M为在所有所述背景图像和所述自拍图像本文档来自技高网...

【技术保护点】
1.一种图像拼接方法,其特征在于,包括:获取至少一张背景图像与自拍图像中任意两张之间的对应点;获取任意对应点在任意所述背景图像和所述自拍图像中是否存在的状态信息以及颜色信息,根据所述颜色信息获取任意对应点在所有所述背景图像和所述自拍图像中的平均颜色信息;根据所述颜色信息、所述状态信息、所述平均颜色信息获取每一所述背景图像及所述自拍图像的光照变换系数,所述光照变换系数包括白平衡变换系数和灰度变换系数;根据所述白平衡变换系数和灰度变换系数对所述背景图像及所述自拍图像的像素点进行颜色调整;基于所述自拍图像,对颜色调整后的所述背景图像进行仿射变换;对仿射变换后的所述背景图像与颜色调整后的所述自拍图像进行图像拼接。

【技术特征摘要】
1.一种图像拼接方法,其特征在于,包括:获取至少一张背景图像与自拍图像中任意两张之间的对应点;获取任意对应点在任意所述背景图像和所述自拍图像中是否存在的状态信息以及颜色信息,根据所述颜色信息获取任意对应点在所有所述背景图像和所述自拍图像中的平均颜色信息;根据所述颜色信息、所述状态信息、所述平均颜色信息获取每一所述背景图像及所述自拍图像的光照变换系数,所述光照变换系数包括白平衡变换系数和灰度变换系数;根据所述白平衡变换系数和灰度变换系数对所述背景图像及所述自拍图像的像素点进行颜色调整;基于所述自拍图像,对颜色调整后的所述背景图像进行仿射变换;对仿射变换后的所述背景图像与颜色调整后的所述自拍图像进行图像拼接。2.根据权利要求1所述的方法,其特征在于,所述根据所述对应点的颜色信息、所述状态信息、所述平均颜色信息获取每一所述背景图像及所述自拍图像的光照变换系数,所述光照变换系数包括白平衡变换系数和灰度变换系数,具体包括:构建低秩矩阵优化方程:其中,W为表示所述状态信息的状态矩阵,其大小为(N+1)×M阶,N为所述背景图像的个数;M为在所有所述背景图像和所述自拍图像中所述对应点的总个数,如果对应点pj在图像Ii中出现,则Wij=1,如果对应点pj在图像Ii中未出现,则Wij=0,i为0-(N+1)中的整数,j为1-M中的整数,I0为所述自拍图像;O为表示所述颜色信息的颜色矩阵,其大小为(N+1)×M阶,Oij=log(Ii(xij)),Ii(xij)表示对应点pj在图像Ii中的颜色;Q′为表示所述平均颜色信息的平均颜色矩阵,其大小为M×2阶,Q′j1=1,Q′j2=loga′j;P为光照变换系数矩阵,其大小为(N+1)×2阶,Pi1=γilogci,Pi2=γi,ci为图像Ii的白平衡变换系数,γi为图像Ii的灰度变换系数;Q为目标颜色矩阵,其大小为M×2阶,Qj1=1,Qj2=logaj,aj为对应点pj的目标颜色;运算符号⊙为矩阵按元素相乘的操作;根据所述低秩矩阵优化方程获取使得所述低秩矩阵优化方程结果最小的光照变换系数矩阵P和目标颜色矩阵Q;根据所得的光照变换系数矩阵P和目标颜色矩阵Q获取所述背景图像及所述自拍图像分别变换到目标颜色矩阵Q的光照变换系数Bi=[ci,γi]。3.根据权利要求2所述的方法,其特征在于,所述基于所述自拍图,对颜色调整后的所述背景图像进行仿射变换,具体包括:根据所述背景图像与所述自拍图像中任意两张:图像Ii1和图像Ii2之间的对应点的位置关系获取所述图像Ii1和所述图像Ii2之间的仿射变换矩阵Hi1,i2,并获取所述图像Ii1和所述图像Ii2之间进行仿射变换的权重1/mi1,i2,其中mi1,i2为所述图像Ii1和所述图像Ii2中满足该仿射变换矩阵的对应点的数量;获取每张所述背景图像Ii经由若干张背景图像到达所述自拍图像I0权重叠加之和最小的路径Ii→Ii1→Ii2→…→Iin→I0;将与所述路径对应的各仿射变换矩阵根据Hi=Hin,0·…·Hi1,i2·Hi,i1叠乘,获取所述背景图像Ii到所述自拍图像I0的对齐变换系数Hi;根据对齐变换系数Hi对颜色调整后的所述背景图像Ii进行仿射变换。4.根据权利要求3所述的方法,其特征在于,所述在对颜色调整后的所述背景图像进行仿射变换后,所述对仿射变换后的所述背景图像与颜色调整后的所述自拍图进行按对应位置的叠加前,还包括:对仿射变换后的所述背景图像及颜色调整后的所述自拍图像重复所述获取对应点的步骤,所述获取对应点的状态信息、颜色信息、平均颜色信息的步骤,所述获取光照变换系数的步骤,所述颜色调整的步骤,以及所述仿射变换的步骤,直至本次循环达到预定条件。5.根据权利要求4所述的方法,其特征在于,所述对仿射变换后的所述背景图像及颜色调整后的所述自拍图像重复所述获取对应点的步骤,所述获取对应点的状态信息、颜色信息、平均颜色信息的步骤,所述获取光照变换系数的步骤,所述颜色调整的步骤,以及所述仿射变换的步骤,具体包括:在第k次循环中,对第k-1次循环仿射变换后的所述背景图像及颜色调整后的所述自拍图像重复获取所述对应点的步骤,所述获取对应点的状态信息、颜色信息、平均颜色信息的步骤,所述获取光照变换系数的步骤,从而得到第k次光照变换系数Bi,k=[ci,k,γi,k],其中Bi,k为图像Ii在第k次循环中所得的光照变换系数,ci,k与γi,k为对应的白平衡变换系数和灰度变换系数;根据迭代至第1次循环,获取累计的光照变换系数Bi,根据所述累计的光照变换系数Bi及颜色调整公式对初始的所述背景图像及初始的所述自拍图像的像素点进行颜色调整,其中,ci,k-1与γi,k-1为第k-1次循环中所得的光照变换系数Bi,k-1=[ci,k-1,γi,k-1]中的白平衡变换系数和灰度变换系数,Ii(xin)表示在初始的图像Ii中第n个像素点xin的颜色;获取第k次循环中所述背景图像Ii到所述自拍图像I0的对齐变换系数Hi,k,根据Hi=[Hi,k·Hi,k...

【专利技术属性】
技术研发人员:杨帅刘家瑛夏思烽郭宗明
申请(专利权)人:北京大学北大方正集团有限公司北京北大方正电子有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1