一种基于图割优化的全景影像修补方法及系统技术方案

一种基于图割优化的全景影像修补方法及系统，包括将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域；根据指示影像中缺失区域位置的灰度模板图片，采用基于图割的方法进行修补；进行影像亮度的全局增益补偿以及亮度的调和，然后反投影在原始的360度全景影像上；进行全景影像羽化，得到全景影像修补结果。本发明专利技术的优点在于，仅利用单张全景影像就可以将影像中由于平台遮挡所造成的缺失部分快而有效地修补完整，整个匹配过程快而准确，解决了初始修补后的透视投影图片中存在的亮度不一致的问题，得到没有修补痕迹的完整的全景影像。

【技术实现步骤摘要】

本专利技术属于全景图像修复
，特别是涉及一种基于图割优化的全景影像修补方法及系统。
技术介绍
全景影像相比普通影像，拥有更大的视场角和观察范围，因而被广泛应用在室外街景导航以及室内全景展示与浏览等领域。目前，生产得到一幅满足应用要求的360度全景影像所采用的基本思路是将多张影像拼接成一幅360度全景影像。具体的过程会视场景条件不同而有所区别：对于室外的街景影像采集，主要是利用安装在可移动平台(如：全景车)上的集成多摄像头的设备，同时采集不同视角的多张影像，然后进行影像拼接；对于室内全景影像的采集，除了使用集成多摄像头的设备意外，还可以使用安装在固定平台(如：三脚架)上的单个摄像头依次拍摄不同视角的影像，然后进行影像拼接。无论采用哪一种方法，都无法得到真正完整的360度全景影像，其主要原因有两个：其一是集成的摄像头设备并不能真正的覆盖360度范围的视场角；其二是受到平台的遮挡，使得平台后的影像无法采集。目前，针对全景影像的图像修补方法很少。近年来，提出了一种基于时序影像的全景影像修复方法。但是这种方法需要借助连续的多张全景影像，且对地形和缺失部分纹理的连续性都有较高的要求，因而在实际应用中并不适用。如果能将普通影像的修补方法与全景影像的特点结合起来，会使方法具有更高的应用前景。当前，针对普通影像的修补方法主要有两类：一类是基于扩散模型的修补方法；另一类是基于样本的影像修补方法。在基于样本的影像修复方法中，又可细分为基于匹配的修复方法和基于图的优化的修复方法。基于扩散模型的图像修补方法，是通过解求偏微分方程或者其他的一些相似的扩散模型，将图片中已知区域的信息延伸到位置区域。这一类方法利用了影像的连续性特征，当影像的缺失区域较大，影像结构和纹理的缺失不满足了扩散模型的条件时，这一类方法就不再适用。基于匹配的影像修补方法是通过匹配影像中未知区域的子块与已知区域的子块，然后用对应的已知区域的内容来填补图像中的未知区域。这种方法可以很好的修复图像中缺失区域的结构和纹理，但是这个过程的计算量很大，而且往往是一个迭代收敛的过程，因而对初始值和优化方法有较高的要求。基于图的优化的影像修补方法不是一对一地进行子块的匹配，而是基于图的思想。图的每一个节点对应一系列标记中的一个确切的值。而这个标记集就是用来修补缺失区域的子块的位置集合(相对位置或绝对位置)。图的每一条边用来约束相邻的节点之间内容的连续性与一致性。这种方法将整个过程视为一个马尔科夫随机场，然后利用置信传播或者图割优化的方法优化出最佳的标记图。最后用优化出的标记图知道影像的修补过程。但是上述的这些针对普通影像的修补方法都利用了影像本身的结构信息和纹理特征。但是在全景影像中，由于是将一个球面空间展开到一个平面上，影像本身存在较大的变形，这使得影像的结构和纹理特征很难使用，传统的影像修补方法无法直接应用到全景影像的修补上来。
技术实现思路
本专利技术要解决的技术问题是针对全景影像中存在的缺损或被平台遮挡问题，提出一种基于单张全景影像，能有效地将影像中的缺失部分修补起来的技术方案。本专利技术提供一种基于图割优化的全景影像修补方法，包括以下步骤：步骤1，将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域；步骤2，对步骤1中得到的透视投影图片，根据指示影像中缺失区域位置的灰度模板图片，采用基于图割的方法进行修补，实现步骤如下，步骤2.1，将投影图像从RGB转到YCbCr空间；步骤2.2，对转换到YCbCr空间的图像，基于尺寸为P×P的patch，逐像素进行离散的Walsh-Hadamard变换，一个P×P的patch对应得到一个24维的WHT特征(w1,w2,w3…w24)T；所述patch为子块；步骤2.3，根据每一个patch对应的24维的WHT特征向量，基于特征向量进行KD树的划分；步骤2.4，基于步骤2.3划分出的KD树，快速地进行patch的匹配；匹配的方式为，寻找作为匹配结果的候选patch，设pA(x,y)是待匹配的patch，依次遍历pA(x,y)代表像素的4邻域邻接像素，得到总的候选patch集合；在所得pA(x,y)的候选patch集合中寻找与pA(x,y)最佳匹配的patch，并计算对应的二维坐标偏移量，计算公式如下， s ( x ) = arg m i n s | | P ( x + s ) - P ( x ) | | 2 | s | > τ ]]>其中，s＝(u,v)是一个二维的坐标偏移量，x＝(x,y)，是pA(x,y)的位置坐标；||·||表示patch在24维WHT特征空间的欧氏距离；τ为近距离约束的预设阈值，w表示影像的宽度，h表示影像的高度；步骤2.5，对所有的patch匹配完成后，对所有计算得到的s＝(u,v)的集合记为S；对S进行统计，提取出代表影像中已知区域结构特征的K个主要的坐标偏移量，作为图片结构特征的主要偏移量S′；K为预设的值；步骤2.6，将S′中的每一个坐标偏移量记为一个标记，构成一个标记集合L，基于图割优化的方法，进行影像的修补；步骤3，进行影像亮度的全局增益补偿以及亮度的调和，实现步骤如下，步骤3.1，将修补后的彩色影像从RGB颜色空间转到Lαβ颜色空间；步骤3.2，进行亮度通道的全局增益补偿；步骤3.3，将K幅进行了增益补偿后的子图像与原始已知的背景图像，共K+1幅图像进行多影像的融合，进一步调整各个子图像与原始背景之间的亮度差异，得到修补调整后的透视投影图片；步骤4，按照步骤1的逆过程，将步骤3所得修补调整后的透视投影图片反投影在原始的360度全景影像上；步骤5，进行全景影像羽化，得到全景影像修补结果。而且，步骤2.3的划分过程如下，步骤2本文档来自技高网...

【技术保护点】
一种基于图割优化的全景影像修补方法，其特征在于，包括以下步骤：步骤1，将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域；步骤2，对步骤1中得到的透视投影图片，根据指示影像中缺失区域位置的灰度模板图片，采用基于图割的方法进行修补，实现步骤如下，步骤2.1，将投影图像从RGB转到YCbCr空间；步骤2.2，对转换到YCbCr空间的图像，基于尺寸为P×P的patch，逐像素进行离散的Walsh‑Hadamard变换，一个P×P的patch对应得到一个24维的WHT特征(w1,w2,w3…w24)T；所述patch为子块；步骤2.3，根据每一个patch对应的24维的WHT特征向量，基于特征向量进行KD树的划分；步骤2.4，基于步骤2.3划分出的KD树，快速地进行patch的匹配；匹配的方式为，寻找作为匹配结果的候选patch，设pA(x,y)是待匹配的patch，依次遍历pA(x,y)代表像素的4邻域邻接像素，得到总的候选patch集合；在所得pA(x,y)的候选patch集合中寻找与pA(x,y)最佳匹配的patch，并计算对应的二维坐标偏移量，计算公式如下，s(x)=argmins||P(x+s)-P(x)||2|s|>τ]]>其中，s＝(u,v)是一个二维的坐标偏移量，x＝(x,y)，是pA(x,y)的位置坐标；||·||表示patch在24维WHT特征空间的欧氏距离；τ为近距离约束的预设阈值，w表示影像的宽度，h表示影像的高度；步骤2.5，对所有的patch匹配完成后，对所有计算得到的s＝(u,v)的集合记为S；对S进行统计，提取出代表影像中已知区域结构特征的K个主要的坐标偏移量，作为图片结构特征的主要偏移量S′；K为预设的值；步骤2.6，将S′中的每一个坐标偏移量记为一个标记，构成一个标记集合L，基于图割优化的方法，进行影像的修补；步骤3，进行影像亮度的全局增益补偿以及亮度的调和，实现步骤如下，步骤3.1，将修补后的彩色影像从RGB颜色空间转到Lαβ颜色空间；步骤3.2，进行亮度通道的全局增益补偿；步骤3.3，将K幅进行了增益补偿后的子图像与原始已知的背景图像，共K+1幅图像进行多影像的融合，进一步调整各个子图像与原始背景之间的亮度差异，得到修补调整后的透视投影图片；步骤4，按照步骤1的逆过程，将步骤3所得修补调整后的透视投影图片反投影在原始的360度全景影像上；步骤5，进行全景影像羽化，得到全景影像修补结果。...

【技术特征摘要】
1.一种基于图割优化的全景影像修补方法，其特征在于，包括以下步骤：步骤1，将全景影像进行投影变换，得到一幅透视投影图片，使待修补区域位于透视投影图片的中央区域；步骤2，对步骤1中得到的透视投影图片，根据指示影像中缺失区域位置的灰度模板图片，采用基于图割的方法进行修补，实现步骤如下，步骤2.1，将投影图像从RGB转到YCbCr空间；步骤2.2，对转换到YCbCr空间的图像，基于尺寸为P×P的patch，逐像素进行离散的Walsh-Hadamard变换，一个P×P的patch对应得到一个24维的WHT特征(w1,w2,w3…w24)T；所述patch为子块；步骤2.3，根据每一个patch对应的24维的WHT特征向量，基于特征向量进行KD树的划分；步骤2.4，基于步骤2.3划分出的KD树，快速地进行patch的匹配；匹配的方式为，寻找作为匹配结果的候选patch，设pA(x,y)是待匹配的patch，依次遍历pA(x,y)代表像素的4邻域邻接像素，得到总的候选patch集合；在所得pA(x,y)的候选patch集合中寻找与pA(x,y)最佳匹配的patch，并计算对应的二维坐标偏移量，计算公式如下， s ( x ) = arg m i n s | | P ( x + s ) - P ( x ) | | 2 | s | > τ ]]>其中，s＝(u,v)是一个二维的坐标偏移量，x＝(x,y)，是pA(x,y)的位置坐标；||·||表示patch在24维WHT特征空间的欧氏距离；τ为近距离约束的预设阈值，w表示影像的宽度，h表示影像的高度；步骤2.5，对所有的patch匹配完成后，对所有计算得到的s＝(u,v)的集合记为S；对S进行统计，提取出代表影像中已知区域结构特征的K个主要的坐标偏移量，作为图片结构特征的主要偏移量S′；K为预设的值；步骤2.6，将S′中的每一个坐标偏移量记为一个标记，构成一个标记集合L，基于图割优化的方法，进行影像的修补；步骤3，进行影像亮度的全局增益补偿以及亮度的调和，实现步骤如下，步骤3.1，将修补后的彩色影像从RGB颜色空间转到Lαβ颜色空间；步骤3.2，进行亮度通道的全局增益补偿；步骤3.3，将K幅进行了增益补偿后的子图像与原始已知的背景图像，共K+1幅图像进行多影像的融合，进一步调整各个子图像与原始背景之间的亮度差异，得到修补调整后的透视投影图片；步骤4，按照步骤1的逆过程，将步骤3所得修补调整后的透视投影图片反投影在原始的360度全景影像上；步骤5，进行全景影像羽化，得到全景影像修补结果。2.根据权利要求1所述基于图割优化的全景影像修补方法，其特征在于：步骤2.3的划分过程如下，步骤2.3.1，新建一个空节点，作为KD树的根节点；步骤2.3.2，依次遍历整幅图像中所有的patch，统计出24个维度内，所有patch的每一个分量的最小值mini与最大值maxi，i＝1,2…24；计算当前划分KD树所依据的维度i，计算公式如下， i = arg m i n n = 1 , 2 ... 24 | | max n - min n | | ]]>步骤2.3.3，计算所有patch在第i维特征上的分量的中位数以为阈值，划分整幅图像所有的patch；小于等于阈值的所有patch的集合作为根节点的左孩子节点，大于阈值的所有patch的集合作为根节点的右孩子节点；然后，分别以此时的左孩子节点和右孩子节点为根节点，重复步骤2.3.2和步骤2.3.3；直至划分出的所有节点中包含的patch数目均小于预设的值count，则结束迭代，生成一个完整的KD树。3.根据权利要求2所述基于图割优化的全景影像修补方法，其特征在于：步骤3.2在L通道对图像的灰度进行调整，包括以下的步骤，步骤3.2.1，修补的区域是由不同的标记指示的像素修补，认为每一个标记对应的像素集合构成一幅子图像；K个标记对应K幅子图像，依次统计每幅子图像的平均亮度值μ，并且统计所有子图的邻接关系，若两幅子图中存在相邻的像素，则认为这两幅子图是相邻的；步骤3.2.2，记每一幅子图像在L通道的增益系数为ai,i∈[0,K]，对每一对相邻的子图像构建与增益系数相关的能量方程式如下，eij＝(aiμ(Ii)-ajμ(Ij))2+λ((ai-1)2+(aj-1)2)式中，λ是权值系数，μ(·)表示对应子图像的平均亮度值，Ii和Ij表示相邻的两幅子图像，eij描述的是相邻的子图像Ii和Ij之间的亮度差异；考虑到所有的邻接关系，全局的能量方程式如下，为使全局的能量方程式的值最小，通过线性最小二乘方法求解，最后得到每一幅子图的增益系数；步骤3.2.3，根据求得的增益补偿系数，对每一幅子图像的L通道进行增益补偿： g ^ i ( p ) = a i × g i ( p ) ]]>其中，gi(p)和分别表示子图像i上任一像素p在增益补偿前后的灰度值。4.一种基于图割优化的全景影像修补系统，...

【专利技术属性】
技术研发人员：姚剑，陈凯，李礼，夏孟涵，谢仁平，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42