基于相机阵列合成孔径成像的遮挡背景估计方法技术

本发明专利技术公开了一种基于相机阵列合成孔径成像的遮挡背景估计方法，用于解决现有背景估计方法精度差的技术问题。技术方案是充分利用多视角信息，通过相机阵列合成孔径成像聚焦任意不同深度的能力，将聚焦平面移置背景平面，解决利用SIFT方法匹配时不同深度像素点对匹配结果的影响问题，最后利用Graph cuts结合像素标记方法，实现前景与遮挡像素点标记，进而去除遮挡。本发明专利技术通过相机阵列合成孔径成像聚焦任意不同深度，将聚焦平面移置背景平面；充分利用相机阵列多视角信息的优势，从不同视角的图像片段选取适当的像素值进行计算，实现了前景与遮挡像素点标记，能够去除遮挡，同时提高了背景估计的精度。

【技术实现步骤摘要】

本专利技术涉及一种背景估计方法，特别是涉及一种基于相机阵列合成孔径成像的遮挡背景估计方法。
技术介绍
文献“BackgroundEstimationUsingGraphCutsandInpainting，GraphicsInterfaceGI2008,p97–103，2010”公开了一种利用非时间序列的背景估计方法。该方法首先选定某一个相机视角作为参考视角，通过尺度不变的特征提取方法对各个视角获得的图像数据进行特征提取，然后依据特征提取结果，根据背景像素在各个视角中出现的频次最多这一假设，利用Graphcuts对背景像素值进行标记，获得背景估计结果。然而，该方法利用SIFT对不同视角相机拍摄结果进行特征提取，提取的特征并不能保证位于同一深度，因此将会影响该方法后续背景像素标记的精度，当提取特征位于不同深度时，该方法精度将大大降低。
技术实现思路
为了克服现有背景估计方法精度差的不足，本专利技术提供一种基于相机阵列合成孔径成像的遮挡背景估计方法。该方法充分利用多视角信息，通过相机阵列合成孔径成像聚焦任意不同深度的能力，将聚焦平面移置背景平面，解决利用SIFT方法匹配时不同深度像素点对匹配结果的影响问题，最后利用Graphcuts结合像素标记方法，实现前景与遮挡像素点标记，进而去除遮挡，提高背景估计精度。本专利技术解决其技术问题所采用的技术方案是：一种基于相机阵列合成孔径成像的遮挡背景估计方法，其特点是包括以下步骤：步骤一、定义相机Cr为具有N个相机的相机阵列的参考相机，πr为参考平面，πb表示背景深度为b的焦平面，其中b∈R.定义Wkr为相机阵列中不同视角图像投影至πr的图像。应用公式(1)求得WkrWkr＝Hk·gk，(1)式中，gk表示相机Ck采集的图像序列中的一帧图像，Hk，k＝1，…，N.表示从gk到参考相机Cr在平面πr上的投影矩阵。当聚焦于背景平面πb时，计算出该平面与参考相机Cr的相对深度dd＝(b-r)·b.(2)式中，r表示参考平面πr的深度，πb表示背景深度为b的焦平面，其中b∈R.再应用公式(3)求得深度b处视差ΔpΔp＝ΔX·d.(3)式中，ΔX表示相机间相对位置，深度范围表示为R＝[0，s]。根据以上结果并应用公式(4)求得相机Ck投影至深度b的投影图像Wkb的像素。Wkb(m)＝Wkr(m+Δp).(4)式中，m为图像中任意像素。步骤二、设L＝{1，…，k，…，N本文档来自技高网...

【技术保护点】
一种基于相机阵列合成孔径成像的遮挡背景估计方法，其特征在于包括以下步骤：步骤一、定义相机Cr为具有N个相机的相机阵列的参考相机，πr为参考平面，πb表示背景深度为b的焦平面，其中b∈R.定义Wkr为相机阵列中不同视角图像投影至πr的图像。应用公式(1)求得WkrWkr＝Hk·gk，                     (1)式中，gk表示相机Ck采集的图像序列中的一帧图像，Hk，k＝1，…，N.表示从gk到参考相机Cr在平面πr上的投影矩阵；当聚焦于背景平面πb时，计算出该平面与参考相机Cr的相对深度dd＝(b‑r)·b.            (2)式中，r表示参考平面πr的深度，πb表示背景深度为b的焦平面，其中b∈R.再应用公式(3)求得深度b处的视差ΔpΔp＝ΔX·d.           (3)式中，ΔX表示相机间相对位置，深度范围表示为R＝[0，s]。根据以上结果并应用公式(4)求得相机Ck投影至深度b的投影图像Wkb的像素；Wkb(m)＝Wkr(m+Δp).                   (4)式中，m为图像中任意像素；步骤二、设L＝{1，…，k，…，N}为标签集，其中k对应相机Ck视角的投影图像；令fm为像素m的标记，其中fm∈L；将背景透视估计问题等同于标记问题并利用能量最小化来方法解决；寻找最优背景将通过计算最小代价的标记fm获得；应用公式(5)定义能量函数E(f)＝Ed+Es.         (5)式中，E(f)为能量函数，Ed为数据项，Es为平滑项；数据项包括稳定项和预测项，应用公式(6)定义数据项Ed＝Σm∈βDm(fm)，       (6)其中Dm(fm)=Dms(fm)+Dmp(fm).---(7)]]>Dm(fm)包括和用来度量像素m分配标签fm的代价；其中表示稳定项，表示预测项；步骤三、稳定项基于色彩相似性应用公式(8)进行定义Dms(fm)=Σk=1N|Wfmb(m)-Wkb(m)|.---(8)]]>式中，表示相机投影至深度b的投影图像中的像素m；判断像素m是否为稳定像素δ~(m)=1if|Wkb(m)-Wrb(m)|<tH∀k=1,...N,k≠r0otherwise,---(9)]]>式中，是用来标识稳定区域的稳定性标记，表示该区域不会被遮挡；稳定区域由背景像素组成，这些像素非常相似且在该区域多次出现；另一方面，不稳定区域对应于N幅投影图像中具有遮挡和发生巨大变化的像素；若像素m属于稳定区域，则m被设置为Wrb(m)，否则m为0，表示其为不稳定像素；tH表示一个阈值；步骤四、基于不稳定像素对预测项应用公式(10)进行定义Dmp(fm)=0ifδ~(m)>0|Wfmb(m)-Wγ(m)|ifδ~(m)=0,---(10)]]>其中Wγ(m)=Σm′∈S~Wrb(m′)×δ~(m′)×(1-|m-m′||Θ|)Σm′∈S~(1-|m-m′||Θ|),---(11)]]>以及|Θ|=|W^|if the number of stable pixels insideW^<50%|W|otherwise.---(13)]]>式中，Wγ(m)表示利用图像修补技术对像素m进行预测得到的像素值；表示用来估计预测像素值的采样像素集；表示以像素m为中心的窗口，用来检查不稳定像素，|Θ|为窗口大小；|m‑m′|表示m和m′之间的距离；对于每一个像素m，当其被标记为不稳定时，则放置一个以m为中心，大小为的窗口；当稳定像素的数量小于窗口中像素数量的50％，则该窗口需被设置为|W|；预测像素值由该窗口内所有稳定像素加权平均计算得到；步骤五、基于色彩相似性使用欧几里得范数对平滑项进行计算，应用公式(14)进行定义，Es＝Σm，n∈WVm，n(fm，fm)，       (14)其中Vm,n(fm,fm)=||Wfm(m)-Wfn(n)||2+||Wfn(m)-Wfn(n)||22.---(15)]]>式中，m，n是临近像素，若与匹配度较高，则平滑项小；反之，平滑项大；步骤六、使用图割方法对能量函数进行优化，最终获得一个清晰背景的透视区域。...

【技术特征摘要】
1.一种基于相机阵列合成孔径成像的遮挡背景估计方法，其特征在于包括以下步骤：
步骤一、定义相机Cr为具有N个相机的相机阵列的参考相机，πr为参考平面，πb表示背景深度为b的焦平面，其中b∈R.定义Wkr为相机阵列中不同视角图像投影至πr的图像。应用公式(1)求得WkrWkr＝Hk·gk，(1)
式中，gk表示相机Ck采集的图像序列中的一帧图像，Hk，k＝1，…，N.表示从gk到参考
相机Cr在平面πr上的投影矩阵；当聚焦于背景平面πb时，计算出该平面与参考相机Cr...

【专利技术属性】
技术研发人员：裴炤，张艳宁，陈希达，马苗，孙莉，张秀伟，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：陕西;61