一种基于多方向预测的虚拟视角图像空洞填补方法技术

本发明专利技术提供了一种基于多方向预测的虚拟视角图像空洞填补方法，它是根据基于深度图的绘制算法，空洞区域都是位于背景区域的某些部分，需要使用背景部分的信息作为参考进行填补。在对大空洞的空像素点进行填补时，使用面向背景一侧的三个方向上的可用像素点做参考进行预测插值，并根据预测模式的具体公式进行插值计算，因此插值的精确度较高；能够在保证图像修复效果的前提下快速完成虚拟视角的空洞填补。由于本发明专利技术在三维绘制前对深度图像未做平滑滤波处理，也就避免了绘制出的虚拟视角图像中垂直边界上出现的几何失真。

【技术实现步骤摘要】
朱树元 於景瞵 李明宇(电子科技大学)
本专利技术属于三维视频处理领域，主要涉及一种基于多方向预测的虚拟视角图像空洞填补方法。
技术介绍
通常情况下，将二维视频转化为三维视频所采用的方法是使用三维绘制技术在二维视频图像的基础上生成左、右两个视角图像，并分别提供给左眼和右眼交替观看，由此产生三维视觉的效果。如今最流行的三维绘制技术是基于深度图的绘制算法(Depth-image-based Rendering，DIBR)，详细过程见参考文献“Depth-image-based rendering(DIBR),compression and transmission for a new approach on 3D-TV”。在将二维视频转化为三维视频的过程中，使用基于深度图的绘制技术所产生的虚拟视角能够根据观众的要求调整左、右视角的视差，因此大大增强了观众的视觉体验。但这种方法也存在一个缺陷，即合成的虚拟视角图像中会有空洞产生。产生空洞的主要原因是因为原始图像中前景对背景的遮挡部分在虚拟视角中被暴露出来，而在原始图像中没有此部分的视图信息，这样就会在虚拟视角图像上形成像素点的缺失。因此，对空洞进行填补是完整恢复虚拟视角图像的重要步骤。目前常用的空洞填补算法有两类：一类是根据相邻像素点的亮度值和偏移量对空洞部分进行插值处理，并且在进行三维绘制之前通常会对相应的深度图像进行滤波处理，使深度图像的前景与背景边缘区域更加平滑，这样绘制出的虚拟视角图像中空洞范围会变小，且易于填补。这类基于插值的方法实现起来较为简单，但会引起合成后视角图像中物体的几何失真，特别是在物体的垂直边界区域，物体的扭曲失真幅度会非常大。另一类方法是基于深度图像修复技术的空洞填补算法，也是目前比较流行的空洞填补算法，虽然这类方法取得了不错的处理效果，但算法复杂度较高，需要根据纹理特征对空洞区域进行匹配块搜索，由此造成搜索时间过长、计算复杂度过高，造成硬件实现起来比较困难。
技术实现思路
针对目前空洞填补方法耗时过长和进行深度图滤波时易导致边界失真的缺点，本专利技术提供了一种基于多方向预测的虚拟视角图像空洞填补方法，能够在保证图像修复效果的前提下快速完成虚拟视角的空洞填补。为了方便描述本专利技术的内容，首先做以下术语定义：定义1，标准的三维绘制标准的三维绘制是运用基于深度图的绘制算法将原始视角图像和对应的深度图像生成目标虚拟视角图像的方法；详细过程见参考文献“Depth-image-based rendering(DIBR),compression and transmission for a new approach on 3D-TV”；定义2，标准的图像边框像素点复制法标准的图像边框像素点复制法是通过图像边框相邻的像素点做参考对边框部分进行修复，详细过程为：对图像边框进行扫描，当扫描到边框空洞点P时，搜索相邻的非空洞参考像素点，记为M，使用M对空洞点进行赋值，即P＝M。当前空洞点填补完成后，继续此过程直到所有空洞点填补完成；本专利技术提供一种基于多方向预测的虚拟视角图像空洞填补方法，它包括以下步骤：步骤1，输入图像初始化首先，将输入的原始图像记为X，这里，xi,j是图像X中的像素点，i代表X中像素点的横坐标，j代表X中像素点的纵坐标，W1代表X的宽度，H1代表X的高度，i、j、W1和H1都是自然数，并且1≤i≤H1，1≤j≤W1；然后，将输入的原始图像X的深度图像记为Y，这里，yu,v是图像Y中的像素点，u代表Y中像素点的横坐标，v代表Y中像素点的纵坐标，W2代表Y的宽度，H2代表Y的高度，u、v、W2和H2都是自然数，并且1≤u≤H2，1≤v≤W2；步骤2，产生虚拟视角图像用步骤1中输入的深度图像Y对原始图像X进行标准的三维绘制，得到虚拟左视角图像和虚拟右视角图像，分别记为DL和DR，这里，是图像DL中的像素点，m1代表DL中像素点的横坐标，n1代表DL中像素点的纵坐标，M1代表图像DL的宽度，N1代表图像DL的高度，m1、n1、M1和N1都是自然数，并且1≤m1≤N1，1≤n1≤M1；是图像DR中的像素点，m2代表DR中像素点的横坐标，n2代表DR中像素点的纵坐标，M2代表DR的宽度，N2代表DR的高度，m2、n2、M2和N2都是自然数，并且1≤m2≤N2，1≤n2≤M2；步骤3，虚拟左视角图像的空洞划分首先，将虚拟左视角图像中用来划分空洞大小的阈值，记为TL，这里，TL为自然数；接着，对步骤2产生的虚拟左视角图像DL按照从上到下、从左到右的顺序进行逐行扫描，将扫描过程中得到的空洞记为HLk，将空洞HLk所对应的空洞宽度记为WLk,这里，k为图像DL中空洞的索引下标，k为自然数；最后，用空洞宽度WLk小于或等于阈值TL的空洞HLk组成虚拟左视角图像的小空洞集合，记为GL1，GL1＝{HLk|WLk≤TL本文档来自技高网...

【技术保护点】
一种基于多方向预测的虚拟视角图像空洞填补方法，其特征是它包括以下步骤：步骤1，输入图像初始化首先，将输入的原始图像记为X，这里，xi,j是图像X中的像素点，i代表X中像素点的横坐标，j代表X中像素点的纵坐标，W1代表X的宽度，H1代表X的高度，i、j、W1和H1都是自然数，并且1≤i≤H1，1≤j≤W1；然后，将输入的原始图像X的深度图像记为Y，这里，yu,v是图像Y中的像素点，u代表Y中像素点的横坐标，v代表Y中像素点的纵坐标，W2代表Y的宽度，H2代表Y的高度，u、v、W2和H2都是自然数，并且1≤u≤H2，1≤v≤W2；步骤2，产生虚拟视角图像用步骤1中输入的深度图像Y对原始图像X进行标准的三维绘制，得到虚拟左视角图像和虚拟右视角图像，分别记为DL和DR，这里，是图像DL中的像素点，m1代表DL中像素点的横坐标，n1代表DL中像素点的纵坐标，M1代表图像DL的宽度，N1代表图像DL的高度，m1、n1、M1和N1都是自然数，并且1≤m1≤N1，1≤n1≤M1；是图像DR中的像素点，m2代表DR中像素点的横坐标，n2代表DR中像素点的纵坐标，M2代表DR的宽度，N2代表DR的高度，m2、n2、M2和N2都是自然数，并且1≤m2≤N2，1≤n2≤M2；步骤3，虚拟左视角图像的空洞划分首先，将虚拟左视角图像中用来划分空洞大小的阈值，记为TL，这里，TL为自然数；接着，对步骤2产生的虚拟左视角图像DL按照从上到下、从左到右的顺序进行逐行扫描，将扫描过程中得到的空洞记为HLk，将空洞HLk所对应的空洞宽度记为WLk,这里，k为图像DL中空洞的索引下标，k为自然数；最后，用空洞宽度WLk小于或等于阈值TL的空洞HLk组成虚拟左视角图像的小空洞集合，记为GL1，GL1＝{HLk|WLk≤TL}；用空洞宽度WLk大于阈值TL的空洞HLk组成虚拟左视角图像的大空洞集合，记为GL2，GL2＝{HLk|WLk＞TL}；步骤4，虚拟右视角图像的空洞划分首先，将虚拟右视角图像中用来划分空洞大小的阈值，记为TR，这里，TR为自然数；接着，对步骤2产生的虚拟左视角图像DR按照从上到下、从右到左的顺序进行逐行扫描，将扫描过程中得到的空洞记为HRl，将空洞HRl所对应的空洞宽度记为WRl,这里，l为图像DR中空洞的索引下标，l为自然数；最后，用空洞宽度WRl小于或等于阈值TR的空洞HRl组成虚拟右视角图像的小空洞集合，记为GR1，GR1＝{HRl|WRl≤TR}；用空洞宽度WRl大于阈值TR的空洞HRl组成虚拟右视角图像的大空洞集合，记为GR2，GR2＝{HRl|WRl＞TR}；步骤4，虚拟左视角图像的空洞填补首先，将虚拟左视角图像DL中空洞HLk的左侧背景区域内最邻近的非空洞像素点记为PL1，将HLk左上方背景区域内最邻近的非空洞像素点记为PL2，将HLk左下方背景区域内最邻近的非空洞像素点记为PL3；其次，定义填补后的空洞为HL′k；如果虚拟左视角图像DL中的空洞HLk∈GL1，那么对HLk用PL1按照HL′k＝PL1进行填补；如果虚拟左视角图像DL中的空洞HLk∈GL2，那么用PL1、PL2和PL3对HLk按照HL′k＝(4×PL1‑PL2‑PL3‑2)/2进行填补；最后，得到空洞填补后的虚拟左视角图像，记为DL1，这里，是虚拟左视角图像DL1中的像素点，m3代表DL1中像素点的横坐标，n3代表DL1中像素点的纵坐标，M3代表DL1的宽度，N3代表DL1的高度，m3、n3、M3和N3都是自然数，并且1≤m3≤N3，1≤n3≤M3；步骤5，虚拟右视角图像空洞填补首先，将虚拟右视角图像DR中空洞HRl右侧背景区域内最邻近的非空洞像素点记为PR1，将HRl右上方背景区域内最邻近的非空洞像素点记为PR2，将HRl右下方背景区域内最邻近的非空洞像素点记为PR3；其次，定义填补后的空洞为HR′l，如果虚拟右视角图像DR中的空洞HRl∈GR1，那么对HLk用PR1按照HR′l＝PR1进行填补；如果虚拟右视角图像DR中的空洞HRl∈GR2，那么用PR1、PR2和PR3对HRl按照HR′l＝(4×PR1‑PR2‑PR3‑2)/2进行填补；最后，得到空洞填补后的虚拟右视角图像，记为DR2，这里，是虚拟右视角图像DR2中的像素点，m4代表DR2中像素点的横坐标，n4代表DR2中像素点的纵坐标，M4代表DR2的宽度，N4代表DR2的高度，m4、n4、M4和N4都是自然数，并且1≤m4≤N4，1≤n4≤M2；步骤6，虚拟视角图像边框修复首先，对步骤4得到的虚拟左视角图像DL2的边框部分，使用标准的图像边框像素点复制法进行边框修复，得到修复后的图像，记为DL3；这里，是虚拟左视角图像DL3中的像素点，m5代表DL3中像素点的横坐标，n5代表DL3中像素点的纵坐标，M5代表DL3...

【技术特征摘要】
1.一种基于多方向预测的虚拟视角图像空洞填补方法，其特征是它包括以下步骤：步骤1，输入图像初始化首先，将输入的原始图像记为X，这里，xi,j是图像X中的像素点，i代表X中像素点的横坐标，j代表X中像素点的纵坐标，W1代表X的宽度，H1代表X的高度，i、j、W1和H1都是自然数，并且1≤i≤H1，1≤j≤W1；然后，将输入的原始图像X的深度图像记为Y，这里，yu,v是图像Y中的像素点，u代表Y中像素点的横坐标，v代表Y中像素点的纵坐标，W2代表Y的宽度，H2代表Y的高度，u、v、W2和H2都是自然数，并且1≤u≤H2，1≤v≤W2；步骤2，产生虚拟视角图像用步骤1中输入的深度图像Y对原始图像X进行标准的三维绘制，得到虚拟左视角图像和虚拟右视角图像，分别记为DL和DR，这里，是图像DL中的像素点，m1代表DL中像素点的横坐标，n1代表DL中像素点的...

【专利技术属性】
技术研发人员：朱树元，於景瞵，李明宇，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51