具有时空连续性的虚拟视点合成方法技术

本发明专利技术提出了一种具有时空连续性的虚拟视点合成方法，该方法充分利用参考视点图像序列中相邻帧间的关联关系，从参考视点图像序列中提取出场景的全局静态背景图序列，并基于该全局背景图序列对左右参考视点图像序列合成的虚拟视点图像序列进行“伪影”消除和空洞填补。本发明专利技术不仅很好地解决了虚拟视点图像上的“伪影”和空洞问题，使单帧的虚拟视点图像质量大大提高，同时也很好地保持了虚拟视点图像的时空连续性。

【技术实现步骤摘要】
具有时空连续性的虚拟视点合成方法
本专利技术涉及一种虚拟视点合成方法，尤其是一种具有时空连续性的虚拟视点合成方法。
技术介绍
随着3D产业的快速发展，人们不再满足于2D场景的体验，越来越追求置身于3D场景中身临其境的享受。在市场与技术的驱动下，电视技术也经历着重大变革，从单一功能、单一色彩的传统电视逐渐过渡到具有高度分辨率和多媒体功能的智能电视，再到传统的3D电视(3DTV)，现在迎来了处于发展势头的自由视点电视(FTV)，每一次变革都给用户带来更好的观看体验。自由视点视频是在视频加深度(V+D)的虚拟视点绘制框架基础上产生的，由于受到视频传输带宽的限制，基于深度图的虚拟视点绘制技术(DIBR)成为其中被普遍采用的方法。理论上，DIBR方法能够生成一个场景任意视点下的图像，但是由于物体间的遮挡关系使绘制出的虚拟视点图像质量并不乐观。目前虚拟视点合成方法仍存在以下几个问题：(1)如图2所示，彩色图和深度图中前景与背景边界是不对称性的，在彩色图中，这些过渡区域会比较平滑，但是在深度图中会显得很锐利。由于视点图像的彩色图和深度图在前景物体边缘即深度值突变的过渡区域不是完全对应，同时，不同位置下参考视点的光照环境条件不同，使得生成的虚拟视点图像中会出现“伪影”区域，非常影响用户的观看体验。(2)由于物体之间不可避免的遮挡关系，使在原参考视点下被前景遮挡的部分背景信息暴露在其他虚拟视点下，由于缺失被遮挡的信息而在虚拟视点图像上形成大的空洞，非常影响图像的绘制质量。(3)由于目前大部分DIBR技术的解决方法都局限在处理单帧图像上，忽略了图像序列帧与帧之间的关联，所以除了上述提到的空洞和“伪影”问题，生成的虚拟视点图像序列也会有时间不连续性的问题，体现在频繁出现的闪烁现象。
技术实现思路
专利技术目的：为克服现有技术的不足，本专利技术旨在提供一种具有时空连续性的虚拟视点合成方法，以解决虚拟视点合成图像的时空不连续性问题，包括空间域中的“伪影”和空洞问题，时间域中的闪烁问题。技术方案：本专利技术的基于时空连续性的虚拟视点合成方法包括以下步骤：(1)对左右参考视点图像序列中的深度图序列进行校正，所述校正包括：(1.1)判断深度图序列各相邻帧中相同位置处的两个像素是否处于同一深度层次，并使不同帧中处于同一深度层次的像素具有相同的深度值；(1.2)对单帧深度图进行滤波；(2)结合校正后的左右参考视点的深度图序列中的深度信息，从左右参考视点图像序列中分别提取出左右参考视点的全局静态背景图序列；(3)通过左右参考视点图像序列的前向映射和视点融合生成前期虚拟视点图像序列，并通过左右参考视点的全局静态背景图序列的前向映射和视点融合生成虚拟静态背景图序列；(4)标记出前期虚拟视点图像序列中每帧图像上有前景边缘干扰的区域，利用左参考视点对应帧中的前景边缘对所述区域进行修正，得到去除前景边缘干扰的真正“伪影”区域，并利用生成的虚拟静态背景图像序列消除修正后的前期虚拟视点图序列上的真正“伪影”区域。进一步地，上述方法还包括以下步骤：(5)利用虚拟静态背景图像序列，对“伪影”消除后的虚拟视点图像序列中的第t帧、第t+L帧、第t+2L帧以及后续的特定帧直接用静态背景图像填补空洞，对于特定帧之间的第k帧，其中t、L和k为正整数，利用以下式子进行空洞修复：其中，和是直接被虚拟静态背景图像修复后的虚拟视点图像，是需要进行加权融合填补空洞的虚拟视点图像，weight是融合时采取的权重。进一步地，步骤(1.1)还包括：设定阈值，如果深度图序列的相邻帧中相同位置处的两个像素的深度差值小于所述阈值，则认为这两个像素处于同一深度层次，并将这两个像素的深度值更新为两个像素的平均深度值。进一步地，在步骤(1.2)中，所述滤波包括：在深度图中水平和垂直两个方向检测出物体的边缘轮廓；将检测出的物体边缘向背景方向膨胀两个像素；对膨胀后的图像前景与背景深度变化差异大的像素进行高斯平滑。进一步地，步骤(2)还包括：(2.1)分别针对左右参考视点图像序列中的纹理图序列计算当前帧和后续相邻帧中相同位置处像素的结构相似度SSIM，当SSIM值大于预定阈值时，认为所处的像素是静态像素，反之，如果深度值差异小于预定阈值时，也认为是静态像素；(2.2)分别提取左右参考视点图像序列的各帧中由静态像素组成的静态场景部分，并结合各帧的时序信息，形成左右参考视点的全局静态背景图序列。进一步地，在步骤(3)中，通过左右参考视点图像序列的前向映射和视点融合生成前期虚拟视点图像序列包括：在进行前向映射时，对虚拟视点位置两侧的左右参考视点图像序列分别进行映射；在进行视点融合时，以左参考视点映射后的虚拟视点图像为原始映射结果，用右参考视点映射后的虚拟视点图像进行辅助修正，所述辅助修正包括：当左参考视点映射后的虚拟视点深度图中的某一像素为空或者在该像素位置处右参考视点映射的像素深度值大于左参考视点映射的深度值时，用右视点在该像素位置处的映射结果替换左视点在该像素位置处的原始映射结果。进一步地，步骤(4)还包括如下步骤：(4.1)提取出左参考视点的前景边缘，并映射到虚拟视点成像平面上；(4.2)基于步骤(4.1)中经映射的前景边缘对标记出的有前景边缘干扰的区域中的像素进行修正，得到真正的“伪影”区域；(4.3)在生成的虚拟静态背景图上标记“伪影”像素的位置，将真正的“伪影”区域中的像素替换为虚拟静态背景图像上相同位置处的像素。有益效果：相对于现有技术，本专利技术具有如下的优点：(1)充分利用视频序列中的时域信息，利用相邻帧之间的关系，提取了整个场景的静态背景图像，很好地保持了时间连续性，同时可以辅助修正“伪影”和空洞问题，提高了虚拟视点图像的绘制质量。(2)对深度图进行两方面的校正，通过有效利用深度图序列之间的关系以及对单帧深度图进行滤波，极大程度地改善了虚拟视点图像的绘制质量，同时避免了图像的闪烁问题。(3)非常精确地得到了虚拟视点图像上的“伪影”像素，并利用静态背景图像进行消除，大大提高了“伪影”的消除质量。(4)在空洞问题上，采用了基于静态背景的加权融合空洞填补算法，不仅很好地填补了空洞，也使空洞修复区域很好地保持了时间连续性。(5)绘制的虚拟视点图像质量非常高，对于微软的“Ballet”和“BreakDancer”数据集，PSNR都在34dB左右。同时，生成的虚拟视点图像序列保持了很好的时间连续性，很大程度上减弱了闪烁现象。附图说明图1为本专利技术的虚拟视点合成方法的整体流程图；图2(a)和2(b)分别为纹理图和深度图；图3为基于静态背景的加权融合空洞填补方法示意图。具体实施方式以下结合附图进一步对本专利技术进行详细说明。如图1所示，本专利技术的虚拟视点合成方法包括如下步骤：(1)先对左右两个参考视点图像序列中的深度图序列进行预处理。需要说明的是，本专利技术中提到的左右参考视点图像序列包括左右参考视点的深度图序列和纹理图序列。这里的预处理包括：(a)从第一帧深度图开始，通过相邻帧深度图两像素之间的深度差值与预先设定的阈值进行比较，使满足阈值范围的像素的深度值取两像素深度值的平均值，之后继续处理下一帧深度图，直到处理结束。通过对深度图序列的预处理，可以很大程度上避免“伪影”的出现。(b)对单帧深度图像进行滤波校正，包括：在深本文档来自技高网...

【技术保护点】
1.一种具有时空连续性的虚拟视点合成方法，其特征在于，包括以下步骤：(1)对左右参考视点图像序列中的深度图序列进行校正，所述校正包括：(1.1)判断深度图序列各相邻帧中相同位置处的两个像素是否处于同一深度层次，并使不同帧中处于同一深度层次的像素具有相同的深度值；(1.2)对单帧深度图进行滤波；(2)结合校正后的左右参考视点的深度图序列中的深度信息，从左右参考视点图像序列中分别提取出左右参考视点的全局静态背景图序列；(3)通过左右参考视点图像序列的前向映射和视点融合生成前期虚拟视点图像序列，并通过左右参考视点的全局静态背景图序列的前向映射和视点融合生成虚拟静态背景图序列；(4)标记出前期虚拟视点图像序列中每帧图像上有前景边缘干扰的区域，利用左参考视点对应帧中的前景边缘对所述区域进行修正，得到去除前景边缘干扰的真正“伪影”区域，并利用生成的虚拟静态背景图像序列消除修正后的前期虚拟视点图序列上的真正“伪影”区域。

【技术特征摘要】
1.一种具有时空连续性的虚拟视点合成方法，其特征在于，包括以下步骤：(1)对左右参考视点图像序列中的深度图序列进行校正，所述校正包括：(1.1)判断深度图序列各相邻帧中相同位置处的两个像素是否处于同一深度层次，并使不同帧中处于同一深度层次的像素具有相同的深度值；(1.2)对单帧深度图进行滤波；(2)结合校正后的左右参考视点的深度图序列中的深度信息，从左右参考视点图像序列中分别提取出左右参考视点的全局静态背景图序列；(3)通过左右参考视点图像序列的前向映射和视点融合生成前期虚拟视点图像序列，并通过左右参考视点的全局静态背景图序列的前向映射和视点融合生成虚拟静态背景图序列；(4)标记出前期虚拟视点图像序列中每帧图像上有前景边缘干扰的区域，利用左参考视点对应帧中的前景边缘对所述区域进行修正，得到去除前景边缘干扰的真正“伪影”区域，并利用生成的虚拟静态背景图像序列消除修正后的前期虚拟视点图序列上的真正“伪影”区域。2.根据权利要求1所述的具有时空连续性的虚拟视点合成方法，其特征在于，还包括以下步骤：(5)利用虚拟静态背景图像序列，对“伪影”消除后的虚拟视点图像序列中的第t帧、第t+L帧、第t+2L帧以及后续的特定帧直接用静态背景图像填补空洞，对于特定帧之间的第k帧，其中t、L和k为正整数，利用以下式子进行空洞修复：其中，和是直接被虚拟静态背景图像修复后的虚拟视点图像，是需要进行加权融合填补空洞的虚拟视点图像，weight是融合时采取的权重。3.根据权利要求1所述的具有时空连续性的虚拟视点合成方法，其特征在于，步骤(1.1)还包括：设定阈值，如果深度图序列的相邻帧中相同位置处的两个像素的深度差值小于所述阈值，则认为这两个像素处于同一深度层次，并将这两个像素的深度值更新为两个像素的平均深度值。4.根据权利要求1所述的具有时空连续性的虚拟视点合成方法，其特征在于，在步骤(...

【专利技术属性】
技术研发人员：姚莉，李小敏，吴含前，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32