一种虚拟视点合成方法及系统技术方案

本申请公开了一种虚拟视点合成方法及系统，包括建立左视点虚拟视图和右视点虚拟视图；在参考视图中搜索候选像素，对于搜索不到候选像素的像素块，标记为洞点；对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，进行加权求和；将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；对左视点虚拟视图和右视点虚拟视图进行视点合成；对合成图像进行洞点填补。本申请由于对于搜索不到候选像素的像素块，标记为洞点，使用对应图像中的信息进行填补，而空洞区域刚好是容易产生颜色混合的部分，避免了在边界区域容易产生边界与背景混合的现象，同时在边界和非边界区域获得良好的合成质量。

【技术实现步骤摘要】
【国外来华专利技术】一种虚拟视点合成方法及系统
本申请涉及多视点视频编解码
，尤其涉及一种虚拟视点合成方法及系统。
技术介绍
多视点视频（Multi-ViewVideo）指的是由不同视点的多个摄像机从不同视角拍摄同一场景得到的一组视频信号，是一种有效的3D视频表示方法，能更加生动地再现场景，给人身临其境的感觉，在立体电视、自由视点电视、立体视频会议和视频监控等领域有着非常广泛的应用前景。多视点视频通过一组同步的摄像机阵列从不同角度采集同一场景，在显示时，可以根据观看者所处位置显示相应角度的图像；当观看者的头部移动时，看到内容也会出现相应的变化，从而得到“环视”的效果。为得到自然平滑的运动视差效果，需要使用非常稠密的摄像机来获得多视点视频序列。然而随着相机数目的增加，多视点视频的数据量也成倍增加，给存储和传输带来了巨大的挑战。在低码率下为了得到高质量的立体视频流，多视点视频一般采用双视点加深度的格式，将彩色视频图和深度图各自进行压缩编码，解码时，采用基于深度图的虚拟视点合成技术(DepthImageBasedRendering,DIBR)，用左右两视点和对应的深度图生成多视点视频，可根据用户的需求（立体视频或任意视点视频）重建一个或多个角度的立体视频。虚拟视点合成是多视点视频编解码中的关键技术之一，合成图像的质量直接影响到多视点视频的观看质量。现有技术中的虚拟视点合成方法，全程仅一副虚拟图像，对一个像素同时在左右参考视点中搜索候选像素，因此其候选像素集可能包含来自两个视点中的像素，且所有候选像素都参与到下一步的加权求和中，不作任何筛选。而基于深度图的方法很大程度依赖于深度图的准确度。深度图的不连续性也会影响合成视图的质量。因此现有的技术或多或少都存在一些缺陷，要么在产生遮挡的边界区域，要么在背景区域容易产生一些瑕疵。
技术实现思路
本申请提供一种虚拟视点合成方法及系统。根据本申请的第一方面，本申请提供一种虚拟视点合成方法，包括：建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为(u,v)的像素取(u,v)到(u+1,v)的像素块，即I(u)＝[u,u+1)；所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点；对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则不参与加权求和；将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；对所述左视点虚拟视图和右视点虚拟视图进行视点合成；对合成图像进行洞点填补。上述方法中，所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点，还包括：在参考视图中搜索候选像素，设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加1，重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。上述方法中，所述前景系数通过wjf=∣Ij(ur,t)∩Ij(u)∣计算；所述背景系数通过wjb=∣I(u)∩Ij(ur,t)∣-wjf计算；其中Ij(ur,t)=[ur-t,ur+1+t)为参考视点中的像素块，t为第二调节参数，Ij(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重；依据所述前景系数和背景系数进行加权求和的公式为：其中αj根据像素的深度值控制在合成过程中所占的权重。上述方法中，所述将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素，具体包括：对左视点和/或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为d_left、d_right，计算所述d_left、d_right的差值，与第二预定阈值比较，决定洞区扩充方向：若d_left-d_right大于所述第二预定阈值，向左侧扩充；若d_left-d_right小于所述第二预定阈值，向右侧扩充；若d_left-d_right等于所述第二预定阈值，不扩充。上述方法中，所述对所述左视点虚拟视图和右视点虚拟视图进行视点合成，包括：所述左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；所述左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。根据本申请的第二方面，本申请提供一种虚拟视点合成系统，包括视点映射模块，鬼影去除模块、视点合成模块和小洞填补模块，所述视点映射模块包括创建单元、选择单元和控制单元，所述创建单元用于建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为(u，v)的像素取(u，v)到(u+1，v)的像素块，即I(u)＝[u,u+1)；所述选择单元用于在左视点参考视图中搜索所述左视点虚拟视图的候选像素，在右视点参考视图中搜索所述右视点虚拟视图的候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点；所述控制单元对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则不参与加权求和；所述鬼影去除模块用于将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；所述视点合成模块用于对所述左视点虚拟视图和右视点虚拟视图进行视点合成；所述小洞填补模块用于对合成图像进行洞点填补。上述系统中，所述选择单元还用于在参考视图中搜索候选像素，设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加1，重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。上述系统中，所述前景系数通过wjf=∣Ij(ur,t)∩Ij(u)∣计算；所述背景系数通过wjb=∣I(u)∩Ij(ur,t)∣-wjf计算；其中Ij(ur,t)=[ur-t,ur+1+t)为参考视点中的像素块，t为第二调节参数，Ij(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重；依据所述前景系数和背景系数进行加权求和的公式为：其中αj根据像素的深度值控制在合成过程中所占的权重。上述系统中，所述鬼影去除模块还用于对左视点和/或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为d_left、d_right，计算所述d_left、d_right的差值，与第二预定阈值比较，决定洞区扩充方向：若d_left-d_right大于所述第二预定阈值，向左侧扩充；若d_left-d_right小于所述第二预定阈值，向右侧扩充；若d_left-d_right等本文档来自技高网...

【技术保护点】
PCT国内申请，权利要求书已公开。

【技术特征摘要】
【国外来华专利技术】1.一种虚拟视点合成方法，其特征在于，包括：建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为(u，v)的像素取(u，v)到(u+1，v)的像素块，即I(u)＝[u,u+1)；所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点；对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权的第一个像素的深度值差超过第一预定阈值的，则不参与加权求和；将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；对所述左视点虚拟视图和右视点虚拟视图进行视点合成；对合成图像进行洞点填补。2.如权利要求1所述的虚拟视点合成方法，其特征在于，所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点，还包括：在参考视图中搜索候选像素，设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加1，重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。3.如权利要求1所述的虚拟视点合成方法，其特征在于，所述前景系数通过计算；所述背景系数通过计算；其中Ij(ur,t)＝[ur-t,ur+1+t)为参考视点中的像素块，t为第二调节参数，Ij(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重；依据所述前景系数和背景系数进行加权求和的公式为：其中αj根据像素的深度值控制在合成过程中所占的权重，C(u)为候选像素集。4.如权利要求1所述的虚拟视点合成方法，其特征在于，所述将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素，具体包括：对左视点和/或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为d_left、d_right，计算所述d_left、d_right的差值，与第二预定阈值比较，决定洞区扩充方向：若d_left-d_right大于所述第二预定阈值，向左侧扩充；若d_left-d_right小于所述第二预定阈值，向右侧扩充；若d_left-d_right等于所述第二预定阈值，不扩充。5.如权利要求1至4中任一项所述的虚拟视点合成方法，其特征在于，所述对所述左视点虚拟视图和右视点虚拟视图进行视点合成，包括：所述左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；所述左视点虚拟视图和右视点...

【专利技术属性】
技术研发人员：李晨霞，王荣刚，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东;44