引入颜色校正的自由视点图像合成方法技术

本发明专利技术公开了一种引入颜色校正的自由视点图像合成方法，主要解决现有自由视点合成技术中合成图像颜色不连续和空洞边缘模糊的问题。其实现步骤为：输入左、右视点视图及各自对应的深度图，经过3D变换得到左、右虚拟视图；依据位置关系由左、右虚拟视图合成中间虚拟视图的非闭塞区域；用虚拟视图背景区域间的颜色差异替代虚拟视图闭塞区域间的颜色差异，并利用直方图匹配算法得到经过颜色校正的闭塞区域；融合非闭塞区域和经过颜色校正的闭塞区域，得到有空洞点的中间视点图像；对有空洞点的中间视点图像进行逐层的空洞填充，得到最终的合成虚拟视图。本发明专利技术提高了合成虚拟图像的质量，提升了3D视频的观看舒适度，可用于立体多媒体。

【技术实现步骤摘要】

本专利技术属于图像处理
，特别涉及一种自由视点图像合成方法，可用于立体多媒体。
技术介绍
由于立体多媒体3DTV可以提供更加真实自然，栩栩如生的视觉环境，近年来被广大消费者熟知认可并逐步渗入多媒体市场，自由视点合成作为3DTV领域的核心技术被广大科研人员学习研究。由于3D视频对观看位置是有要求的，即不同位置应该接收到不同的视差即深度信息，这就意味着每个观看位置都应该有一个对应的机位来进行场景拍摄，由于立体相机造价高及拍摄条件限制，全方位拍摄太难实现。自由视点图像合成有效解决的了这一技术难题，对丰富立体视频资源和3DTV领域的发展至关重要。自由视点图像合成是基于左右视点视图及其深度图像合成中间视点虚拟视图的一项技术。合成新视点图像过程中，由于视点的变换，部分闭塞区域会重新暴露在视野内，这就需要左右视点图像进行合成以填补新暴露区域。2009年，Y.Mori等人首次提出了比较科学系统的自由视点合成方法(Y.Mori,N.Fukushima,T.Yendo,T.Fujii and M.Tanimoto,View generation with 3D warping using depth information for FTV,Signal Processing:Image Communication,24,65–72,2009)，主要分为以下四步：1)3D变换：3D变换实质上是投影的过程，Mori采用的是正向投影方式，基于空间变换关系，将左右视图及其深度图像投影到目标视点位置，得到目标视点的虚拟左右视图。2)舍入误差移除：3D正向投影过程中，对坐标的四舍五入导致变换后的虚拟视图中出现一个像素的缺失，需要检测出误差像素点并用周围像素填充，进而完成对误差像素点的移除。3)左右虚拟视图合成：通过位置关系融合左右虚拟视图得到非闭塞区域，并分别用左右虚拟视图填补中间视图中左右侧新暴露出的闭塞区域，得到目标虚拟视图。4)图像修复：由于深度突变，3D变换过程中还会出现另外一种形式的像素缺失，称之为空洞，需要通过一些图像修复算法进行空洞填充。针对3D变换中舍入误差的问题，K.J.Oh等人提出了一种由目标视点位置向左右视点位置投影的逆向投影策略(K.J.Oh,S.Yea,A.Vetro and Y.S.Ho,Virtual View Synthesis Method and Self-Evaluation Metrics for Free Viewpoint Television and 3D Video,International Journal of Imaging Systems and Technology,20,378–390,2010)，将舍入误差取在左右视点位置坐标处，保证每个非闭塞区域的目标视点都有对应的映射像素点，有效避免了误差像素缺失的问题。在左右虚拟视图合成过程中，由于暴露出的闭塞区域要同时用到左右视图来填补，而左右视点拍摄条件不可能一致，左右视图存在颜色，亮度和饱和度上的差异，这就产生了合成图像颜色不连续的问题。针对这一问题，K.J.Oh等人在文中也提出了一种直方图匹配算法，将左右视图之一视为主视图，另一个视为辅助视图。首先依据位置关系，由主视图和辅助视图合成中间虚拟视图；然后计算虚拟视图和主视图的频率分布直方图，通过直方图匹配，使虚拟视图和主视图有相同的颜色特征；最后用主视图和辅助视图填补虚拟视图中的闭塞区域。该方法有效解决了合成图像和主视图之间的颜色不连续问题，但是合成图像和辅助图像间的颜色不连续情况依旧十分明显。空洞填充是自由视点图像合成以及2D转3D中的重要问题。K.J.Oh提出空洞来自背景(K.J.Oh,S.Yea and Y.S.Ho,Hole filling method using depth based in-painting for view synthesis in free viewpoint television and 3-d video,Proc.Picture Coding Symposium,1–4,2009)，并依据深度信息分离出前景背景，进而用背景信息进行空洞填充，但是具体填充方式并不详尽和理想。M.Solh提出一种简单高效的逐层空洞填充方式(M.Solh and G.AlRegib,Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video,IEEE Journal on Selected Topics in Signal Processing,6,495–504,2012)，其缺点是忽略了背景填充空洞的必要性，造成填充区域边缘模糊的后果。
技术实现思路
本专利技术的目的针对上述已有技术的不足，提出引入颜色校正的自由视点图像合成方法，以完全消除合成图像中颜色的不连续，提高填充区域边缘的清晰度。本专利技术技术方案是：通过对3D变换后的左右视图进行基于颜色校正的视图合成，并对合成虚拟视图进行基于深度信息的逐层空洞填充，得到颜色连续的高质量中间视点视图。其步骤包括如下：1)输入左右视点视图及它们对应的深度图，基于位置关系和投影方程将左右视图及深度图投影到中间视点平面，得到左虚拟视图WL，右虚拟视图WR，左虚拟深度图DL和右虚拟深度图DR；2)将左虚拟视图的闭塞区域WL'与右虚拟视图的闭塞区域WR'重合，将左虚拟视图的非闭塞区域ML与右虚拟视图的非闭塞区域MR重合；3)将左虚拟视图的非闭塞区域ML和右虚拟视图的非闭塞区域MR进行加权融合，得到中间虚拟视图的非闭塞区域部分M；4)将左虚拟深度图的非闭塞区域NL与右虚拟深度图的非闭塞区域NR进行加权融合，得到中间虚拟深度图的非闭塞区域N；5)将中间虚拟深度图的非闭塞区域N、左虚拟深度图的闭塞区域DL'和右虚拟深度图的闭塞区域DR'进行融合，得到最终的中间虚拟深度图A0；6)对中间虚拟视图的非闭塞区域M进行图像分割，分离出前景Mf和背景Mb；7)统计非闭塞区域背景和闭塞区域的直方图：7a)由分割出的背景区域Mb，对应找出左虚拟视图中的背景区域MLb和右虚拟视图中的背景区域MRb，分别作中间虚拟视图背景区域Mb的统计直方图Hb，左虚拟视图背景MLb的统计直方图HLb和右虚拟视图背景MRb的统计直方图HRb；7b)作左虚拟视图闭塞区域WL'的统计直方图HL'和右虚拟视图闭塞区域WR'的统计直方图HR'；8)计算背景区域直方图之间的差异，用其替代闭塞区域直方图之间的差异，得到中间虚拟视图左侧闭塞区域的统计直方图CL和右侧闭塞区域的统计直方图CR；9)采用直方图匹配算法，将左虚拟视图闭塞区域的统计直方图HL'匹配至中间虚拟视图左侧闭塞区域的统计直方图CL，得到颜色校正后的中间虚拟视图左侧闭塞区域CfL，同理将右虚拟视图闭塞区域的统计直方图HR'匹配至中间虚拟视图右侧闭塞区域的统计直方图CR，得到颜色校正后的中间虚拟视图右侧闭塞区域CfR；10)将中间虚拟视图的非闭塞区域M、左侧闭塞区域CfL和右侧闭塞区域CfR进行融合，得到新的中间虚拟视图B0；11)根据虚拟深度图A0中的深度信息，选取背景像素对其以及中间虚拟视图B0进行逐层下采样，得本文档来自技高网...

【技术保护点】
一种引入颜色校正的自由视点图像合成方法，包括：1)输入左右视点视图及它们对应的深度图，基于位置关系和投影方程将左右视图及深度图投影到中间视点平面，得到左虚拟视图WL，右虚拟视图WR，左虚拟深度图DL和右虚拟深度图DR；2)将左虚拟视图的闭塞区域WL'与右虚拟视图的闭塞区域WR'重合，将左虚拟视图的非闭塞区域ML与右虚拟视图的非闭塞区域MR重合；3)将左虚拟视图的非闭塞区域ML和右虚拟视图的非闭塞区域MR进行加权融合，得到中间虚拟视图的非闭塞区域部分M；4)将左虚拟深度图的非闭塞区域NL与右虚拟深度图的非闭塞区域NR进行加权融合，得到中间虚拟深度图的非闭塞区域N；5)将中间虚拟深度图的非闭塞区域N、左虚拟深度图的闭塞区域DL'和右虚拟深度图的闭塞区域DR'进行融合，得到最终的中间虚拟深度图A0；6)对中间虚拟视图的非闭塞区域M进行图像分割，分离出前景Mf和背景Mb；7)统计非闭塞区域背景和闭塞区域的直方图：7a)由分割出的背景区域Mb，对应找出左虚拟视图中的背景区域MLb和右虚拟视图中的背景区域MRb，分别作中间虚拟视图背景区域Mb的统计直方图Hb，左虚拟视图背景MLb的统计直方图HLb和右虚拟视图背景MRb的统计直方图HRb；7b)作左虚拟视图闭塞区域WL'的统计直方图HL'和右虚拟视图闭塞区域WR'的统计直方图HR'；8)计算背景区域直方图之间的差异，用其替代闭塞区域直方图之间的差异，得到中间虚拟视图左侧闭塞区域的统计直方图CL和右侧闭塞区域的统计直方图CR；9)采用直方图匹配算法，将左虚拟视图闭塞区域的统计直方图HL'匹配至中间虚拟视图左侧闭塞区域的统计直方图CL，得到颜色校正后的中间虚拟视图左侧闭塞区域CfL，同理将右虚拟视图闭塞区域的统计直方图HR'匹配至中间虚拟视图右侧闭塞区域的统计直方图CR，得到颜色校正后的中间虚拟视图右侧闭塞区域CfR；10)将中间虚拟视图的非闭塞区域M、左侧闭塞区域CfL和右侧闭塞区域CfR进行融合，得到新的中间虚拟视图B0；11)根据虚拟深度图A0中的深度信息，选取背景像素对其以及中间虚拟视图B0进行逐层下采样，得到各层降采样虚拟深度图Ak和虚拟视图Bk，直至最终层S层的虚拟深度图AS和虚拟视图BS中没有空洞；12)从第S层开始，逐层向上填充降采样虚拟视图Bk'中的空洞，得到各层的修复图像Fk'，直至得到初始层修复图像F0，也就是最终的自由视点图像。...

【技术特征摘要】
1.一种引入颜色校正的自由视点图像合成方法，包括：1)输入左右视点视图及它们对应的深度图，基于位置关系和投影方程将左右视图及深度图投影到中间视点平面，得到左虚拟视图WL，右虚拟视图WR，左虚拟深度图DL和右虚拟深度图DR；2)将左虚拟视图的闭塞区域WL'与右虚拟视图的闭塞区域WR'重合，将左虚拟视图的非闭塞区域ML与右虚拟视图的非闭塞区域MR重合；3)将左虚拟视图的非闭塞区域ML和右虚拟视图的非闭塞区域MR进行加权融合，得到中间虚拟视图的非闭塞区域部分M；4)将左虚拟深度图的非闭塞区域NL与右虚拟深度图的非闭塞区域NR进行加权融合，得到中间虚拟深度图的非闭塞区域N；5)将中间虚拟深度图的非闭塞区域N、左虚拟深度图的闭塞区域DL'和右虚拟深度图的闭塞区域DR'进行融合，得到最终的中间虚拟深度图A0；6)对中间虚拟视图的非闭塞区域M进行图像分割，分离出前景Mf和背景Mb；7)统计非闭塞区域背景和闭塞区域的直方图：7a)由分割出的背景区域Mb，对应找出左虚拟视图中的背景区域MLb和右虚拟视图中的背景区域MRb，分别作中间虚拟视图背景区域Mb的统计直方图Hb，左虚拟视图背景MLb的统计直方图HLb和右虚拟视图背景MRb的统计直方图HRb；7b)作左虚拟视图闭塞区域WL'的统计直方图HL'和右虚拟视图闭塞区域WR'的统计直方图HR'；8)计算背景区域直方图之间的差异，用其替代闭塞区域直方图之间的差异，得到中间虚拟视图左侧闭塞区域的统计直方图CL和右侧闭塞区域的统计直方图CR；9)采用直方图匹配算法，将左虚拟视图闭塞区域的统计直方图HL'匹配至中间虚拟视图左侧闭塞区域的统计直方图CL，得到颜色校正后的中间虚拟视图左侧闭塞区域CfL，同理将右虚拟视图闭塞区域的统计直方图HR'匹配至中间虚拟视图右侧闭塞区域的统计直方图CR，得到颜色校正后的中间虚拟视图右侧闭塞区域CfR；10)将中间虚拟视图的非闭塞区域M、左侧闭塞区域CfL和右侧闭塞区域CfR进行融合，得到新的中间虚拟视图B0；11)根据虚拟深度图A0中的深度信息，选取背景像素对其以及中间虚拟视图B0进行逐层下采样，得到各层降采样虚拟深度图Ak和虚拟视图Bk，直至最终层S层的虚拟深度图AS和虚拟视图BS中没有空洞；12)从第S层开始，逐层向上填充降采样虚拟视图Bk'中的空洞，得到各层的修复图像Fk'，直至得到初始层修复图像F0，也就是最终的自由视点图像。2.根据权利要求1所述的引入颜色校正的自由视点图像合成方法，其中步骤3)中将左虚拟视图的非闭塞区域ML和右虚拟视图的非闭塞区域MR进行加权融合，按如下步骤进行：3a)由左视点到中间视点的距离tL和右视点到中间视点的距离tR，计算在合成中间虚拟视图非闭塞区域的过程中，左虚拟视图非闭塞区域的权重系数α和右虚拟视图非闭塞区域的权重系数1-α，其中：3b)基于权重系数，对左虚拟视图非闭塞区域与右虚拟视图非闭塞区域进行加权融合，得到中间虚拟视图的非闭塞区域部分：M＝α·ML+(1-α)·MR。3.根据权利要求1所述的引入颜色校正的自由视点图像合成方法，其中步骤4)中将左虚拟深度图的非闭塞区域NL与右虚拟深度图的非闭塞区域NR进行加权融合，是基于步骤3)中得到的权重系数α，将左虚拟深度图的非闭塞区域NL与右虚拟深度图的非闭塞区域NR进行加权，得到中间虚拟深度图的非闭塞区域部分：N＝α·NL+(1-α)·NR。4.根据权利要求1所述的引入颜色校正的自由视点图像合成方法，其中步骤8)中，用背景区域直方图之间的差异替代闭塞区域直方图之间的差异，按如下步骤进行：8a)用左虚拟视图背景的统计直方图HLb减去中间虚拟视图背景的统计直方图Hb，得到左虚拟视图背景区域与中间虚拟视图背景区域之间的统计平均差值直方图DiffL；同理，用右虚拟视图背景的统计直方图HRb减去中间虚拟视图背景的统计直方图Hb，得到右虚拟视图背景区域与中间虚拟视图背景区域之间的统计平均差值直方图DiffR；8b)将统计平均差值直方图DiffL加在左虚拟视图闭塞区域的统计直方图HL'之上，得到中间虚拟视图左侧闭塞区域的统计直方图CL；同理，将统计平均差值直方图DiffR加在右虚拟视图闭塞区域的统计直方图HR'之上，得到中间虚拟视图右侧闭塞区域的统计直方图CR。5.根据权利要求1所述的引入颜色校正的自由视点图像合成方法，其中步骤9)中将左虚拟...

【专利技术属性】
技术研发人员：焦李成，乔伊果，侯彪，杨淑媛，刘红英，曹向海，马文萍，马晶晶，张丹，霍丽娜，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61