一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法技术

本发明专利技术公开了一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法，包括步骤：构建一个由生成器网络和判别器网络组成的生成对抗网络模型；对生成器网络和判别器网络分别构造不同的损失函数；利用分步训练对生成对抗网络进行空洞填补训练得到空洞填补框架网络；把需要修复的立体合成图放入空洞填补框架网络中进行修复得到生成图像；该图像就是空洞修复后的图像；生成器网络用于预测原始图像空洞区域纹理映射；判别器网络用于对生成图像的质量进行判断。针对立体图像中空洞的分布特点，训练过程中引导空洞的填充优先从未被遮挡的背景区域中获取纹理信息，有效避免现有网络在修复过程中出现的填充内容语义混淆问题，提升3D虚拟图像渲染效果。

【技术实现步骤摘要】
一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法
本专利技术涉及三维视频
，尤其涉及一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法。
技术介绍
三维(3D)视频逐渐普及，已经逐渐成为了当前的一种发展趋势。然而，视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下，将2D视频转为3D视频是解决此问题的有效途径。DIBR渲染是基于深度图的2D/3D转换方法中的重要步骤，它可以利用深度信息渲染出虚拟的立体视频，从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势，但是仍然有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。CN109472764A公开了一种图像合成和图像合成模型训练的方法、装置、设备和介质，解决图像添加特效单一且无法自定义的问题，实现为用户提供多种图像属性选择；但是无法根据图像的已知部分对缺失的未知部分进行填补，也并未针对立体合成图像的特点进行特别的设计，待补全的图像一般有较大的缺失空白区域，由于对大块空白区域的补全不仅涉及到图像的结构信息，还涉及到纹理信息的补全。
技术实现思路
为克服上述缺陷，本专利技术的目的在于提供一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法，构建空洞填补框架网络，以明显提升基于深度学习的网络模型对立体合成图像中空洞的修复效果。为实现上述目的，本专利技术采用如下技术方案：一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法，包括步骤：构建一个由生成器网络和判别器网络组成的生成对抗网络模型；对生成器网络和判别器网络分别构造不同的损失函数；利用分步训练对生成对抗网络进行空洞填补训练得到空洞填补框架网络；把需要修复的立体合成图放入空洞填补框架网络中进行修复得到生成图像；其中，所述生成器网络用于预测原始图像空洞区域纹理映射；所述判别器网络用于对生成图像的质量进行判断。可选的，所述生成器网络为编码解码型网络结构，包括编码模块和解码模块；所述编码模块下采样2次，中间依次连接8个扩张卷积层；所述解码模块上采样2次；所述判别器网络由5个卷积层堆叠而成。可选的，所述生成器网络的损失函数和所述判别器网络的损失函数包括：LG＝LG1+LG2LG1＝λddrLddrLG2＝λadvLadv+λpercLperc+λstyleLstyleLD＝-[Ey～P(Y)[logD(y,Mh)]+Ex～P(X)[log(1-D(G(x,Mh),Mh))]]]其中，LG为生成器网络的损失函数；LG1为主损失函数；LG2为辅助损失函数；Lddr为定向回归损失函数；Lperc为感知损失；Lstyle为风格损失；Ladv为对抗损失；λddr,λadv,λperc,λstyle为平衡因子；LD为判别器网络的损失函数；x为有空洞的立体合成图像；y为作为真值的无空洞立体合成图像；Mh为二值化的空洞掩模矩阵；1为空洞区域；0为其它区域；y～P(Y)为真值图像从P(Y)分步中采样取得；x～P(X)为真值图像从P(X)分步中采样取得。可选的，所述平衡因子λddr,λadv,λperc,λstyle范围分别为[0.5,5],[0.05,0.5],[0.05,0,5],[100,500]。可选的，所述定向回归损失函数Lddr＝||Mh⊙Md⊙(G(x,Mh)-y)||；其中，⊙为像素乘法；||.||为欧氏距离；Md为定向折损重建掩膜；所述定向折损重建掩膜中对应所述空洞区域的每个像素的权重定义为，其中，Ω为含有空洞的原始图像上一个闭合空洞区域；δΩF表示空洞区域与相邻前景区域的边界，δΩB表示空洞区域与相邻背景区域的边界；p为Ω内的任一像素点；Wp为像素点p在Md上的权重；p0为前景端点；p1为背景端点；为前景端点的固定预设权重；为背景端点的固定预设权重，且可选的，利用分步训练对生成对抗网络进行空洞填补训练得到空洞填补框架网络包括步骤：将有空洞的立体合成图像及空洞掩模图像输入到生成器网络中得到生成图像；将生成图像、空洞掩膜图像和作为真值的无空洞的立体合成图像作为判别器网络的输入；依次迭代训练使生成器网络的损失函数和判别器网络的损失函数降至趋于稳定；交替训练生成对抗网络中的生成器网络和判别器网络，当损失函数趋于稳定后得到最终的立体合成图像的空洞填补框架网络。处理立体合成图像空洞修复问题的传统方法较多，但是各种方法的修复效果对场景特征有一定的要求并有明显的缺点。传统方法通过在DIBR前加入深度图预处理环节或者在DIBR后基于图像修复技术来完成空洞的填补。但是这些方法的修复效果往往受到场景特征条件的限制，无法很好的自适应复杂场景中的空洞修复。卷积神经网络凭借其对图像底层特征的理解以及图像高层语义特征的抽象能力，在图像分割、目标检测等任务中表现出了优异的结果。卷积神经网络尤其是对抗学习网络也被应用于通用型的图像修复，由于基于大量数据的训练，修复鲁棒性与传统方法相比有所提高。通用型的图像修复方法所要填充的缺失区域信息可以来自周边任何有语义或视觉相关性的区域。而立体视觉合成中产生的空洞主要集中在不同深度图层的过度区域，该类区域是被前景物体遮挡的部分背景区域在新图像中暴露出来产生的，因此被填充的合理信息应该来自未被遮挡的背景区域中。但现有的基于深度学习的图像修复方法并没有对此特别优化设计，并不能很好的对立体视觉合成中产生的空洞进行填补修复，从而影响了3D视频的实际转换效果。本专利技术的积极有益效果：针对现有基于深度学习的图像修复方法在处理立体合成图像空洞问题中约束不足的问题，特别提出一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法，可以针对立体图像中空洞的分布特点，通过定向回归损失函数中的修复方向性约束，在训练过程中引导空洞的填充优先从未被遮挡的背景区域中获取纹理信息，从而有效避免现有网络在修复过程中出现的填充内容语义混淆问题，从而提升3D虚拟图像渲染效果。附图说明图1是本专利技术实施例1提供的一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法的示意图；图2是本专利技术实施例1提供的一种用于立体合成图像空洞修复的生成对抗网络示意图；图3是本专利技术实施例1提供的一种定向回归损失函数作用示意图；图4是本专利技术实施例1提供的一种通过标准DIBR算法合成的一幅右眼立体虚拟图像示意图；图5是本专利技术实施例1提供的一种示例性应用传统方法获得的修复效果示意图；图6是本专利技术实施例1提供的另一种示例性应用传统方法获得的修复效果示意图；图7是本专利技术实施例1提供的一种训练出模型后得到的修复效果示意图。具体实施方式下面结合一些具体实施方式，对本专利技术做进一步说明。实施例1如图1所示，公开本文档来自技高网...

【技术保护点】
1.一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法，其特征在于，包括步骤：/n构建一个由生成器网络和判别器网络组成的生成对抗网络模型；/n对生成器网络和判别器网络分别构造不同的损失函数；/n利用分步训练对生成对抗网络进行空洞填补训练得到空洞填补框架网络；/n把需要修复的立体合成图放入空洞填补框架网络中进行修复得到生成图像；/n其中，所述生成器网络用于预测原始图像空洞区域纹理映射；所述判别器网络用于对生成图像的质量进行判断。/n

【技术特征摘要】
1.一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法，其特征在于，包括步骤：
构建一个由生成器网络和判别器网络组成的生成对抗网络模型；
对生成器网络和判别器网络分别构造不同的损失函数；
利用分步训练对生成对抗网络进行空洞填补训练得到空洞填补框架网络；
把需要修复的立体合成图放入空洞填补框架网络中进行修复得到生成图像；
其中，所述生成器网络用于预测原始图像空洞区域纹理映射；所述判别器网络用于对生成图像的质量进行判断。


2.如权利要求1所述的一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法，其特征在于，所述生成器网络为编码解码型网络结构，包括编码模块和解码模块；所述编码模块下采样2次，中间依次连接8个扩张卷积层；所述解码模块上采样2次；所述判别器网络由5个卷积层堆叠而成。


3.如权利要求1所述的一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法，其特征在于，所述生成器网络的损失函数和所述判别器网络的损失函数包括：
LG＝LG1+LG2
LG1＝λddrLddr
LG2＝λadvLadv+λpercLperc+λstyleLstyle
LD＝-[Ey～P(Y)[logD(y,Mh)]+Ex～P(X)[log(1-D(G(x,Mh),Mh))]]]
其中，LG为生成器网络的损失函数；LG1为主损失函数；LG2为辅助损失函数；Lddr为定向回归损失函数；Lperc为感知损失；Lstyle为风格损失；Ladv为对抗损失；λddr,λadv,λperc,λstyle为平衡因子；LD为判别器网络的损失函数；x为有空洞的立体合成图像；y为作为真值的无空洞立体合成图像；Mh为二值化的空洞掩模...

【专利技术属性】
技术研发人员：刘伟，程艺苑，郑扬冰，万书佳，崔明月，王兴，
申请(专利权)人：南阳师范学院，
类型：发明
国别省市：河南;41