一种基于图像修复的图像3D化方法技术

本发明专利技术提供一种基于图像修复的图像3D化方法，包括：获取待处理图像，通过预先训练的深度提取模型获取图像深度；基于预设的深度边缘值获取初级背景边缘图，再对所述初级背景边缘图像进行滤波和连通域检测处理获取精确背景边缘图；根据预设的3D效果确定所述精确背景边缘图中需要修复的图像范围，并由所述待处理图像中获取修复处理所用的内容素材；将所述待处理图像、精确背景边缘图、需要修复的背景图像范围以及内容素材输入预先训练的图像修复模型中，从而生成修复的背景图像；将前景图像与修复的背景图像结合，按照预设的3D效果输出转换视频。本发明专利技术能够更广泛地应用于实际场景中，鲁棒性强，同时在前背景复杂的图像上也能取得良好的处理效果。取得良好的处理效果。取得良好的处理效果。

【技术实现步骤摘要】
一种基于图像修复的图像3D化方法


[0001]本专利技术涉及图像处理
，具体而言，尤其涉及一种基于图像修复的图像3D化方法及装置。

技术介绍

[0002]3D图像技术，即用相机捕捉世界的景象并使用基于图像的渲染技术合成新的视角。这种图像可以提供一种比2D图像更身临其境的体验。然而，经典的基于图像的重建和渲染技术，需要涉及多幅图像的复杂捕捉设置，抑或使用特殊的硬件。而随着手机相机性能的不断提高，使用手机图像进行 3D图像生成的工作成为可能。通过对双镜头手机获得的图像进行处理，可以得到RGB
‑
D(颜色和深度)输入图像，通过RGB
‑
D图像生成新的视图，从而渲染生成3D图像。
[0003]传统的图像3D化方法多数关注于插值设置，通过插值进行光场渲染，或从稀疏视图重建场景几何。虽然这些方法也可以生成高质量的新视图，但主要通过合成相应的输入像素来实现，且通常需要多个有效的输入视图。
[0004]目前应用深度学习技术来进行视图合成也是图像3D化处理的营救热点。将视图合成视作一个学习的问题，通过捕获图像大量的场景，将每个场景作为真值,训练模型,预测其他的一个或多个视图。最近的工作已经探索了许多深度网络架构、场景表示和用于学习视图合成的应用场景。2018年 Zhou等人在SIGGRAPH会议的
‘
Stereo Magnification:Learning viewsynthesis using multiplane images
’
，使用了一种fronto
‑
parallel multi
‑
planerepresentation(MPI)图像结构，它是由小基线双摄像机立体声输入合成的。然而，MPI在倾斜的表面上产生问题。此外，过度的冗余在多平面表示使得它的内存和存储效率低，渲染成本高。Facebook也在2018年提出了3D照片的算法，使用分层深度图像(LDI)表示法，由于稀疏性更紧凑，可以转换为轻量级网格表示法进行渲染。在遮挡区域的颜色和深度合成使用启发式，优化快速运行的移动设备。不过，它使用了一种各向同性的扩散算法来填充颜色，这会产生过于平滑的结果，并且无法推断纹理和结构。
[0005]尽管现有的图像3D化方法已经取得了一定效果，但面对实际应用中的复杂情况，处理能力依然有所欠缺。轻量级算法更倾向于端到端的结构，但无法应对复杂场景，最终结果失真明显。而分模块的算法则过于冗余，难以在轻量级系统如手机端推广应用。

技术实现思路

[0006]本专利技术提供一种基于图像修复的图像3D化方法，能够应对各种复杂场景，且图像失真程度稀少。
[0007]本专利技术采用的技术手段如下：
[0008]一种基于图像修复的图像3D化方法，包括：
[0009]S1、获取待处理图像，通过预先训练的深度提取模型对所述待处理图像进行深度提取，从而获取图像深度，所述待处理图像为双目图像；
[0010]S2、基于预设的深度边缘值对待处理图像进行前景和后景的划分，从而获取初级背景边缘图，再对所述初级背景边缘图像进行基于滤波和连通域检测的图像后处理，从而获取精确背景边缘图；
[0011]S3、根据预设的3D效果确定所述精确背景边缘图中需要修复的图像范围，并由所述待处理图像中获取修复处理所用的内容素材，所述3D效果被设置为通过前景图像与背景图像之间的相对位置表征；
[0012]S4、将所述待处理图像、精确背景边缘图、需要修复的背景图像范围以及内容素材输入预先训练的图像修复模型中，从而生成修复的背景图像；
[0013]S5、将前景图像与修复的背景图像结合，按照预设的3D效果输出转换视频。
[0014]进一步地，通过预先训练的深度估计神经网络对所述待处理图像进行深度提取，包括：
[0015]基于深度估计神经网络对双目图像进行左右视图的匹配，进而获取匹配视差图；
[0016]基于以下计算获取深度图：
[0017][0018]其中，f表示焦距，b表示基线距离，ps表示像素距离，disp表示匹配视差图。
[0019]进一步地，所述深度估计神经网络训练时，通过对训练数据进行随机的小幅度旋转、亮度和对比度调节以及输入图像分块的方式进行数据增强处理，再用处理后的训练数据重新训练深度估计神经网络。
[0020]进一步地，所述图像修复模型包括边缘补全网络以及图像修复网络；所述边缘补全网络和图像修复网络均采用结构相同的生成对抗网络，所述生成对抗网络包括生成器和鉴别器；所述生成器包括三次下采样、中间层以及与三次下采样对称的三次上采样，所述中间层包括具有空洞卷积的8个残差块结构；所述鉴别器包括五层卷积层。
[0021]进一步地，将前景图像与修复的背景图像结合，按照预设的3D效果输出转换视频，包括：
[0022]对所述深度图进行降噪处理，通过准确的深度边缘来区分不同深度下的目标；
[0023]对处于不同深度层的像素分成不同的图连通域，基于语义分割算法将图像分割成不同目标区域的组合；
[0024]基于图像修复网络进行缺失背景修复；
[0025]通过图像渲染将图像前景和修复后的图像背景合成视频。
[0026]较现有技术相比，本专利技术具有以下优点：
[0027]本专利技术能够更广泛地应用于实际场景中，鲁棒性更强，对于一些前背景复杂的图像，也能够很好得处理。对于一对双目图像，本文通过更优结构的深度估计网络预测其深度值，由于进行了针对性的训练和使用神经网络结构搜索，该网络能适应许多复杂的实际应用场景。为了处理一些更复杂的存在光照遮挡问题的场景，本文采用了多样化的深度后处理方式，使用多种图像处理方式，并结合图像分割网络对不同场景进行深度的精细化调整。在得到性能优异的深度图后，本网络使用了专用的图像修复网络，根据场景分类，将2D图像还原成3D场景，并生成视频效果，拓展成相机的特效。本专利还引入了硬件加速算法，能够加速整个算法流程，专利富有实际应用价值。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0029]图1为本专利技术种基于图像修复的图像3D化方法流程图。
[0030]图2为本专利技术深度估计模块的网络架构图。
[0031]图3为本专利技术NAS的cell组成示意图。
[0032]图4为本专利技术NAS的网络搜索空间示意图。
[0033]图5为本专利技术边缘补全网络架构图。
[0034]图6为本专利技术图像修复网络架构图。
[0035]图7为本专利技术残差块的结构示意图。
[0036]图8为本专利技术训练掩膜的生成过程示意图。
[0037]图9为本专利技术图像修复本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像修复的图像3D化方法，其特征在于，包括：S1、获取待处理图像，通过预先训练的深度估计神经网络对所述待处理图像进行深度提取，从而获取图像深度图，所述待处理图像为双目图像；S2、基于预设的深度边缘阈值对待处理图像进行前景和后景的划分，从而获取初级背景边缘图，再对所述初级背景边缘图像进行基于滤波和连通域检测的图像后处理，从而获取精确背景边缘图；S3、根据预设的3D效果确定所述精确背景边缘图中需要修复的图像范围，并由所述待处理图像中获取修复处理所用的内容素材，所述3D效果被设置为通过前景图像与背景图像之间的相对位置表征；S4、将所述待处理图像、精确背景边缘图、需要修复的背景图像范围以及内容素材输入预先训练的图像修复模型中，从而生成修复的背景图像；S5、将前景图像与修复的背景图像结合，按照预设的3D效果输出转换视频。2.根据权利要求1所述的一种基于图像修复的图像3D化方法，其特征在于，通过预先训练的深度估计神经网络对所述待处理图像进行深度提取，包括：基于深度估计神经网络对双目图像进行左右视图的匹配，进而获取匹配视差图；基于以下计算获取深度图：其中，f表示焦距，b表示基线距离，ps表示像素距...

【专利技术属性】
技术研发人员：丁齐星，卢湖川，王一帆，
申请(专利权)人：大连维视科技有限公司，
类型：发明
国别省市：