一种基于深度学习的单视点合成方法技术

本发明专利技术公开了一种基于深度学习的单视点合成方法，包括：根据多级流预测机制将处于非遮挡区域的目标视点图像的像素进行合成，获取第一合成目标视点图像；利用渐进转换机制学习源视点图像到目标视点图像的渐进转换趋势，对合成的目标视点图像的像素进行回归计算，合成遮挡区域的像素，获取第二合成目标视点图像；利用置信度聚合机制将第一、第二合成目标视点图像进行聚合；根据循环合成机制实现聚合后的合成目标视点图像到源视点图像的逆向映射；基于多级流预测机制、渐进转换机制、循环合成机制获取生成对抗损失函数，进而训练视点合成网络，实现单视点合成。实现单视点合成。实现单视点合成。

【技术实现步骤摘要】
一种基于深度学习的单视点合成方法


[0001]本专利技术涉及深度学习、视点合成领域，尤其涉及一种基于深度学习的单视点合成方法。

技术介绍

[0002]随着多媒体与成像技术的快速发展，多视点视频获得了工业界和学术界广泛的关注。多视点视频能够提供丰富的三维场景信息，广泛应用于自由视点显示、虚拟现实和视频监控等领域。然而，在实际应用中，多视点图像的获取、传输和存储十分困难。视点合成技术因其能够在给定一个或多个视点图像的条件下合成其他任意视点的图像，成为当前的研究热点。根据输入源图像数量的不同，视点合成方法可以分类为多视点合成方法和单视点合成方法。本专利技术主要关注单视点合成方法。
[0003]单视点合成方法主要包括：流预测方法和像素生成方法。流预测方法首先通过卷积神经网络学习源视点与目标视点之间的视差图，然后根据所学习的视差图对源视点图像进行双线性插值获得目标视点图像。由于这种方法是利用视差图对源视点图像进行像素搬移获得目标视点图像，合成的目标视点图像的纹理内容较好，但是对处于遮挡区域的像素还不能很好的合成。像素生成方法直接利用像素回归的思想本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的单视点合成方法，其特征在于，所述方法包括：根据多级流预测机制将处于非遮挡区域的目标视点图像的像素进行合成，获取第一合成目标视点图像；利用渐进转换机制学习源视点图像到目标视点图像的渐进转换趋势，直接对合成的目标视点图像的像素进行回归计算，合成遮挡区域的像素，获取第二合成目标视点图像；利用置信度聚合机制将第一、第二合成目标视点图像进行聚合；根据循环合成机制实现聚合后的目标视点图像到源视点图像的逆向映射；基于多级流预测机制、渐进转换机制、循环合成机制获取多种损失函数，进而训练视点合成网络，实现单视点合成。2.根据权利要求1所述的一种基于深度学习的单视点合成方法，其特征在于，其特征在于，所述渐进转换机制包含两个权重共享的像素生成模块，分别为源视点到中间转换的第一像素生成模块和中间转换到目标视点的第二像素生成模块，每个像素生成模块均根据输入图像和对应的位姿信息直接合成所需图像。3.根据权利要求1所述的一种基于深度学习的单视点合成方法，其特征在于，所述第一像素生成模块用于生成源视点和目标视点之间的中间转换：其中，为三个通道表示图像，为置信度图，O
GCM
表示映射函数。4.根据权利要求3所...

【专利技术属性】
技术研发人员：雷建军，刘秉正，彭勃，于传波，张哲，
申请(专利权)人：天津大学，
类型：发明
国别省市：