宽基线全景图之间的中间视图合成制造技术

一种方法包括：预测与第一全景图像和第二全景图像相关联的立体深度，第一全景图像和第二全景图像是在第一全景图像和第二全景图像的捕获之间具有时间间隔的情况下捕获的；基于第一全景图像和与第一全景图像相对应的立体深度来生成第一网格表示；基于第二全景图像和与第二全景图像相对应的立体深度来生成第二网格表示；以及基于将第一网格表示与第二网格表示融合来合成第三全景图像

【技术实现步骤摘要】
【国外来华专利技术】宽基线全景图之间的中间视图合成


[0001]实施例涉及全景图像合成
。

技术介绍

[0002]图像合成
、
全景图像合成
、
视图合成
、
帧合成等可以包括基于至少一个现有图像和
/
或帧来生成图像
。
例如，帧合成可以包括通过在两个顺序相邻的帧之间合成一个或多个帧来增加视频的帧速率
。

技术实现思路

[0003]在一般方面中，一种设备
、
系统
、
非暂时性计算机可读介质
(
其上存储有可以在计算机系统上执行的计算机可执行程序代码
)
和
/
或方法可以利用方法执行过程，该方法包括：预测与第一全景图像和第二全景图像相关联的立体深度，第一全景图像和第二全景图像是在第一全景图像和第二全景图像的捕获之间具有时间间隔
(time interval)
的情况下捕获的；基于第一全景图像和对应于第一全景图像的立体深度来生成第一网格表示；基于第二全景图像和对应于第二全景图像的立体深度来生成第二网格表示；以及基于将第一网格表示与第二网格表示融合来合成第三全景图像
。
[0004]实施方式可以包括以下特征中的一个或多个
。
例如，第一全景图像和第二全景图像可以是
360
度宽基线等矩形投影
(ERP)
全景图
。
立体深度的预测可以基于第一全景图像和第二全景图像以及至少一个目标位置使用球形扫描代价体积来估计第一全景图像和第二全景图像中的每一个的深度
。
立体深度的预测可以基于与第一全景图像和第二全景图像相关联的第一特征图来估计低分辨率深度，并且立体深度的预测可以基于第一特征图和与第一全景图像相关联的第二特征图来估计高分辨率深度
。
第一网格表示的生成可以是基于：第一全景图像以及基于对应于第一全景图像的立体深度确定的不连续性，并且第二网格表示的生成可以是基于：第二全景图像以及基于对应于第二全景图像的立体深度确定的不连续性
。
[0005]第一网格表示的生成可以包括基于第一目标位置将第一网格表示渲染为第一
360
度全景图，第二网格表示的生成可以包括基于第二目标位置将第二网格表示渲染为第一
360
度全景图，并且第一目标位置和第二目标位置可以是基于在第一全景图像和第二全景图像的捕获之间的时间间隔
。
第三全景图像的合成可以包括将第一网格表示与第二网格表示融合在一起，消解第一网格表示与第二网格表示之间的模糊性，以及修复
(inpaint)
所合成的第三全景图像中的孔
。
第三全景图像的合成可以包括生成二元可见性掩码以识别孔，基于对应于第一全景图像的立体深度中的负区域的第一网格表示，并且基于对应于第二全景图像的立体深度中的负区域的第二网格表示
。
第三全景图像的合成可以包括使用经训练的神经网络，并且经训练的神经网络可以在每个卷积层处使用循环填充，以接合第三全景图像的左边缘和右边缘
。
附图说明
[0006]示例实施例根据下文给出的具体实施方式和附图将更充分地得到理解，其中相同的附图标记表示相同的元件，这些附图标记仅通过例释的方式给出并且因此不限制示例实施例，并且其中：
[0007]图
1A
图示全景图像捕获序列
。
[0008]图
1B
图示基于所捕获的全景图像的
360
度视频的一部分
。
[0009]图
1C
图示根据示例实施例的全景图像合成流的框图
。
[0010]图2图示根据示例实施例的全景图像合成流的框图
。
[0011]图3图示根据示例实施例的用于预测深度的流的框图
。
[0012]图
4A
图示根据示例实施例的
、
用于训练用于预测深度的模型的流的框图
。
[0013]图
4B
图示根据示例实施例的
、
用于训练用于全景图像融合的模型的流的框图
。
[0014]图5图示根据示例实施例的
、
用于生成全景图像序列的方法的框图
。
[0015]图6图示根据示例实施例的
、
用于合成全景图像的方法的框图
。
[0016]图7图示根据示例实施例的
、
用于预测深度的方法的框图
。
[0017]图8图示根据示例实施例的
、
用于训练用于预测深度的模型的方法的框图
。
[0018]图9图示根据示例实施例的
、
用于训练用于全景图像融合的模型的方法的框图
。
[0019]图
10
图示根据至少一个示例实施例的计算系统的框图
。
[0020]图
11
示出根据至少一个示例实施例的计算机设备和移动计算机设备的示例
。
[0021]应当注意，这些图旨在说明在某些示例实施例中使用的方法
、
结构和
/
或材料的一般特性并且补充以下提供的书面描述
。
然而，这些图不是按比例绘制的，并且可能不能精确地反映任何给定实施例的精确结构或性能特性，并且不应被解释为限定或限制由示例实施例所涵盖的值或属性的范围
。
例如，为了清楚起见，可以减小或夸大分子
、
层
、
区域和
/
或结构元件的相对厚度和定位
。
在各种附图中使用类似或相同附图标记旨在指示类似或相同元件或特征的存在
。
具体实施方式
[0022]能够显示
360
度图像
、
图像序列
、
视频等的
360
度相机和显示器
(
例如，虚拟现实头戴装置
)
的最新进展促进了游客
、
租客
、
摄影师等在计算平台上捕获或探索
360
度图像的兴趣
。
这些平台通过在全景图之间进行插值可以允许用户虚拟地穿过城市
、
预览平面布置图等
(
例如，室内环境和室外环境
)。
[0023]然而，现有的方案缺乏从一个视图到下一个视图
(
例如，从第一全景图像到第二全景图像
)
的视觉连续性，并且遭受由具有不准确几何形状的扭曲引起的重影伪影
(ghosting artifact)。
用于透视图像
、
单个图像和立体全景图对的视图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种方法，包括：预测与第一全景图像和第二全景图像相关联的立体深度，所述第一全景图像和所述第二全景图像是在所述第一全景图像和所述第二全景图像的捕获之间具有时间间隔的情况下捕获的；基于所述第一全景图像和与所述第一全景图像相对应的立体深度来生成第一网格表示；基于所述第二全景图像和与所述第二全景图像相对应的立体深度来生成第二网格表示；以及基于将所述第一网格表示与所述第二网格表示融合来合成第三全景图像
。2.
根据权利要求1所述的方法，其中，所述第一全景图像和所述第二全景图像是
360
度宽基线等矩形投影
(ERP)
全景图
。3.
根据权利要求1所述的方法，其中，所述立体深度的所述预测基于所述第一全景图像和所述第二全景图像以及至少一个目标位置使用球形扫描代价体积来估计所述第一全景图像和所述第二全景图像中的每一个的深度
。4.
根据权利要求1所述的方法，其中，所述立体深度的所述预测基于与所述第一全景图像和所述第二全景图像相关联的第一特征图来估计低分辨率深度，并且所述立体深度的所述预测基于所述第一特征图和与所述第一全景图像相关联的第二特征图来估计高分辨率深度
。5.
根据权利要求1所述的方法，其中，所述第一网格表示的所述生成是基于：所述第一全景图像以及基于与所述第一全景图像相对应的立体深度来确定的不连续性，并且所述第二网格表示的所述生成是基于：所述第二全景图像以及基于与所述第二全景图像相对应的立体深度来确定的不连续性
。6.
根据权利要求1所述的方法，其中，所述第一网格表示的所述生成包括：基于第一目标位置来将所述第一网格表示渲染为第一
360
度全景图，所述第二网格表示的所述生成包括：基于第二目标位置来将所述第二网格表示渲染为第一
360
度全景图，并且所述第一目标位置和所述第二目标位置是基于在所述第一全景图像和所述第二全景图像的所述捕获之间的所述时间间隔
。7.
根据权利要求1所述的方法，其中，所述第三全景图像的所述合成包括：将所述第一网格表示与所述第二网格表示融合在一起，消解所述第一网格表示与所述第二网格表示之间的模糊性，以及修复所合成的第三全景图像中的孔
。8.
根据权利要求1所述的方法，其中，所述第三全景图像的所述合成包括：生成二元可见性掩码以识别孔，基于与所述第一全景图像相对应的立体深度中的负区域的所述第一网格表示，并且基于与所述第二全景图像相对应的立体深度中的负区域的所述第二网格表
示
。9.
根据权利要求1所述的方法，其中，所述第三全景图像的所述合成包括使用经训练的神经网络，并且所述经训练的神经网络在每个卷积层处使用循环填充，以接合所述第三全景图像的左边缘和右边缘
。10.
一种系统，包括：深度预测器，所述深度预测器被配置成预测与第一全景图像和第二全景图像相关联的立体深度，所述第一全景图像和所述第二全景图像是在所述第一全景图像和所述第二全景图像的捕获之间具有时间间隔的情况下捕获的；第一差分网格渲染器，所述第一差分网格渲染器被配置成基于所述第一全景图像和与所述第一全景图像相对应的立体深度来生成第一网格表示；第二差分网格渲染器，所述第二差分网格渲染器被配置成基于所述第二全景图像和与所述第二全景图像相对应的立体深度来生成第二网格表示；以及融合网络，所述融合网络被配置成基于将所述第一网格表示与所述第二网格表示融合来合成第三全景图像
。11.
根据权利要求
10
所述的系统，其中，所述第一全景图像和所述第二全景图像是
360
度宽基线等矩形投影
(E...

【专利技术属性】
技术研发人员：杜若飞，大卫，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：