从中间视图生成有效画布视图的方法和系统技术方案

一种画布生成系统，基于描绘场景的一组原相机视图生成场景的画布视图，来例如重新创建虚拟现实场景。可基于从一组原相机视图生成的一组合成视图生成画布视图。例如，可通过基于多个原相机视图上的光流来移位并且混合相关的原相机视图而生成合成视图。可使用分别优化相机视图中的每个像素的光流矢量并且将光流的变化传播至相邻的光流矢量的迭代方法生成光流。

【技术实现步骤摘要】
【国外来华专利技术】从中间视图生成有效画布视图
技术介绍
本公开整体涉及虚拟现实耳机的画布视图的生成，并且更具体地，涉及来自通过相机捕获的图像的画布视图生成。画布视图代表了重新创建虚拟现实场景的全景宽角度视图，并且能与其他画布视图配对而给出场景的3D立体效果。关于画布视图生成的现有技术操作缓慢，例如，要求来自用户的手动缝合或其他输入，并且当处理诸如相机视图之间的不同亮度或色彩等源相机视图的差异时，现有技术会遇到问题。
技术实现思路
本专利技术的实施方式能基于描绘例如通过图像捕获系统中的相机捕获的场景和描绘通过多个相机捕获的场景的一组原相机视图或图像来生成场景的画布视图。基于合成的位置将画布视图中的每个区域与合成视图的区域相关联的第一映射和将相机视图的区域与合成视图的区域相关联的第二映射能生成画布视图。能够对生成的映射进行组合，以生成将画布视图中的每个区域与该组相机视图中的一个或多个相机视图的区域相关联的组合映射，然后，对相机视图应用组合映射，以生成画布视图。例如，基于代表共享一个或多个共同对象的场景的图像的第一相机视图和第二相机视图能生成合成视图。使用第一相机视图与第二相机视图之间的光流关联像素能将第一相机视图与第二相机视图关联起来。基于光流，第一相机视图与第二相机视图能“移位”至各自接近所希望的合成视图。然后，一起混合或均化合成视图的两个近似值(即，像素色彩值)，以生成合成视图。在合成视图的生成过程中，能使用关联多个相机视图上的对应点的光流。例如，光流能关联表示为一组光流矢量(各自关联两个或多个对应的像素)的相机视图之间的像素。例如，基于分别优化相机视图中的每个像素的光流矢量的迭代方法能生成光流。例如，通过针对每个像素生成一组光流提议、基于改善光流的优化的该组光流提议中的一光流提议分析每个光流提议并且更新光流。在一些实现方式中，能够将光流矢量的变化传播至相邻的光流矢量。具体地，面向一种方法、系统、存储介质、以及计算机程序产品的所附权利要求书中公开了根据本专利技术的实施方式，其中，也能在另一权利要求类别(例如，系统)中要求保护在一个权利要求类别(例如，方法)中提及的任意特征。仅出于形式原因选择所附权利要求中的从属性或向后引用。然而，也能够要求保护从专门向后引用任意之前权利要求(具体地，多个从权)而产生的任意主题，因此，无论所附权利要求中选择的从属性如何，能够公开并且要求保护权利要求与其特征的任意组合。能够要求保护的主题不仅包括所附权利要求中阐述的特征的组合，而且还包括权利要求中的特征的任意其他组合，其中，权利要求中提及的各个特征能与权利要求中的任意其他特征或其他特征的组合进行组合。进一步地，能够在单独权利要求中要求保护和/或在与此处描述或描写的任意实施方式或特征或者与所附权利要求的任意特征的任意组合中要求保护此处描述或描写的任意实施方式和特征。在根据本专利技术的实施方式中，一种方法，可以包括：在画布视图生成系统处接收描绘通过多个相机捕获的场景的、与捕获相机视图时的相机视图位置相关联的一组相机视图；针对场景的画布视图识别描述一定角度范围的场景的一组画布视图区域，该组区域中的每个区域与角度范围内的一角度相关联；对于该组区域中的每个画布视图区域：基于角度确定区域的合成视图位置；生成将画布视图区域与和合成视图位置相关联的合成视图的合成视图区域相关联的第一映射；生成将该组相机视图中的多个相机视图的区域与合成视图区域相关联的第二映射；将第一映射与该组第二映射组合，以生成将画布视图的画布视图区域与该组相机视图中的一个或多个相机视图的区域相关联的组合映射；并且应用组合映射，以生成画布视图区域的画布视图。可以基于与该相机视图的组中的点相关联的光流矢量场生成第二映射。在根据本专利技术的实施方式中，一种方法，可以包括：基于合成视图位置和该组相机视图计算一组光流矢量场。画布视图可以是场景的360度全景或球形全景图像。可以以立方体贴图、等距长方、或圆柱格式输出画布视图。在根据本专利技术的实施方式中，一种方法，可以包括：确定该组区域中的每个画布视图区域的画布视点，并且其中，一区域的合成视图位置基于该区域的画布视点。可以基于从一区域的画布视点至场景中的零视差距离的视线来确定该区域的合成视图位置。每个画布视图区域可以近似画布视图区域的画布视点处的光信息。该组相机视图中的每个相机视图可以与该组相机视图中的至少另一个相机视图重叠。在根据本专利技术的实施方式中，一种方法，可以包括：将画布视图发送至客户端虚拟现实设备进行显示。每个画布视图区域可以是一垂直列的像素。在根据本专利技术的实施方式中，一种系统，可以包括：输入模块，被配置为接收描绘通过多个相机捕获的场景的、与捕获相机视图时的相机视图位置相关联的一组相机视图；光信息近似模块，被配置为：针对场景的画布视图识别描绘一定角度范围的场景的一组画布视图区域，该组区域中的每个区域与角度范围内的一角度相关联；并且对于该组区域中的每个画布视图区域：基于角度确定区域的合成视图位置；生成将画布视图区域与和合成视图位置相关联的合成视图的合成视图区域相关联的第一映射；生成将该组相机视图中的多个相机视图的区域与合成视图区域相关联的第二映射；将第一映射与该组第二映射组合，以生成将画布视图的画布视图区域与该组相机视图中的一个或多个相机视图区域相关联的组合映射；并且应用组合映射，以生成画布视图区域的画布视图。可以基于与该相机视图的组中的点相关联的光流矢量场生成第二映射。在根据本专利技术的实施方式中，一种系统，可以包括：基于合成视图位置和该组相机视图计算一组光流矢量场。画布视图可以是场景的360度全景或球形全景图像。光信息近似模块可以被配置为：确定该组区域中的每个画布视图区域的画布视点，并且其中，一区域的合成视图位置基于该区域的画布视点。可以基于从一区域的画布视点至场景中的零视差距离的视线来确定该区域的合成视图位置。每个画布视图区域可以近似于画布视图区域的画布视点处的光信息。该组相机视图中的每个相机视图可以与该组相机视图中的至少另一个相机视图重叠。在根据本专利技术的实施方式中，一种系统，可以包括：将画布视图发送至客户端虚拟现实设备进行显示。在根据本专利技术的实施方式中，一个或多个计算机可读非易失性存储介质可以涵盖被运行时可操作为执行根据本专利技术或任意上述所述实施方式的方法的软件。在根据本专利技术的实施方式中，一种系统，可以包括：一个或多个处理器；和至少一个存储器，耦合至处理器并且包括通过处理器运行的指令，当运行指令时，处理器可操作为执行根据本专利技术或任意上述所述实施方式的方法。在根据本专利技术的实施方式中，一种计算机程序产品，优选地包括计算机可读非易失性存储介质，当在数据处理系统上运行时，可以操作为执行根据本专利技术或任意上述所述实施方式的方法。附图说明图1是根据本专利技术的实施方式的画布生成系统操作的系统环境的框图。图2是根据本专利技术的实施方式的画布生成系统的框图。图3是示出根据一些实施方式的示例性图像捕获系统的构造的线图。图4是示出根据一些实施方式的示例性画布生成系统中的合成相机的使用的线图。图5a是示出根据一些实施方式的基于左相机视图和右相机视图的示例性合成视图的生成的线图。图5b是示出根据一些实施方式的示例性相机视图和示例性合成视图的线图。图6是示出根据一些实施方式的从示例性相机视图生成本文档来自技高网...

【技术保护点】
1.一种方法，包括：在画布视图生成系统处接收描绘通过多个相机捕获的场景的、与捕获相机视图时的相机视图位置相关联的相机视图的组；针对所述场景的画布视图识别描绘一定角度范围的所述场景的画布视图区域的组，所述区域的组中的每个区域与角度范围内的一角度相关联；对于所述区域的组中的每个画布视图区域：基于所述角度确定所述区域的合成视图位置；生成将所述画布视图区域与和所述合成视图位置相关联的合成视图的合成视图区域相关联的第一映射；生成将所述相机视图的组中的多个相机视图的区域与所述合成视图区域相关联的第二映射；将所述第一映射与所述第二映射的组相组合，以生成将所述画布视图的所述画布视图区域与所述相机视图的组中的一个或多个相机视图的区域相关联的组合映射；并且应用所述组合映射，以生成所述画布视图区域的所述画布视图。

【技术特征摘要】
【国外来华专利技术】2016.04.06 US 62/319,074;2016.04.11 US 15/096,1691.一种方法，包括：在画布视图生成系统处接收描绘通过多个相机捕获的场景的、与捕获相机视图时的相机视图位置相关联的相机视图的组；针对所述场景的画布视图识别描绘一定角度范围的所述场景的画布视图区域的组，所述区域的组中的每个区域与角度范围内的一角度相关联；对于所述区域的组中的每个画布视图区域：基于所述角度确定所述区域的合成视图位置；生成将所述画布视图区域与和所述合成视图位置相关联的合成视图的合成视图区域相关联的第一映射；生成将所述相机视图的组中的多个相机视图的区域与所述合成视图区域相关联的第二映射；将所述第一映射与所述第二映射的组相组合，以生成将所述画布视图的所述画布视图区域与所述相机视图的组中的一个或多个相机视图的区域相关联的组合映射；并且应用所述组合映射，以生成所述画布视图区域的所述画布视图。2.根据权利要求1所述的方法，其中，基于与所述相机视图的组中的点相关联的光流矢量场生成所述第二映射。3.根据权利要求2所述的方法，进一步包括：基于所述合成视图位置和所述相机视图的组计算光流矢量场的组。4.根据权利要求1所述的方法，其中，所述画布视图是所述场景的360度全景或球形全景图像。5.根据权利要求1所述的方法，其中，以立方体贴图、等距长方、或圆柱格式输出所述画布视图。6.根据权利要求1所述的方法，进一步包括：确定所述区域的组中的每个画布视图区域的画布视点，并且其中，一区域的所述合成视图位置基于该区域的所述画布视点。7.根据权利要求6所述的方法，其中，基于从一区域的所述画布视点至所述场景中的零视差距离的视线来确定该区域的所述合成视图位置。8.根据权利要求6所述的方法，其中，每个画布视图区域近似所述画布视图区域的所述画布视点处的光信息。9.根据权利要求1所述的方法，其中，所述相机视图的组中的每个相机视图与所述相机视图的组中的至少另一个相机视图重叠。10.根据权利要求1所述的方法，进一步包括：将所述画布视图发送至客户端虚拟现实设备进行显示。11.根据权利要求1所述的方法，其中，每个画布视图区域是一垂直列的像素。12.一种系统，包括：输入模块，被配置为接收描绘通过多个相机捕获的场景的、与捕获相机视图时的相机视图位置相关联的相机视图的组；光信息近似模块，被配置为：针对所述场景的画布视图识别描绘一定角度范围的所述场景的画布视图区域的组，所述区域的组中的每个区域与角度范围内的一角度相关联；并且对于所述区域的组中的每个画布视图区域：基于所述角度确定所述区域的合成视图位置；生成将所述画布视图区域与和所述合成视图位置相关联的合成视图的合成视图区域相关联的第一映射；生成将所述相机视图的组中的多个相机视图的区域与所述合成视图区域相关联的第二映射；将所述第一映射与所述第二映射的组相组合，以生成将所述画布视图的所述画布视图区域与所述相机视图的组中的一个或多个相机视图的区域相关联的组合映射；并且应用所述组合映射，以生成所述画布视图区域的所述画布视图。13.根据权利要求12所述的系统，其中，基于与所述相机视图的组中的点相关联的光流矢量场生成所述第二映射。14.根据权利要求12所述的系统，进一步包括：基于所述合成视图位置和所述相机视图的组计算光流矢量场的组。15.根据权利要求12所述的系统，其中，所述画布视图是所述场景的360度全景或球形全景图像。16.根据权利要求12所述的系统，其中，所述光信息近似模块被进一步配置为：确定所述区域的组中的每个画布视图区域的画布视点，并且其中，一区域的所述合成视图位置基于该区域的所述画布视点。17.根据权利要求16所述的系统，其中，基于从一区域的所述画布视点至所述场景中的零视差距离的视线来确定该区域的所述合成视图位置。18.根据权利要求16所述的系统，其中，每个画布视图区域近似所述画布视图区域的所述画布视点处的光信息。19.根据权利要求12所述的系统，其中，所述相机视图的组中的每个相机视图与所述相机视图的组中的至少另一个相机视图重叠。20.根据权利要求12所...

【专利技术属性】
技术研发人员：布赖恩·基思·卡布拉尔，福里斯特·塞缪尔·布里格斯，艾伯特·帕拉·波索，皮特·瓦伊达，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国,US