使用光流生成中间视图制造技术

画布生成系统基于描述场景的一组原始相机视图生成场景的画布视图，例如，以便在虚拟现实中重新创建场景。可以基于从一组原始相机视图生成的一组合成视图生成画布视图。例如，可以基于多个原始相机视图上的光流通过偏移和混合相关原始相机视图生成合成视图。可以使用迭代方法生成光流，该迭代方法独立优化用于相机视图的每个像素的光流矢量并且将光流中的变化传播至相邻的光流矢量。

Using Optical Flow to Generate Intermediate Views

A canvas generation system generates a canvas view of a scene based on a set of original camera views describing the scene, for example, to recreate the scene in virtual reality. Canvas views can be generated based on a set of composite views generated from a set of original camera views. For example, a composite view can be generated based on optical flow over multiple original camera views by offset and mixing related original camera views. An iterative method can be used to generate optical flow, which optimizes the optical flow vectors for each pixel of the camera view independently and propagates the changes in the optical flow to the adjacent optical flow vectors.

【技术实现步骤摘要】
【国外来华专利技术】使用光流生成中间视图
技术介绍
本公开内容总体涉及为虚拟现实耳机生成画布视图，并且更具体地，涉及从通过相机捕获的图像生成画布视图。画布视图表示在虚拟现实中重新创建场景的全景广角视图，并且可以与其他画布视图匹配以给出该场景的3D立体效果。用于画布视图生成的现有技术可以缓慢操作，例如，需要用户手动缝合或者其他输入，并且当处理源相机视图中的误差时可能遇到问题，诸如，相机视图之间不同的亮度或颜色。
技术实现思路
本专利技术的实施方式可以基于描述例如通过图像捕获系统的相机捕获的场景并且描述通过多个相机捕获的场景的一组原始相机视图或图像来生成场景的画布视图。可以基于使画布视图的每个区域与基于合成位置的合成视图的区域相关联的第一映射以及使相机视图的区域与合成视图的区域相关联的第二映射生成画布视图。可以结合生成的映射以生成使画布视图的每个区域与一组相机视图的一个或多个相机视图的区域相关联的结合的映射，然后可以应用于相机视图以生成画布视图。例如，可以基于表示一个或多个共有对象共享的场景的图像的第一和第二相机视图生成合成视图。使第一和第二相机视图之间的像素相关联的光流可用于使第一和第二相机视图有关。基于该光流，第一和第二相机视图可以“偏移”为各自近似期望的合成视图。然后可以将合成视图的这两个近似一起混合或平均(即，像素色值)以生成合成视图。在合成视图的生成期间，可以使用光流使多个相机视图上的对应点相关联。例如，光流可以使表示为各自使两个或更多个对应像素相关联的一组光流矢量的相机视图之间的像素相关联。例如，可以基于迭代方法生成光流，该迭代方法独立优化用于相机视图的每个像素的光流矢量。例如，通过生成用于每个像素的一组光流建议，分析每个光流建议并且基于改善光流的最优化的该组光流建议的光流建议更新用于每个像素的光流。在一些实现过程中，可以将光流矢量的变化传播至相邻的光流矢量。根据本专利技术的实施方式具体公开在所附权利要求中，其中，在一个权利要求类别(例如，方法)中提到的任何特征也可以在另一个权利要求类别(例如，系统)中要求保护。仅为了形式原因，选择所附权利要求中的从属权利要求、后向引证或交叉引证。然而，也可以被要求保护故意后向引证对任何上述权利要求(具体地，多个从属权利要求)导致的任何主题内容，以便权利要求及其特征的任何组合被公开并且不管在所附权利要求中选择的从属权利要求都可以要求保护。可以要求的主题不仅包括所附权利要求中阐述的特征的组合，而且还包括权利要求中的特征的任何其他组合，其中，权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文中描述或描绘的任何实施方式和特征可以在单独权利要求中和/或与本文中描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的任何组合中要求保护。在实施方式中，可提供计算机实现方法，该方法包括：接收第一相机视图和第二相机视图，每个相机视图表示通过相机捕获并且与位置相关联的图像，相机视图是从该位置捕获的；对于位于与第一相机视图相关联的位置和与第二相机视图相关联的位置之间的合成视图识别合成视图位置；基于合成视图位置将第一相机视图相对于与第一相机视图相关联的位置偏移为第一合成视图；基于合成视图位置将第二相机视图相对于与第二相机视图相关联的位置偏移为第二合成视图；并且混合第一合成视图和第二合成视图以形成合成视图。在实施方式中，将第一相机视图偏移为第一合成视图可包括基于矢量位移场偏移第一相机视图。在实施方式中，矢量位移场可确定偏移第一相机视图的每个区域的量值和/或方向。在实施方式中，基于矢量位移场偏移第一相机视图可包括基于第一相机视图的位置与合成视图位置的相对距离成比例地偏移第一相机视图。在实施方式中，矢量位移场可以是使第一相机视图和第二相机视图之间的对应像素相关联的光流。在实施方式中，该方法可进一步包括对于第一相机视图和第二相机视图计算光流的步骤；在实施方式中，该方法可进一步包括从捕获第一和第二相机视图的图像捕获系统接收第一和第二相机视图的步骤。在实施方式中，第一和第二相机视图中的每一个可描述这两个相机视图共有的一个或多个对象。在实施方式中，混合第一和第二合成视图可进一步包括基于第一和第二相机视图的位置中的每一个与合成视图位置的相对距离加权第一和第二相机视图。在实施方式中，合成视图可以是描述第一和第二相机视图的选择区域的部分合成视图。在实施方式中，合成视图可以是将合成视图的每个像素描述为第一和第二相机视图中的一个或多个像素的结合的合成视图映射。在实施方式中，可以提供一种系统，该系统包括：输入模块，被配置为接收第一相机视图和第二相机视图，每个相机视图表示通过相机捕获并且与位置相关联的图像，相机视图是从该位置捕获的；新视图生成模块，被配置为：对于位于与第一相机视图相关联的位置和与第二相机视图相关联的位置之间的合成视图识别合成视图位置；基于合成视图位置将第一相机视图相对于与第一相机视图相关联的位置偏移为第一合成视图；基于合成视图位置将第二相机视图相对于与第二相机视图相关联的位置偏移为第二合成视图；并且混合第一合成视图和第二合成视图以形成合成视图。在系统的实施方式中，该系统，具体地，新视图生成模块或任何处理器可包括具体地存储计算机可执行指令，当在该系统的数据处理系统上执行时，该指令使得该系统执行包括本文中描述的方法的步骤的方法。在实施方式中，可以提供计算机程序产品，该计算机程序产品包括具体存储在非易失性存储器上的计算机可执行指令，当在数据处理部件或系统具体处理器上执行时，该指令使得数据处理部件或系统执行包括本文中描述的方法的步骤的方法。附图说明图1是根据本专利技术的实施方式的其中画布生成系统操作的系统环境的框图。图2是根据本专利技术的实施方式的画布生成系统的框图。图3是示出了根据一些实施方式的示例性图像捕获系统的构造的线图。图4是示出了根据一些实施方式的在示例性画布生成系统中使用合成相机的线图。图5a是示出了根据一些实施方式的基于左相机视图和右相机视图生成示例性合成视图的线图。图5b是示出了根据一些实施方式的示例性相机视图和示例性合成视图的线图。图6是示出了根据一些实施方式的从示例性相机视图生成示例性合成视图的详细实例的线图。图7是示出了根据实施方式的用于从输入相机视图生成合成视图的过程的流程图。图8是示出了根据一些实施方式的示例性相机视图之间的光流矢量的线图。图9是示出了根据一些实施方式的用于计算两个相机视图之间的光流的示例性过程的流程图。图10是示出了根据一些实施方式的多个对象和示例性图像捕获系统的线图。图11是示出了根据一些实施方式的示例性画布视图的线图。图12是示出了根据实施方式的改变对象的视图上的瞳间距离的效果的线图。图13是示出了根据一个实施方式的用于基于相机视图计算画布视图的示例性过程的线图。图14是示出了根据一个实施方式的用于基于相机视图计算画布视图的第二示例性过程的线图。图15是示出了根据一个实施方式的用于基于相机视图计算画布视图的过程的流程图。附图仅出于说明性的目的描述了本专利技术的各种实施方式。本领域技术人员从下列讨论中容易认识到，在不偏离本文中描述的本专利技术的原理的情况下，可以采用本文中示出的结构和方法的可替换的实施方式。具体实施方式系统结构图1是根据本专利技术的实施方式的本文档来自技高网...

【技术保护点】
1.一种方法，包括：接收第一相机视图和第二相机视图，每个相机视图表示通过相机捕获并且与位置相关联的图像，所述相机视图是从所述位置捕获的；对于位于与所述第一相机视图相关联的位置和与所述第二相机视图相关联的位置之间的合成视图识别合成视图位置；基于所述合成视图位置将所述第一相机视图相对于与所述第一相机视图相关联的位置偏移为第一合成视图；基于所述合成视图位置将所述第二相机视图相对于与所述第二相机视图相关联的位置偏移为第二合成视图；并且混合所述第一合成视图和所述第二合成视图以形成合成视图。

【技术特征摘要】
【国外来华专利技术】2016.04.06 US 62/319,074;2016.04.11 US 15/096,1651.一种方法，包括：接收第一相机视图和第二相机视图，每个相机视图表示通过相机捕获并且与位置相关联的图像，所述相机视图是从所述位置捕获的；对于位于与所述第一相机视图相关联的位置和与所述第二相机视图相关联的位置之间的合成视图识别合成视图位置；基于所述合成视图位置将所述第一相机视图相对于与所述第一相机视图相关联的位置偏移为第一合成视图；基于所述合成视图位置将所述第二相机视图相对于与所述第二相机视图相关联的位置偏移为第二合成视图；并且混合所述第一合成视图和所述第二合成视图以形成合成视图。2.根据权利要求1所述的方法，其中，将所述第一相机视图偏移为第一合成视图包括基于确定偏移所述第一相机视图的每个区域的量值和方向的矢量位移场偏移所述第一相机视图。3.根据权利要求2所述的方法，其中，基于矢量位移场偏移所述第一相机视图包括基于所述第一相机视图的位置与所述合成视图位置的相对距离成比例地偏移所述第一相机视图。4.根据权利要求3所述的方法，其中，所述矢量位移场是使所述第一相机视图和所述第二相机视图之间的对应像素相关联的光流。5.根据权利要求4所述的方法，进一步包括对于所述第一相机视图和所述第二相机视图计算光流。6.根据权利要求1所述的方法，其中，从捕获所述第一相机视图和所述第二相机视图的图像捕获系统接收所述第一相机视图和所述第二相机视图。7.根据权利要求1所述的方法，其中，所述第一相机视图和所述第二相机视图各自描述这两个相机视图共有的一个或多个对象。8.根据权利要求1所述的方法，其中，混合所述第一合成视图和所述第二合成视图进一步包括基于所述第一相机视图和所述第二相机视图的位置中的每一个与所述合成视图位置的相对距离加权所述第一相机视图和所述第二相机视图。9.根据权利要求1所述的方法，其中，所述合成视图是描述所述第一相机视图和所述第二相机视图的选择的区域的部分合成视图。10.根据权利要求1所述的方法，其中，所述合成视图是将所述合成视图的每个像素描述为所述第一相机视图和所述第二相机视图中的一个或多个像素的结合的合成视图映射。11.一种系统，包括：输入模块，被配置为接收第一相机视图和第二相机视图，每个相机视图表示通过相机捕获并且与位置相关联的图像，所述相机视图是从所述位置捕获的；新视图生成模块，被配置为：对于位于与所述第一相机视图相关联的位置和与所述第二相机视图相关联的位置之间的合成视图识别合成视图位置；基于所述合成视图位置将所述第一相机视图相对于与所述第一相机视图相关联的位置偏移为第一合成视图；基于所述合成视图位置将所述第二相机视图相对于与所述第二相机视图相关联的位置偏移为第二合成视图；并且混合所述第一合成视图和所述第二合成视图以形成合成视图。12.根据权利要求11所述的系统，其中，将所述第一相机视图偏移为第一合成视图包括基于确定偏移所述第一相机视图的每个区域的量值和方向的矢量位移场偏移所述第一相机视图。13.根据权利要求12所述的系统，其中，基于矢量位移场偏移所述第一相机视图包括基于所述第一相机视图的位置与所述合成视图位置的相对距离成比例地偏移所述第一相机视图。14.根据权利要求13所述的系统，其中，所述矢量位移场是使所述第一相机视图和所述第二相机视图之间的对应像素相关联的光流。15.根据权利要求14所述的系统，其中，所述新视图生成模块进一步被配置为对于所述第一相机视图和所述第二相机视图计算光流。16.根据权利要求11所述的系统，其中，所述第一相机视图和所述第二相机视图是从捕获所述第一相机视图和所述第二相机视图的图像捕获系统接收的。17.根据权利要求11所述的系统，其中...

【专利技术属性】
技术研发人员：布里安·基思·卡布拉尔，福里斯特·塞缪尔·布里格斯，阿尔贝特·帕拉·波索，皮特·瓦伊达，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国,US