使用相机的平面阵列的沉浸式观看制造技术

本公开涉及使用相机的平面阵列的沉浸式观看。论述了与从多视图图像生成虚拟视图以呈现给观看者有关的技术。这种技术包括基于相对于显示区域的观看者位置确定平面图像的第一和第二裁剪位置并且利用第一和第二裁剪位置将平面图像裁剪成裁剪后平面图像以填充显示区域，从而使得第一和第二裁剪位置定义裁剪后平面图像和与显示区域相对应的虚拟窗口之间的非对称截锥体。

【技术实现步骤摘要】
使用相机的平面阵列的沉浸式观看
本公开大体地涉及图像处理领域，具体地涉及使用相机的平面阵列的沉浸式观看。
技术介绍
诸如两个或更多个线状排列的相机之类的相机的阵列在诸如平板设备、智能电话设备、膝上型设备、显示设备、远程呈现系统和电影摄制和视频制作系统之类的多种设备实现中正变得越来越常见。在由这种相机阵列生成的观看体验的情境中，相机之间的中间虚拟视图被生成并被提供给用户以便显示。用于合成这种中间视图的当前技术渲染在相机位置之间插补的视图。然而，这种视图在视觉上是不直观的并且用户感觉起来可能是人工的。例如，就好像由平面阵列中的虚拟相机提供的这种视图可能不对应于用户在透过由他们正在观看的显示器定义的窗口看时将会看到的东西。改进合成中间图像的视图以获得增强的用户体验，可能是有利的。正是考虑到这些和其他考虑事项，所以需要本改进。随着在相机阵列实现的情境中显示这种图像或视频的愿望变得更加普遍，这种改进可能变得至关重要。
技术实现思路
本公开的实施例提供了用于从多视图图像生成虚拟视图的系统。该系统包括：存储场景的多个平面图像的存储器以及与所述存储器耦合的处理器。该处理器：基于多个平面图像获得表现该场景的第一平面图像；基于相对于显示区域的观看者位置，确定第一平面图像的第一裁剪位置和第一平面图像的第二裁剪位置；基于第一裁剪位置和第二裁剪位置将第一平面图像裁剪成裁剪后平面图像以填充显示区域，其中第一裁剪位置和第二裁剪位置定义与表示显示区域的虚拟窗口相对应的第一平面图像的非对称截锥体(frustum)；并且提供裁剪后平面图像来呈现给观看者。另外，本公开的实施例提供了由上述系统执行的用于从多视图图像生成虚拟视图的方法，以及包括指令的计算机可读介质，所述指令当在计算设备上运行时使得该计算设备执行用于从多视图图像生成虚拟视图的方法。附图说明在附图中以示例方式而非限制方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，附图标记在附图之间被重复以指示出对应的或相似的元素。在附图中：图1图示了用于从多视图图像生成虚拟视图的示例情境；图2图示了用于从多视图图像生成虚拟视图的示例设备；图3图示了示范性平行相机和观看图像平面的示例平移后虚拟观看者位置；图4图示了从观看位置的示例非对称截锥体；图5图示了示例虚拟观看者位置和相应的用于将平面图像裁剪成裁剪后虚拟图像的相应示例裁剪位置；图6图示了用于虚拟观看者位置的示例相似三角形；图7图示了将示例平面图像裁剪成示例裁剪后虚拟图像的示例裁剪；图8图示了用于另一虚拟观看者位置的示例相似三角形；图9图示了示例虚拟窗口的边缘之外的示例虚拟观看者位置和相应的示例裁剪位置；图10A和10B分别图示了示例合成平面图像和示例裁剪后虚拟图像122；图11是图示出用于从多视图图像生成虚拟视图的示例过程的流程图；图12是用于从多视图图像生成虚拟视图的示例系统的示意图；图13是示例系统的示意图；并且图14图示了全都根据本公开的至少一些实现方式布置的示例设备。具体实施方式现在参考附图描述一个或多个实施例或实现方式。虽然论述了具体配置和布置，但应当理解这么做只是为了说明。相关领域的技术人员将认识到，在不脱离描述的精神和范围的情况下，可以采用其他配置和布置。相关领域的技术人员将会清楚，本文描述的技术和/或布置也可用在与本文所述不同的各种其他系统和应用中。虽然接下来的描述阐述了可在诸如片上系统(SoC)体系结构之类的体系结构中显现的各种实现方式，但本文描述的技术和/或布置的实现方式不限于特定的体系结构和/或计算系统，而是可由任何体系结构和/或计算系统为类似的目的而实现。例如，采用例如多个集成电路(IC)芯片和/或封装的各种体系结构和/或诸如机顶盒、智能电话等等之类的各种计算设备和/或消费电子(CE)设备可实现本文描述的技术和/或布置。另外，虽然接下来的描述可阐述许多具体细节，例如逻辑实现方式、系统组件的类型和相互关系、逻辑分区/集成选择等等，但要求保护的主题可在没有这种具体细节的情况下实现。在其他情况下，可能没有详细示出一些素材，例如控制结构和完整软件指令序列，以免模糊本文公开的素材。本文公开的素材可以用硬件、固件、软件或者其任何组合来实现。本文公开的素材也可实现为存储在机器可读介质上的指令，这些指令可被一个或多个处理器读取和执行。机器可读介质可包括用于以机器(例如计算设备)可读的形式存储或传输信息的任何介质和/或机构。例如，机器可读介质可包括只读存储器(ROM)；随机访问存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电的、光的、声的或其他形式的传播信号(例如，载波、红外信号、数字信号等等)，以及其他。说明书中提及“一个实现方式”、“一实现方式”、“一示例实现方式”等等指示的是所描述的实现方式可包括特定的特征、结构或特性，但可能不一定每个实施例都包括该特定特征、结构或特性。另外，这种短语不一定指同一实现方式。另外，当联系一实施例来描述特定的特征、结构或特性时，认为联系其他实现方式(无论本文是否明确描述)来实现这种特征、结构或特性是在本领域技术人员的知识范围内的。术语“基本上”、“接近”、“大致”、“近似”和“大约”一般指在目标值的+/-10％内。例如，除非在其使用的明确上下文中另有指明，否则术语“基本上等于”、“大约等于”和“大致等于”的意思是在这样描述的事物之间没有超过偶然的差异。在本领域中，这种差异通常不超过预定目标值的+/-10％。除非另有指明，否则使用序数形容词“第一”、“第二”和“第三”等等来描述共同对象只是表明相似对象的不同实例被引用，而并不打算暗示这样描述的对象必须在时间上、空间上、排名上或者以任何其他方式处于给定的序列中。本文描述的方法、设备、装置、计算平台和物品涉及从场景的多视图图像生成场景的虚拟视图。如上所述，改进合成中间图像的视图以获得增强的用户体验，可能是有利的。例如，为了对于观看由平面相机阵列创建的内容提供沉浸式体验，简单地渲染在相机位置之间插补的视图不会为人类观察者创建视觉上直观的体验。具体地，由平面阵列中的相机提供的具有对称截锥体的平行视图不对应于用户在透过由他们正在观看的显示器定义的窗口看时将会看到的东西。这是因为在距用户一定距离处的显示器的物理边界限制视野(fieldofview，FOV)并且对应于从同一视点看着该场景的视图的非对称截锥体。本文论述的技术为利用平面相机阵列捕获的内容提供了沉浸式体验。这种技术有利地提供了低处理要求和实时操作来向观看者提供交互式沉浸视觉体验。在一些实施例中，基于场景的多个平面图像获得表现该场景的第一平面图像。第一平面图像对应于相对于观看者正在观看的显示区域的观看者位置被平移到正在捕获或者捕获了场景的多个平面图像的图像捕获设备的坐标。第一平面图像本文档来自技高网...

【技术保护点】
1.一种用于从多视图图像生成虚拟视图的系统，包括：/n存储器，存储场景的多个平面图像；以及/n与所述存储器耦合的处理器，该处理器：/n基于所述多个平面图像获得表现所述场景的第一平面图像；/n基于相对于显示区域的观看者位置，确定所述第一平面图像的第一裁剪位置和所述第一平面图像的第二裁剪位置；/n基于所述第一裁剪位置和所述第二裁剪位置将所述第一平面图像裁剪成裁剪后平面图像以填充所述显示区域，其中所述第一裁剪位置和所述第二裁剪位置定义与表示所述显示区域的虚拟窗口相对应的所述第一平面图像的非对称截锥体；并且/n提供所述裁剪后平面图像来呈现给观看者。/n

【技术特征摘要】
20180924 US 16/139,8801.一种用于从多视图图像生成虚拟视图的系统，包括：
存储器，存储场景的多个平面图像；以及
与所述存储器耦合的处理器，该处理器：
基于所述多个平面图像获得表现所述场景的第一平面图像；
基于相对于显示区域的观看者位置，确定所述第一平面图像的第一裁剪位置和所述第一平面图像的第二裁剪位置；
基于所述第一裁剪位置和所述第二裁剪位置将所述第一平面图像裁剪成裁剪后平面图像以填充所述显示区域，其中所述第一裁剪位置和所述第二裁剪位置定义与表示所述显示区域的虚拟窗口相对应的所述第一平面图像的非对称截锥体；并且
提供所述裁剪后平面图像来呈现给观看者。


2.如权利要求1所述的系统，其中，所述第一裁剪位置在按如下比率的量离开所述第一平面图像的中点朝向所述第一平面图像的第一边缘的位置：与所述第一平面图像相对应的焦距和虚拟观看者位置从所述虚拟窗口的第一边缘起的横向位置的乘积与所述虚拟观看者位置距所述虚拟窗口的距离的比率，其中所述虚拟观看者位置对应于所述观看者位置。


3.如权利要求2所述的系统，其中，所述第一平面图像的第一边缘和所述虚拟窗口的第一边缘是对应的顶边缘、底边缘、左边缘或右边缘之一。


4.如权利要求2或3所述的系统，其中，所述第二裁剪位置在按如下比率的量离开所述第一平面图像的中点朝向所述第一平面图像的第二边缘的第二位置：所述焦距乘以所述虚拟窗口的宽度与所述虚拟观看者位置从所述虚拟窗口的第一边缘起的横向位置之间的差值的乘积与用户距所述虚拟窗口的距离的比率。


5.如权利要求2或3所述的系统，其中，所述第二裁剪位置在按如下比率的量离开所述第一平面图像的中点朝向所述第一平面图像的第一边缘的位置：所述焦距乘以所述虚拟观看者位置从所述虚拟窗口的第一边缘起的横向位置与所述虚拟窗口的宽度之间的差值的乘积与所述虚拟观看者位置距所述虚拟窗口的距离的比率。


6.如权利要求1到5中任一项所述的系统，其中，所述处理器在第一维度上在所述第一裁剪位置和所述第二裁剪位置裁剪所述第一平面图像并且基于所述显示区域的纵横比在第二维度上在第三裁剪位置和第四裁剪位置裁剪所述第一平面图像。


7.如权利要求1所述的系统，所述处理器还：
在观看者移动到第二观看者位置之后基于所述场景的第二多个平面图像获得表现所述场景的第二平面图像；并且
基于相对于所述显示区域的第二观看者位置，确定所述第二平面图像的第三裁剪位置和所述第二平面图像的第四裁剪位置，其中与所述观看者位置相对应的第一虚拟观看者位置在所述虚拟窗口的第一边缘和第二边缘之间并且与所述第二观看者位置相对应的第二虚拟观看者位置在所述虚拟窗口的第一边缘和第二边缘中的一者之外，并且其中所述第一裁剪位置和所述第二裁剪位置在所述第一平面图像的中点的相反侧并且所述第三裁剪位置和所述第四裁剪位置在所述第二平面图像的中点的同侧。


8.如权利要求1到7中任一项所述的系统，其中，所述多个平面图像包括经由相机阵列捕获的图像，其中所述观看者位置平移到所述相机阵列中的一个相机的图像捕获位置，并且其中所述第一平面图像包括多个捕获平面图像中相应的一个捕获平面图像。


9.如权利要求1到7中任一项所述的系统，其中，所述多个平面图像包括经由相机阵列捕获的图像，其中所述观看者位置平移到所述相机阵列的第一相机和第二相机之间的位置，并且其中所述处理器获得所述第一平面图像包括所述处理器通过以下方式来在分别与所述第一相机和所述第二相机相对应的第二平面图像和第三平面图像之间合成所述第一平面图像：基于所述第二平面图像和所述第三平面图像生成双向视差图并且基于所述双向视差图将所述第二平面图像和第三平面图像卷曲到所述第一平面图像。


10.如权利要求1到9中任一项所述的系统，其中，所述处理器提供所述裁剪后平面图像来呈现给所述观看者包括：所述处理器将所述裁剪后平面图像发送到具有包括所述显示区域的显示屏的接收设备。


11.如权利要求1到9中任一项所述的系统，其中所述处理器提供所述裁剪后平面图像来呈现给所述观看者包括：所述处理器将所述裁剪后平面图像发送到包括所述显示区域的显示屏。


12.一种用于从多视图图像生成虚拟视图的方法...

【专利技术属性】
技术研发人员：奥斯卡·内斯塔雷斯，卡帕娜·塞沙德里纳坦，弗拉丹·波波维奇，霍斯特·豪塞克，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US