呈现相机制造技术

公开了一种装置，该装置包括媒体接口，被配置为提供多个媒体流，使用至少一个相机阵列中的相机来捕获每个媒体流；输入接口，被配置为接收与输出装置相关联的装置位置；和处理器，被配置为从所述多个媒体流生成适应装置位置的输出流。

【技术实现步骤摘要】
【国外来华专利技术】呈现相机
本公开涉及媒体流的生成，其考虑到与输出装置有关的观看参数。特别地，本专利技术可以涉及包括相机阵列和用于渲染这种媒体流的个别输出装置的相机装置。
技术介绍
相机通常允许捕获具有或不具有音频数据的视频数据，该视频数据随后可以被显示在各自输出装置上。例如，摄像机可以捕获场景的视频，该场景可以被呈现在显示器或屏幕上，诸如在电视机上。然而，这种捕获的媒体通常以线性的方式被呈现给用户，并且不允许为该用户对已显示的媒体做进一步调整。为了提供更加沉浸式的体验，已经提出了提供甚至接近360°的大观看角度的相机系统。对于录制的影片，可以根据期望的方向或观看者正在观看的方向来选择录制的像素的子集，并且可以将所选择的子集扭曲为可用于用户的输出装置的正确的显示图像。因此，体验该录制的影片的用户可以朝各个方向看，这直接影响所显示的内容。提供录制内容的更加沉浸式的体验的其他方法涉及分别为观看者的双眼提供媒体流的立体相机系统，以便能够感知纵深并估计录制场景内的对象的距离。然而，录制媒体的呈现和对真实世界的感知之间仍然存在差异。因此，本公开的一个目的是能够生成和呈现更类似真实世界的感知的所捕获的媒体。
技术实现思路
上述问题通过根据独立权利要求的装置，相机装置，输出装置和方法来解决。优选实施例在从属权利要求中限定。根据本公开的一个方面，一种装置包括，媒体接口，被配置为提供多个媒体流，使用至少一个相机阵列中的相机来捕获每个媒体流；输入接口，被配置为接收与输出装置相关联的观看位置；和处理器，被配置为从该多个媒体流生成适应该观看位置的输出流。可以是本地装置或远程装置的，诸如服务器的媒体装置，使用多个媒体流来生成输出流，以便反映与输出装置相关联的当前观看位置，该当前观看位置可以由操作输出装置的用户或观看者明确地或隐含地设置。例如，用户可以移动自己和/或输出装置，并且输出流会适应该运动，使得运动视差被反映在输出流中。观看位置可以对应于装置位置。然而，观看位置也可以反映用户的位置、用户的头部的位置或用户的眼睛的位置。观看位置也可以基于用户相对于装置的位置来确定。人类和动物主动地使用运动视差，在运动视差中，移动头部来获得略微不同的视点，以便估计场景中物体的距离和深度。例如，当观看者移动时，观看前景物体并移动其头部的人会体验到前景物体的位置相对于背景偏移。即使在毫米级的非常小的头部位移的情况下，也可以清楚地注意到运动视差效应。要保持人的头部非常静止、运动视差效应完全消失是困难的。运动视差效应通常被人类和动物的视觉感知系统用作重建三维环境的进一步的信息源。因此，通过使输出流连续地适应当前观看位置，能够实现媒体的更加沉浸式的体验。多个媒体流由至少一个相机阵列的多个相机捕获。相机可以间隔开，使得它们可以从生成当前装置位置的输出流期间可以考虑的不同视点捕获场景。本领域的技术人员将理解，这不能通过单个相机来实现，即使该单个相机具有非常大的观看角度，因为这样的单个相机不能提供来自不同视点的媒体流，而这些不同视点则是反映观看位置的变化所需要的。由单台相机捕获的媒体可能只允许相对于观看朝向进行适应。根据本公开的媒体装置能够基于考虑到运动视差效应的观看位置来生成捕获场景的输出流，并由此生成捕获场景的逼真体验。媒体流可以包括具有或不具有音频的捕获的视频数据。因此，相机阵列可以包括用于声音获取的元件，该元件可以被布置在相控阵列中，以便确定所录制的声音的空间起源。在优选实施例中，该输入接口进一步配置为，接收与该输出装置相关联的观看朝向，并且该处理器被进一步配置为，生成适应该观看位置和该观看朝向的输出流。该至少一个相机阵列中的相机可以从不同视点捕获场景到单个媒体流中，并且该相机可以被进一步布置为覆盖大观看角度，这可以使观看者能够环顾四周，从不同的视角观看该捕获的场景以及四处移动，从不同的视点感知场景。这导致了在大观看角度和逼真运动视差的基础上的捕获内容的进一步改进的沉浸式体验。观看位置和观看朝向可以参考观看者身体的位置和朝向，观看者头部的位置和朝向，观看者眼睛的位置和朝向或甚至观看者单个眼睛的位置和朝向，这些位置和朝向可与输出装置的当前装置位置和装置朝向有关。例如，观看朝向可以能够确定观看者的双眼或单独每只眼睛的凝视，这种确定可以用于确定输出装置上的位置或者用户正在看的捕获场景内的位置，以便基于观看朝向进一步调节输出流的生成，诸如，应用中心渲染优化。这可以进一步使得输出流适应观看者的凝视。优选地，输出流可以被提供为立体流。立体流可以为观看者的左眼和右眼提供单独的输出数据。分别用于左眼和右眼的单独的流的分开可以通过硬件手段来实现，诸如为左眼和右眼使用单独的显示器，例如使用头戴式显示器，或者通过使用滤波技术，滤波技术中，用于左眼和右眼的两个流在显示装置上同时显示或以交错方式显示，并且这两个流通过单独的滤光器被滤光，诸如用于单个眼睛的滤色器或偏振滤光器，或通过使用快门眼镜等。此外，可以使用自动立体显示器。因此，用户可以体验到所捕获场景的完整的立体表现，并且可以通过改变输出装置的朝向和位置来进一步适应观看位置和观看朝向，例如，通过相对于他或她的头移动平板电脑，或者通过移动和转动头部来直接移动和转动诸如头戴式显示器或各自眼镜的附接到头部的装置。这导致了对捕获场景沉浸式的和逼真的体验，这体验中考虑到立体视觉，运动视差和大观看角度。分开的左眼流和右眼流可以从阵列中以适当距离间隔开的不同的单独的相机获得。优选地，至少一个相机阵列中的至少一些相机可以被配置为获取所捕获场景的深度信息。非限制性实例是飞行时间相机，结构化轻型相机，激光探测与测量扫描仪，雷达和声纳。这些相机可以以点云的形式提供场景的X，Y，Z信息。深度信息可能具有较低的分辨率。随后可以将获得的深度信息与使用来自至少一个相机阵列的视觉数据的例如立体视觉，三角测量，光流，SLAM等的深度确定算法相结合，以精确地构建场景的深度图。在又一个实施例中，为了生成输出流，处理器被配置为，基于观看位置和观看朝向来确定多个媒体流中的至少一个媒体流，并且基于确定的至少一个媒体流，使用观看位置和观看朝向来生成输出流。优选地，观看位置和观看朝向可以限定相对于输出装置的(观看)视角，并且可以根据该视角确定至少一个媒体流。例如，通过转动和移动他的头部，用户可以调节关于捕获场景的观看位置和观看朝向，从而限定不同的视角。可以考虑视角的参数，诸如观看位置，观看朝向和/或观看角度，以确定已经使用至少一个相机阵列中具有合适的视野或合适的相机视角的相机所捕获的多个媒体流中的至少一个媒体流，该合适的视野或合适的相机视角诸如是合适的相机位置，相机朝向和/或相机的观看角度中的至少一个。在优选实施例中，两个以上的媒体流被确定，并且根据观看位置和观看朝向，通过处理上述两个以上的媒体流来生成输出流。媒体流的处理可以包括对两个以上的媒体流进行扭曲(Warping)，拼接(Stitching)和内插(Interpolating)中的一种或多种。处理可以是基于输入流数据的更复杂的重建处理。例如，处理可以依赖于诸如拼接，扭曲，内插和外推(extrapolation)的标准图像重建技术的组合。例如，基于可用媒体流，在没有或有限(视觉)信息可用的区域可能需要外推，以便填充媒体数据本文档来自技高网...

【技术保护点】
一种装置，其特征在于，包括：媒体接口，被配置为提供多个媒体流，使用至少一个相机阵列中的相机来捕获每个媒体流；输入接口，被配置为接收与输出装置相关联的观看位置；和处理器，被配置为从所述多个媒体流生成适应所述观看位置的输出流。

【技术特征摘要】
【国外来华专利技术】2015.09.30 EP 15187627.3;2016.02.05 EP 16154501.71.一种装置，其特征在于，包括：媒体接口，被配置为提供多个媒体流，使用至少一个相机阵列中的相机来捕获每个媒体流；输入接口，被配置为接收与输出装置相关联的观看位置；和处理器，被配置为从所述多个媒体流生成适应所述观看位置的输出流。2.根据权利要求1所述的装置，其特征在于，所述输入接口进一步被配置为，接收与所述输出装置相关联的观看朝向，并且所述处理器被配置为生成适应所述观看位置和所述观看朝向的所述输出流。3.根据权利要求1或2所述的装置，其特征在于，为了生成所述输出流，所述处理器进一步被配置为，基于所述观看位置和所述观看朝向来确定所述多个媒体流中的至少一个媒体流，并且基于确定的所述至少一个媒体流，使用所述观看位置和所述观看朝向来生成所述输出流。4.根据前述权利要求中任一项所述的装置，其特征在于，每个相机阵列被配置为捕获场景，阵列中的每个相机被配置为根据相机参数捕获所述场景的至少一部分。5.根据前述权利要求中任一项所述的装置，其特征在于，根据所述输出装置的视野以及由所述相机捕获的所述媒体流中的所述场景的部分，确定两个以上的媒体流为n个最近的媒体流。6.根据前述权利要求中任一项所述的装置，其特征在于，所述多个媒体流中的至少一部分媒体流是预先录制的媒体流或实时媒体流。7.根据前述权利要求中任一项所述的装置，其特征在于，所述处理器进一步被配置为，将所述输出流与至少一个计算机图形对象组合，所述装置还包括可通信地耦接到所述处理器的引擎，所述引擎被配置为根据所述观看位置和所述观看朝向，提供所述至少一个计算机图形对象。8.根据前述权利要求中任一项所述的装置，其特征在于，所...

【专利技术属性】
技术研发人员：杰瓦特·耶尔利，
申请(专利权)人：卡雷风险投资有限责任公司，
类型：发明
国别省市：卢森堡,LU