用于重新聚焦至少一个全景视频的方法和设备技术

一种用于将对由属于同时捕获同一场景的一组全景设备的一个全景设备提供的一组全景视频数据的渲染重新聚焦在至少一个感兴趣的公共点上的方法。根据本公开，所述方法包括：获取(21)公共3D参考系统，该公共3D参考系统用于在空间上定位提供了所述一组全景视频数据的所述全景设备以及所述一组全景设备中的至少一个其他设备，从所述至少一个感兴趣的公共点，确定(22)所述公共3D参考系统中的公共重新聚焦平面参数，通过将所述公共重新聚焦平面参数转换(231)成与所述全景设备相关联的3D参考系统的渲染重新聚焦平面，来重新聚焦(23)对所述一组全景视频数据的渲染。

【技术实现步骤摘要】
【国外来华专利技术】用于重新聚焦至少一个全景视频的方法和设备
本公开涉及光场成像，并且涉及用于获取和处理光场数据的技术。更具体地，本公开总体涉及用于重新聚焦属于捕获同一场景的多个全景设备的至少一个全景设备，并且在社交媒体应用的领域中得以应用。
技术介绍
本节旨在向读者介绍本领域的各个方面，这些方面可能与以下所描述和/或要求保护的本专利技术的各个方面有关。相信该讨论可以帮助向读者提供背景信息以促进对本专利技术的各个方面的更好的理解。因此，应理解的是，这些陈述将从这个角度来阅读，并且不被承认是现有技术。传统图像捕获设备将三维场景渲染到二维传感器上。在操作期间，传统图像捕获设备捕获代表到达设备内的光传感器(或光检测器)的光量的二维(2-D)图像。然而，该2-D图像并不包含关于到达光电传感器的光线的方向分布(定义了光场)的信息。例如，深度在获取过程中会丢失。因此，传统捕获设备不存储关于来自场景的方向光分布的大部分信息。已经设计了光场捕获设备(也称为“光场数据获取设备”)以通过捕获来自该场景的不同视点的光来测量场景的四维(4D)光场。因此，通过测量沿着与光电传感器相交的每个光束传播的光量，这些设备可以捕获额外的光学信息(关于光线束的方向分布的信息)，以通过后处理来提供新的成像应用。由光场捕获设备获取/获得的信息被称为光场数据。光场捕获设备在本文中被定义为能够捕获光场数据的任何设备。存在若干类型的光场捕获设备，其中：-如文件US2013/0222633所述的全景设备，该全景设备使用放置在图像传感器和主透镜之间的微透镜阵列；-相机阵列，其中，每个相机在其自己的图像传感器上成像。还可以利用计算机成像(CGI)来根据场景的一系列2-D图像(当利用不同的视点捕获表示同一场景的两个不同图像时，称为视图)模拟光场数据，其中每个2-D图像是通过使用传统手持相机从不同视点进行拍摄的。光场数据处理尤其包括但不限于：生成场景的重新聚焦图像、生成场景的透视图、生成场景的深度图、生成扩展景深(EDOF)图像、生成立体图像、和/或这些项的任何组合。本公开更精确地关注于由如图1所示并且由R.Ng等人在《斯坦福大学计算机科学技术报告》，CSTR2005-02，第11期(2005年4月)，“Lightfieldphotographywithahand-heldplenopticcamera(利用手持全景相机的光场拍摄)”中公开的全景设备捕获的基于光场的图像。这种全景设备由主透镜(11)、微透镜阵列(12)和光传感器(13)组成。更确切地，主透镜将物体聚焦到微透镜阵列上(或附近)。微透镜阵列(12)将会聚光线分离成其后面的光传感器(13)上的图像。如US20130222369所述，用于丰富由多个用户提供的视频拍摄体验的现有技术方法在于由多个用户中的一个用户例如通过收集用户反馈来手动选择感兴趣的点。然后，根据现有技术，每个用户通过他们自己的设备来手动选择相应的感兴趣的点，并且焦点在计算上位于与穿过该对象的每个设备的光轴垂直的平面上。然而，现有技术的这些方法不能考虑光场成像(也称为全景数据)的特殊性，光场成像记录了空间中的一些点或一些方向上的光量(“辐射率”)。实际上，这种传统视频捕获设备提供传统的成像格式。因此，期望提供一种用于利用由多个全景设备提供的多个视图却不会显现出现有技术的这些缺点的技术。注意，可以期望提供这样的一种技术，其将允许对从基于光场的图像获得的视频的感兴趣对象更精细的渲染。
技术实现思路
以下内容呈现了本公开的简要概述以提供对本公开的一些方面的基本理解。该总结不是对本公开的广泛概述。不旨在标识本公开的关键或重要元素。以下概述仅以简要形式呈现了本公开的一些方面，来作为下面提供的更详细描述的序言。本公开利用一种用于将对由属于同时捕获同一场景的一组全景设备的一个全景设备提供的一组全景视频数据的渲染重新聚焦在至少一个感兴趣的公共点上的方法来解决现有技术的至少一个缺点。这种重新聚焦方法包括：-获取公共3D参考系统，该公共3D参考系统用于在空间上定位提供了所述一组全景视频数据的所述全景设备以及所述一组全景设备中的至少一个其他设备，-从所述至少一个感兴趣的公共点，确定所述公共3D参考系统中的公共重新聚焦平面参数，-通过将所述公共重新聚焦平面参数转换成与提供了所述一组全景视频数据的所述全景设备相关联的3D参考系统的渲染重新聚焦平面，来重新聚焦对所述一组全景视频数据的渲染，所述转换使用所述公共3D参考系统和与所述全景设备相关联的所述3D参考系统之间的变换。本公开因此依赖于一种用于通过考虑所述一组全景设备中的至少一个其他全景设备，来将对由属于同时捕获同一场景的一组全景设备的一个全景设备(即全景相机)提供的一组全景视频数据的渲染重新聚焦在至少一个感兴趣的公共点上的新颖且创造性的方法。换句话说，所获得的对由一组全景设备中的一个全景设备提供的一组全景视频数据的渲染重新聚焦不能在不考虑还与属于同时捕获同一场景的所述一组全景设备的一个其他全景设备相关联的公共重新聚焦平面参数的情况下获得。因此，所获得的与一组全景设备中的一个全景设备相关联的渲染重新聚焦取决于属于所述一组全景设备的至少一个其他全景设备。其结果是，本公开确保了不同的全景设备之间的焦平面的一致性，并且提供丰富的信息来为每组全景视频数据定义最佳的焦平面以进行渲染。通过“一组全景视频数据”，认为所述一组全景设备中的每个全景设备都提供由所述一组全景设备中的所有全景设备同时捕获的同一场景的一组全景视频数据。所述一组全景视频数据是例如对应于整个视频电影、诸如演唱会的视频期间的一首歌、或帧、或帧的部分等之类的视频电影的一部分(或者换句话说，对应于整个视频电影的一组连续帧的序列)的内容。因此，与其中共享的每一组全景视频数据的重新聚焦被单独处理的现有技术的方法相反，本公开在公共3D参考系统中针对所有涉及的全景设备自动地(即分别在获取、确定和重新聚焦的步骤期间没有与用户的任何交互)提供公共重新聚焦平面参数，这些公共重新聚焦平面参数然后被用于对针对其旨在改变重新聚焦计划的每组全景视频数据的渲染。本公开因此对其中多个人使用全景设备(即相机)来拍摄公共或私人活动(体育、街头演唱会、派对等)的“社交情境”特别感兴趣。实际上，本公开得益于由多个全景设备提供的多视点全景内容。此外，本公开利用全景设备的重新聚焦能力来将要渲染的内容重新聚焦在重新聚焦平面上，根据本公开，该重新聚焦平面是针对在全景内容的“社交”共享中所涉及的部分或所有全景设备而相互确定的。换句话说，本公开提供了一种用于在所涉及的全景设备之间共享重新聚焦平面参数的解决方案。其结果是，所获得的渲染重新聚焦平面不一定是如现有技术中垂直于已经捕获了要渲染的全景视频数据集的全景设备的光轴的平面，而是从对于所有涉及的全景设备来说公共的重新聚焦平面参数获得的重新聚焦平面。由本公开提供的这种处理可以在一组全景视频数据的捕获期间实时执行，或者稍后在其稍后的渲染期间实时执行。因此，本公开通过提供在用于同时捕获同一场景的一组全景设备的公共3D参考系统中联合确定的渲染重新聚焦平面，丰富了由多个全景设备提供的视频捕获体验。根据所述公开的特定方面，分别由所述全景设备和所述一组全景设备中的所述至少一个其他设备提供的全本文档来自技高网...

【技术保护点】
1.一种用于将对由全景设备提供的一组全景视频数据的渲染重新聚焦在至少一个感兴趣的公共点上的方法，其中，所述方法包括：‑获取(21)公共3D参考系统，所述公共3D参考系统用于在空间上定位在3D姿态提供了所述一组全景视频数据的所述全景设备以及捕获同一场景的至少一个其他3D姿态的所述全景设备，‑从所述至少一个感兴趣的公共点，确定(22)所述公共3D参考系统中的公共重新聚焦平面参数，通过将所述公共重新聚焦平面参数转换(231)成与提供了所述一组全景视频数据的所述全景设备相关联的3D参考系统的渲染重新聚焦平面，来重新聚焦(23)对所述一组全景视频数据的渲染，所述转换(231)使用所述公共3D参考系统和与所述全景设备相关联的所述3D参考系统之间的变换。

【技术特征摘要】
【国外来华专利技术】2015.12.16 EP 15307023.01.一种用于将对由全景设备提供的一组全景视频数据的渲染重新聚焦在至少一个感兴趣的公共点上的方法，其中，所述方法包括：-获取(21)公共3D参考系统，所述公共3D参考系统用于在空间上定位在3D姿态提供了所述一组全景视频数据的所述全景设备以及捕获同一场景的至少一个其他3D姿态的所述全景设备，-从所述至少一个感兴趣的公共点，确定(22)所述公共3D参考系统中的公共重新聚焦平面参数，通过将所述公共重新聚焦平面参数转换(231)成与提供了所述一组全景视频数据的所述全景设备相关联的3D参考系统的渲染重新聚焦平面，来重新聚焦(23)对所述一组全景视频数据的渲染，所述转换(231)使用所述公共3D参考系统和与所述全景设备相关联的所述3D参考系统之间的变换。2.根据权利要求1所述的用于重新聚焦的方法，其中，获取(21)公共3D参考系统包括使用运动结构(211)来针对提供了所述一组全景视频数据的所述全景设备以及所述至少一个其他3D姿态的所述全景设备来确定所述3D姿态。3.根据前述权利要求中的任一项所述的用于重新聚焦的方法，其中：所述全景设备属于同时捕获所述同一场景的一组全景设备，并且分别由所述全景设备和所述一组全景设备中的至少一个其他设备提供的全景视频数据集合此前在它们的获取期间或之后被时间同步(20)。4.根据前述权利要求中的任一项所述的用于重新聚焦的方法，其中，当所述渲染重新聚焦平面和垂直于提供了所述一组全景视频数据的所述全景设备的光轴的平面之间的距离超过预定值时，重新计算(231)所述重新聚焦(23)。5.根据前述权利要求中的任一项所述的用于重新聚焦的方法，其中，所述确定(22)所述公共3D参考系统中的公共重新聚焦平面参数的步骤包括：-通过获取(2210)表示与由所述一组全景设备中的至少一个全景设备提供的至少一个感兴趣的全景视频数据集合相关联的至少一个感兴趣的点的信息，来确定(221)所述至少一个感兴趣的公共点，-分别使用所述公共3D参考系统和与提供了从其获得所述信息的所述至少一个感兴趣的全景视频数据集合的所述至少一个全景设备相关联的至少一个3D参考系统之间的至少一个转换，将所述信息转换(222)成所述公共3D参考系统，-从被转换为所述公共3D参考系统的所述信息确定(223)所述公共重新聚焦平面参数。6.根据权利要求5所述的用于重新聚焦的方法，其中，所述信息由提供所述至少一个感兴趣的全景视频数据集合的所述至少一个全景设备自动提供(51...

【专利技术属性】
技术研发人员：皮埃尔·赫利尔，瓦莱丽·艾莉，帕特里克·佩雷斯，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR