用于时间视点间预测的方法及技术设备技术

本发明专利技术涉及一种方法以及用于实现该方法的装置。该方法包括：确定多相机设备在第一时间与第二时间之间的移动，多相机至少包括第一相机和第二相机；选择来自第一相机的在第一时间的帧；以及将所选择的帧输入到来自第二相机的在第二时间的帧的参考帧列表中；其中，第一相机在第一时间的位置和方向与第二相机在第二时间的位置和方向相同，并且其中，第一相机和第二相机不同。

Method and Technical Equipment for Time Viewpoint Prediction

The invention relates to a method and a device for realizing the method. The method includes: determining the movement of the multi-camera device between the first and second time, and the multi-camera includes at least the first camera and the second camera; selecting the frame from the first camera at the first time; and inputting the selected frame into the reference frame list of the frame from the second camera at the second time; where the position and direction of the first camera at the first time is the same as that of the second camera. The position and direction of the two cameras are the same at the second time, and the first camera and the second camera are different.

【技术实现步骤摘要】
【国外来华专利技术】用于时间视点间预测的方法及技术设备
本方案一般涉及处理媒体内容。更具体地，本方案涉及用于对立体和多视点视频内容进行时间视点间预测的方法及技术设备。
技术介绍
由于媒体内容分辨率的增加，以及视点数量和更高的每秒帧数(FPS)，因此将要在设备之间传输或广播到多个设备的媒体内容包括不断增长的数据量。当前的广播基础架构无法实时传输该全部数据量。因此，需要减少所需比特率的量以实现这样的数据的广播。
技术实现思路
现在专利技术了一种改进的用于降低将要广播的内容的比特率的方法以及实现该方法的技术设备。本专利技术的各个方面包括一种方法、装置以及其中存储有计算机程序的计算机可读介质，它们以独立权利要求中所述的内容为特征。本专利技术的各种实施例在从属权利要求中公开。根据第一方面，提供了一种方法，其包括：确定多相机设备在第一时间与第二时间之间的移动，多相机至少包括第一相机和第二相机；选择来自第一相机的在第一时间的帧；以及将所选择的帧输入到来自第二相机的在第二时间的帧的参考帧列表中；其中，第一相机在第一时间的位置和方向与第二相机在第二时间的位置和方向相同，并且其中，第一相机和第二相机不同。根据实施例，该方法还包括：基于相机的加速度计和陀螺仪，确定相机的位置和方向。根据实施例，多相机是立体相机。根据实施例，该方法还包括：确定第一相机和第二相机在第二时间相对于第一时间的当前相对距离和关系。根据实施例，该方法还包括：将第一相机和第二相机的物理距离和关系与第一相机和第二相机在第二时间与第一时间之间的当前相对距离和关系相比较。根据实施例，来自第一相机的参考帧在来自第二相机的帧的参考帧列表中的次序和位置取决于以下中的至少一项：在第二时间与第一时间之间在场景中的移动量；第二时间与第一时间之间的时间差。根据第二方面，提供了一种装置，其包括：至少一个处理器；包括计算机程序代码的存储器，存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行以下操作：确定多相机设备在第一时间与第二时间之间的移动，多相机至少包括第一相机和第二相机；选择来自第一相机的在第一时间的帧；以及将所选择的帧输入到来自第二相机的在第二时间的帧的参考帧列表中；其中，第一相机在第一时间的位置和方向与第二相机在第二时间的位置和方向相同，并且其中，第一相机和第二相机不同。根据实施例，该装置还包括：被配置为使该装置基于相机的加速度计和陀螺仪，确定相机的位置和方向的计算机程序代码。根据实施例，多相机是立体相机。根据实施例，该装置还包括：被配置为使该装置确定第一相机和第二相机在第二时间相对于第一时间的当前相对距离和关系的计算机程序代码。根据实施例，该装置还包括：被配置为使该装置将第一相机和第二相机的物理距离和关系与第一相机和第二相机在第二时间与第一时间之间的当前相对距离和关系相比较的计算机程序代码。根据实施例，来自第一相机的参考帧在来自第二相机的帧的参考帧列表中的次序和位置取决于以下中的至少一项：在第二时间与第一时间之间在场景中的移动量；第二时间与第一时间之间的时间差。根据第三方面，提供了一种装置，其包括：用于确定多相机设备在第一时间与第二时间之间的移动的装置，其中，多相机至少包括第一相机和第二相机；用于选择来自第一相机的在第一时间的帧的装置；以及用于将所选择的帧输入到来自第二相机的在第二时间的帧的参考帧列表中的装置；其中，第一相机在第一时间的位置和方向与第二相机在第二时间的位置和方向相同，并且其中，第一相机和第二相机不同。根据实施例，该装置还包括：用于基于相机的加速度计和陀螺仪，确定相机的位置和方向的装置。根据实施例，多相机是立体相机。根据实施例，该装置还包括：用于确定第一相机和第二相机在第二时间相对于第一时间的当前相对距离和关系的装置。根据实施例，该装置还包括：用于将第一相机和第二相机的物理距离和关系与第一相机和第二相机在第二时间与第一时间之间的当前相对距离和关系相比较的装置。根据实施例，来自第一相机的参考帧在来自第二相机的帧的参考帧列表中的次序和位置取决于以下中的至少一项：在第二时间与第一时间之间在场景中的移动量；第二时间与第一时间之间的时间差。根据第四方面，提供了一种具体化在非暂时性计算机可读介质上的计算机程序产品，其包括计算机程序代码，该计算机程序代码被配置为当在至少一个处理器上执行时使装置或系统：确定多相机设备在第一时间与第二时间之间的移动，多相机至少包括第一相机和第二相机；选择来自第一相机的在第一时间的帧；以及将所选择的帧输入到来自第二相机的在第二时间的帧的参考帧列表中；其中，第一相机在第一时间的位置和方向与第二相机在第二时间的位置和方向相同，并且其中，第一相机和第二相机不同。附图说明在下文中，将参考附图更详细地描述本专利技术的各种实施例，其中：图1示出用于立体观看的系统和装置；图2a示出用于立体观看的相机设备；图2b示出用于立体观看的头戴式显示器；图3示出根据实施例的相机；图4a、b示出多相机设备的示例；图5a、b示出根据实施例的编码器和解码器；图6是示出根据实施例的方法的流程图；图7示出根据实施例的相机设备；图8示出两个相机之间距离和角度差的示例；图9示出确定第二相机的解码帧的参考的示例；图10示出利用多相机设备来确定第二相机的解码帧的参考的示例；图11将根据实施例的方法示出为流程图；图12a、b示出根据实施例的装置。具体实施方式关于用多相机设备而捕获的内容讨论了本专利技术的实施例。多相机设备包括两个或更多个相机，其中，两个或更多个相机可以成对地布置在所述多相机设备中。每个所述相机具有相应的视场，并且每个所述视场覆盖多相机设备的观看方向。多相机设备可以包括位于与以下位置中的至少一些对应的位置处的相机：处于正常解剖姿势的人体头部的眼睛位置；处于最大屈曲解剖姿势的人体头部的眼睛位置；处于最大伸展解剖姿势的人体头部的眼睛位置；和/或，处于最大左右旋转解剖姿势的人体头部的眼睛位置。多相机设备可以至少包括三个相机，这些相机被布置成使得它们在相应的相机的视场方向上的光轴落在半球视场内，多相机设备不包括其光轴在半球视场以外的相机，并且多相机设备的总视场覆盖整个球体。在本文中描述的多相机设备可以具有配有广角镜头的相机。多相机设备可适合于创建立体观看图像数据和/或多视点视频，其包括针对多个相机的多个视频序列。多相机可以使得由至少两个相机构成的任何相机对具有与人眼的视差(差距)对应的视差，以用于创建立体图像。至少两个相机可以具有重叠的视场，以使得其每个部分由所述至少两个相机所捕获的重叠区域被限定，并且这种重叠区域可用于形成用于立体观看的图像。图1示出了用于立体观看的系统和装置，即，用于3D视频和3D音频数字捕获和播放的系统和装置。该系统的任务是从特定位置捕获足够的可视和可听信息，以使得在物理上位于不同位置的一个或多个观看者可选地在将来某一时间完美地再现处于该位置的体验或存在。这种再现需要可由单个相机或麦克风捕获的更多信息，以便观看者可以使用他们的眼睛和耳朵来确定场景内的对象的距离和位置。为了创建具有视差的一对图像，使用两个相机源。以类似的方式，为了使人类听觉系统能够感测到声音的方向，至少使用两个麦克风(通过记录两个音频通道来创建公知的立体声)。人类听觉系统可以检测线索(例如，音频信号的时间本文档来自技高网...

【技术保护点】
1.一种方法，包括：‑确定多相机设备在第一时间与第二时间之间的移动，所述多相机至少包括第一相机和第二相机；‑选择来自所述第一相机的在所述第一时间的帧；以及‑将所选择的帧输入到来自所述第二相机的在所述第二时间的帧的参考帧列表中；‑其中，所述第一相机在所述第一时间的位置和方向与所述第二相机在所述第二时间的位置和方向相同，并且其中，所述第一相机和所述第二相机不同。

【技术特征摘要】
【国外来华专利技术】2016.07.14 GB 1612204.61.一种方法，包括：-确定多相机设备在第一时间与第二时间之间的移动，所述多相机至少包括第一相机和第二相机；-选择来自所述第一相机的在所述第一时间的帧；以及-将所选择的帧输入到来自所述第二相机的在所述第二时间的帧的参考帧列表中；-其中，所述第一相机在所述第一时间的位置和方向与所述第二相机在所述第二时间的位置和方向相同，并且其中，所述第一相机和所述第二相机不同。2.根据权利要求1所述的方法，还包括：基于相机的加速度计或陀螺仪，确定所述相机的位置和方向。3.根据权利要求1或2所述的方法，其中，所述多相机是立体相机。4.根据权利要求1或2或3所述的方法，还包括：确定所述第一相机和所述第二相机在所述第二时间相对于所述第一时间的当前相对距离和关系。5.根据权利要求4所述的方法，还包括：将所述第一相机和所述第二相机的物理距离和关系与所述第一相机和所述第二相机在所述第二时间与所述第一时间之间的所述当前相对距离和关系相比较。6.根据权利要求1至5中任一项所述的方法，其中，来自所述第一相机的参考帧在来自所述第二相机的所述帧的所述参考帧列表中的次序和位置取决于以下中的至少一项：-在所述第二时间与所述第一时间之间在场景中的移动量；-所述第二时间与所述第一时间之间的时间差。7.一种装置，包括：至少一个处理器；包括计算机程序代码的存储器，所述存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少执行以下操作：-确定多相机设备在第一时间与第二时间之间的移动，所述多相机至少包括第一相机和第二相机；-选择来自所述第一相机的在所述第一时间的帧；以及-将所选择的帧输入到来自所述第二相机的在所述第二时间的帧的参考帧列表中；-其中，所述第一相机在所述第一时间的位置和方向与所述第二相机在所述第二时间的位置和方向相同，并且其中，所述第一相机和所述第二相机不同。8.根据权利要求7所述的装置，还包括：被配置为使所述装置基于相机的加速度计或陀螺仪，确定所述相机的位置和方向的计算机程序代码。9.根据权利要求7或8所述的装置，其中，所述多相机是立体相机。10.根据权利要求7或8或9所述的装置，还包括：被配置为使所述装置确定所述第一相机和所述第二相机在所述第二时间相对于所述第一时间的当前相对距离和关系的计算机程序代码。11.根据权利要求10所述的装置，还包括：被配置为使所述装置将所述第一相机和所述第二相机的物理距离和关系与所述第一相...

【专利技术属性】
技术研发人员：P·阿弗莱吉贝尼，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰,FI