用于编码、传递和/或使用图像的方法和装置制造方法及图纸

本发明专利技术描述了用于捕获、传递和使用图像数据以支持虚拟现实体验的方法和装置。以高分辨率但比用于回放的帧速率低的帧速率捕获图像，例如帧。将内插应用于捕获帧以生成内插帧。捕获帧连同内插帧信息被传递到回放设备。捕获帧和内插帧的组合对应于高于图像捕获速率的第二帧回放速率。相机以高图像分辨率操作，但帧速率慢于可用相同相机以较低分辨率捕获的图像。在递送到用户设备之前执行内插，其中基于运动和/或透镜FOV信息选择要内插的片段。与捕获帧数据相比，传递相对少量的内插帧数据以用于有效带宽使用。于有效带宽使用。于有效带宽使用。

【技术实现步骤摘要】
【国外来华专利技术】用于编码、传递和/或使用图像的方法和装置
[0001]相关专利申请
[0002]本申请要求2019年4月24日提交的美国临时专利申请序列号62/838,300的申请日的权益，该美国临时专利申请据此全文以引用方式明确并入。


[0003]本专利技术涉及用于为虚拟现实系统(例如，支持在虚拟现实设备上回放的系统，例如，其可渲染2D或3D图像内容)编码并传递带有运动的图像的方法和装置。

技术介绍

[0004]高质量图像捕获对于实际虚拟现实应用可能是重要的。遗憾的是，以高帧速率捕获高分辨率图像可能涉及使用极其昂贵的高速高分辨率相机，由于许多应用的成本原因，这可能是不实际的。
[0005]虽然捕获高分辨率图像以支持虚拟现实是期望的，但是考虑到可用于将图像传输到回放设备的通信网络的带宽约束，整体传递大量高分辨率图像可能存在通信问题。
[0006]图像捕获和数据传输约束的问题是非立体系统在3D视频和3D虚拟现实系统的上下文中变得特别严重的问题，其中通常需要传递单独的左眼和右眼图像数据。
[0007]在3D虚拟现实系统的情况本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种内容分发方法，所述方法包括：存储(908)以第一帧速率捕获的图像(751)；执行内插(924)以生成内插帧数据，从而支持高于所述第一帧速率的第二帧速率；以及将捕获帧数据和内插帧数据传递(926)到至少一个回放设备。2.根据权利要求1所述的方法，其中所述第一帧速率是在相机以最大图像捕获分辨率操作时由用于捕获图像的所述相机支持的最高帧速率。3.根据权利要求1所述的方法，还包括：操作相机对中的第一相机的相机，以所述第一速率捕获所述图像。4.根据权利要求3所述的方法，其中当以较低分辨率捕获图像时，所述第一相机支持高于所述第一帧速率的较高帧速率。5.根据权利要求1所述的方法，其中传递捕获帧数据包括以对应于图像捕获速率的第一数据速率传递捕获帧。6.根据权利要求5所述的方法，其中捕获帧数据和内插帧数据的组合对应于所述回放设备将用于显示图像的第二帧速率。7.根据权利要求6所述的方法，其中所述第二帧速率是向所述回放设备的用户显示左眼图像和右眼图像以支持3D查看体验的立体帧速率。8.根据权利要求1所述的方法，还包括：对捕获帧的块执行(910)运动分析以检测运动并识别移动片段；针对至少第一片段，基于来自当前的捕获帧和一个或多个其他捕获帧(例如，至少下一个捕获帧)的所述第一片段的运动量来选择(922)帧速率；并且其中执行内插(924)以生成内插帧数据包括在捕获帧之间内插片段以生成内插帧信息。9.根据权利要求8所述的方法，其中所述至少一个片段是移动对象的图像片段。10.根据权利要求8所述的方法，其中内插片段包括内插所述第一片段的版本以支持所述选择的帧速率。11.根据权利要求8所述的方法，还包括：将捕获帧作为基础视频层的一部分传递(926)到回放设备；以及传递(928)对应于与内插帧时间对应的一个或多个内插片段的信息作为附加视频信息的一部分。12.一种图像捕获和处理系统，包括：至少第一相机(1302)，所述至少第一相机用于以第一帧速率捕获(904)图像；以及内容递送系统(700)，所述内容递送系统包括：存储器(712)；和处理器(708)，所述处理器耦接到所述存储器，所述处理器被配置为控制所述内容递送系统以：对捕获帧执行内插(924)以生成内插帧数据，从而支持高于所述第一帧速率的第二帧速率；以及将捕获帧数据和内插帧数据传递(926)到至少一个回放设备。13.根据权利要求12所述的图像捕获和处理系统，其中所述第一帧速率是在相机以最
大图像捕获分辨率操作时由用于捕获图像的所述相机支持的最高帧速率。14.根据权利要求12所述的图像捕获和处理系统，其中第一相机以所述第一帧速率捕获图像是由相机对的所述第一相机执行。15.根据权利要求14所述的图像捕获和处理系统，其中当以较低分辨率捕获图像时，所述第一相机支持高于所述第一帧速率的较高帧速率。16.根据权利要求12所述的图像捕获和处理系统，其中作为传递捕获帧数据的一部分，所述处理器控制所述内容递送系统：以对应于图像捕获速率的第一数据速率传递捕获帧。17.根据权利要求16所述的图像捕获和处理系统，其中捕获帧数据和内插帧数据的组合对应于所述回放设备将用于显示图像的第二帧速率。18.根据权利要求17所述的图像捕获和处理系统，其中所述第二帧速率是向所述回放设备的用户显示左眼图像和右眼图像以支持3D查看体验的立体帧速率。19.根据权利要求12所述的图像捕获和处理系统，其中所述处理器(708)被进一步配置为控制所述内容递送系统以：对捕获帧的块执行(910)运动分析以检测运动并识别移动片段；针对至少第一片段，基于来自当前的捕获帧和一个或多个其他捕获帧(例如，至少下一个捕获帧)的所述第一片段的运动量来选择(922)帧速率；并且其中执行内插(924)以生成内插帧数据包括在捕获帧之间内插片段以生成内插帧信息。20.一种包括计算机可执行指令的非暂态计算机可读介质，所述计算机可执行指令当由内容递送系统(700)的处理器(706)执行时使得所述处理器控制所述内容递送系统(700)以：访问存储在所述内容递送系统(700)...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：内维尔明德资本有限责任公司，
类型：发明
国别省市：