视频处理机制制造技术

本申请公开了视频处理机制。公开了一种用于促进对视频比特流数据进行处理的装置。所述装置包括：一个或多个处理器，所述一个或多个处理器用于对占用图数据和辅助补片信息进行解码，并基于从所述占用图数据和辅助补片信息中解码出的补片数据生成多个补片视频帧；以及存储器，所述存储器通信地耦合到所述一个或多个处理器。

Video processing mechanism

【技术实现步骤摘要】
视频处理机制相关申请本申请涉及由JillBoyce于2018年7月31日提交的名称为“REDUCEDRENDERINGOFSIX-DEGREEOFFREEDOMVIDEO(减少六自由度视频的渲染)”的共同转让的美国专利申请序列号16/050,153，所述美国专利申请的全部内容通过引用结合于此。
本专利技术总体上涉及视频处理，并且更具体地涉及经由图形处理单元进行的视频处理。
技术介绍
六自由度(6DoF)视频是新兴的沉浸式视频用例，其为观看者提供沉浸式媒体体验，在其中，所述观看者控制场景的视点。更简单的三自由度(3DoF)视频(例如360度或全景视频)允许观看者从固定位置改变围绕X、Y和Z轴的取向(描述为偏航、俯仰和滚动)。6DoF视频使得观看者能够通过沿X、Y和Z轴的平移移动来改变位置。可以使用点云来表示6DoF视频。然而，点云数据的渲染在计算上是昂贵的，使得以高帧速率渲染包含大量点的点云视频变得困难。此外，点云数据速率很大，需要较大的容量用于存储或传输。附图说明为了能够详细理解本专利技术的上述特征，通过参考实施例可以对上文简述的本专利技术有更具体的说明，附图中展示了这些实施例中的一些。然而应当指出的是，附图仅仅展示了本专利技术的典型实施例，并且因此不应被认为是对本专利技术的范围的限制，因为本专利技术可以允许其他等效的实施例。图1是根据实施例的处理系统的框图；图2是根据实施例的处理器的框图；图3是根据实施例的图形处理器的框图；图4是根据一些实施例的图形处理器的图形处理引擎的框图；图5是由附加实施例提供的图形处理器的框图；图6A和6B展示了线程执行逻辑，所述线程执行逻辑包括在一些实施例中采用的处理元件阵列；图7是展示了根据一些实施例的图形处理器指令格式的框图；图8是根据另一个实施例的图形处理器的框图；图9A和图9B展示了根据一些实施例的图形处理器命令格式和命令序列；图10展示了根据一些实施例的数据处理系统的示例性图形软件架构；图11A和图11B是框图，展示了根据实施例的IP核开发系统；图12是框图，展示了根据实施例的示例性芯片上系统集成电路；图13A和图13B是框图，展示了附加示例性图形处理器；图14A和图14B是框图，展示了根据实施例的芯片上系统集成电路的附加示例性图形处理器；图15A展示了多种形式的沉浸式视频；图15B展示了用于沉浸式视频的图像投影和纹理平面。图16展示了客户端-服务器系统，通过所述系统，可以由服务器基础设施生成沉浸式视频内容并对其进行编码，以便传输到一个或多个客户端设备；图17A至图17B展示了用于对3DoF+(3DoFPlus)内容进行编码和解码的系统；图18A至图18B展示了用于使用纹理几何数据对6DoF内容进行编码和解码的系统；图19A至图19B展示了用于经由点云数据对6DoF内容进行编码和解码的系统；图20展示了根据实施例的采用表面视频处理机制的计算设备；图21展示了视频处理机制的一个实施例；图22是流程图，展示了用于执行用于运动预测的补片对准的过程的一个实施例；图23A和图23B展示了运动向量帧的实施例；图24是流程图，展示了用于执行补片边界外推的过程的一个实施例；图25展示了被移位的对象；图26是流程图，展示了用于去除点云破裂的过程的一个实施例；图27A展示了应用于经解压缩对象的网格的一个实施例；并且图27B展示了已经应用网格之后的经解压缩对象的一个实施例。具体实施方式在以下描述中，阐述了大量的具体细节以提供对本专利技术的更加透彻的解释。然而，对于本领域技术人员而言，可以在不具有这些具体细节中的一个或多个的情况下实践本专利技术将是明显的。在其他实例中，并未示出公知的结构，以便避免模糊本专利技术。系统概述图1是根据实施例的处理系统100的框图。在各实施例中，系统100包括一个或多个处理器102以及一个或多个图形处理器108，并且可以是单处理器台式系统、多处理器工作站系统或具有大量处理器102或处理器核107的服务器系统。在一个实施例中，系统100是被并入用于在移动设备、手持式设备或嵌入式设备内使用的芯片上系统(SoC)集成电路内的处理平台。在一个实施例中，系统100可以包括基于服务器的游戏平台、游戏控制台，或被并入基于服务器的游戏平台、游戏控制台内，该游戏控制台包括游戏与媒体控制台、移动游戏控制台、手持式游戏控制台、或在线游戏控制台。在一些实施例中，系统100是移动电话、智能电话、平板计算设备或移动互联网设备。处理系统100还可以包括可穿戴设备、与可穿戴设备耦合、或者集成在可穿戴设备中，该可穿戴设备诸如智能手表可穿戴设备、智能眼镜设备、增强现实设备、或虚拟现实设备。在一些实施例中，处理系统100是电视或机顶盒设备，该电视或机顶盒设备具有一个或多个处理器102以及由一个或多个图形处理器108生成的图形界面。在一些实施例中，一个或多个处理器102各自包括用于处理指令的一个或多个处理器核107，这些指令在被执行时执行系统和用户软件的操作。在一些实施例中，一个或多个处理器核107中的每个处理器核被配置成用于处理特定的指令集109。在一些实施例中，指令集109可促进复杂指令集计算(CISC)、精简指令集计算(RISC)、或经由超长指令字(VLIW)的计算。多个处理器核107可各自处理不同的指令集109，该指令集109可包括用于促进对其他指令集进行仿真的指令。处理器核107还可包括其他处理设备，诸如，数字信号处理器(DSP)。在一些实施例中，处理器102包括高速缓存存储器104。取决于架构，处理器102可以具有单个内部高速缓存或多个层级的内部高速缓存。在一些实施例中，在处理器102的各部件之间共享高速缓存存储器。在一些实施例中，处理器102还使用外部高速缓存(例如，第3级(L3)高速缓存或末级高速缓存(LLC))(未示出)，可使用已知的高速缓存一致性技术在处理器核107之间共享外部高速缓存。另外，寄存器堆106被包括在处理器102中，该处理器102可包括用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器、以及指令指针寄存器)。一些寄存器可以是通用寄存器，而其他寄存器可特定于处理器102的设计。在一些实施例中，一个或多个处理器102与一个或多个接口总线110耦合，以在处理器102与系统100中的其他部件之间传输诸如地址、数据、或控制信号之类的通信信号。在一个实施例中，接口总线110可以是处理器总线，诸如，直接媒体接口(DMI)总线的版本。然而，处理器总线不限于DMI总线，并且可包括一个或多个外围部件互连总线(例如，PCI、PCI快速)、存储器总线或其他类型的接口总线。在一个实施例中，(多个)处理器102包括集成存储器控制器160和平台控制器中枢130。存储器控制器116促进存储器设备与系本文档来自技高网...

【技术保护点】
1.一种用于促进对视频比特流数据进行处理的装置，所述装置包括：/n一个或多个处理器，所述一个或多个处理器用于：对占用图数据和辅助补片信息进行解码，并基于从所述占用图数据和辅助补片信息中解码出的补片数据生成多个补片视频帧；以及/n存储器，所述存储器通信地耦合到所述一个或多个处理器。/n

【技术特征摘要】
20180731 US 16/050,4311.一种用于促进对视频比特流数据进行处理的装置，所述装置包括：
一个或多个处理器，所述一个或多个处理器用于：对占用图数据和辅助补片信息进行解码，并基于从所述占用图数据和辅助补片信息中解码出的补片数据生成多个补片视频帧；以及
存储器，所述存储器通信地耦合到所述一个或多个处理器。


2.如权利要求1所述的装置，其中，所述多个补片视频帧中的每一个包括补片标识符。


3.如权利要求2所述的装置，其中，所述一个或多个处理器进一步用于：将所述补片视频帧变换为三维(3D)表示。


4.如权利要求3所述的装置，其中，所述一个或多个处理器进一步用于：根据所述3D表示来渲染视口。


5.如权利要求4所述的装置，其中，所述一个或多个处理器进一步用于：执行伪像减少以在渲染期间检查所述补片视频帧以便检测一个或多个伪像的存在。


6.如权利要求5所述的装置，其中，检查所述补片视频帧包括：跨所述补片视频帧中的补片边界来应用滤波器。


7.如权利要求3所述的装置，其中，所述3D表示包括3D补片点云。


8.如权利要求1所述的装置，其中，所述一个或多个处理器进一步用于：在运动预测期间对补片取向进行对准。


9.如权利要求8所述的装置，其中，所述一个或多个处理器进一步用于：接收当前补片，并判定所述当前补片的取向是否与参考补片的取向对准。


10.如权利要求9所述的装置，其中，所述一个或多个处理器进一步用于：基于所述对准根据所述参考补片执行对所述当前补片的运动预测。


11.如权利要求1所述的装置，其中，所述一个或多个处理器进一步用于：使用参考补片和补片元数据来执行运动向量编码。


12.如权利要求11所述的装置，其中，所述一个或多个处理器进一步用于：经由被包括在所述补片元数据中的坐标信息生成距所述参考补片的偏移量。


13.如权利要求1所述的装置，其中，所述一个或多个处理器...

【专利技术属性】
技术研发人员：J·博伊斯，SH·李，S·雅努什，S·巴兰，M·阿波达卡，P·萨蒂，S·波特里，A·桑原，K·肖，J·坦纳，G·西灵吉尔，A·沙玛，J·特里普，J·罗斯，B·达斯，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US