用于图形的基于360邻居的质量选择器、范围调整器、视口管理器和运动估计器制造技术

实施例可包含显示处理器、存储对应于来自360视频的投影的2D帧的存储器以及基于来自2D帧的相邻块（包含仅在360视频空间中相邻的块）的质量信息选择用于2D帧的块的质量因子的质量选择器。系统还可包含：用于基于2D帧的搜索区域调整对于2D帧的搜索范围的范围调整器、用于确定对于2D帧的视口的请求是否扩展到2D帧的第一边缘之外并用环绕图像信息填充请求的视口的视口管理器、和/或用于基于颜色信息和深度信息二者估计运动信息的运动估计器。描述了其它实施例，并提权利要求保护。

360 Neighbor Based Quality Selector, Range Adjuster, Viewport Manager and Motion Estimator for Graphics

The embodiment may include a display processor, a memory for storing 2D frames corresponding to projections from 360 videos, and a quality selector for selecting quality factors of blocks for 2D frames based on quality information from adjacent blocks of the 2D frames (including only adjacent blocks in 360 video space). The system may also include: a range adjuster for adjusting the search range for a 2D frame based on the search area of the 2D frame, a view manager for determining whether a request for a 2D frame's view extends beyond the first edge of the 2D frame and fills the requested view with surrounding image information, and/or a view manager for a color-based and depth-based message. The motion estimator of motion information is estimated by the two party. Other embodiments are described, and claims protection is provided.

【技术实现步骤摘要】
用于图形的基于360邻居的质量选择器、范围调整器、视口管理器和运动估计器
实施例一般涉及显示技术，并且更具体地涉及基于块的相机更新和异步显示。更具体地说，实施例涉及用于图形的基于360邻居的质量选择器、范围调整器、视口管理器和运动估计器中的一个或多个。
技术介绍
在360视频中，其也被称为360度视频、沉浸式视频或球形视频，可使用全向相机或相机集合同时从每一个方向（即在360度上）提取视频记录。在回放时，观察者可选择用于在任一可用方向当中观看的视口或观看方向。在压缩/解压缩（编码解码器）系统中，压缩效率、视频质量和计算效率可以是重要的性能准则。这些准则也可以是传播360视频时的重要因子以及观看此类360视频时的用户体验。附图说明通过阅读如下说明书和所附权利要求书，并通过参考如下附图，实施例的各种优点对本领域技术人员将变得明显，附图中：图1是图示配置成实现本文描述的实施例的一个或多个方面的计算机系统的框图；图2A-2D图示了根据实施例的并行处理器组件；图3A-3B是根据实施例的图形多处理器的框图；图4A-4F图示了多个GPU在其中以通信方式耦合到多个多核处理器的示范架构；图5图示根据实施例的图形处理流水线；图6是根据实施例的电子处理系统的示例的框图；图7A是根据实施例的图形设备的示例的框图；图7B是根据实施例处理360视频的方法的示例的流程图；图7C是根据实施例的电子处理系统的另一示例的框图；图7D是根据实施例具有等量矩形投影（ERP）360视频格式的二维（2D）帧的示例的概要性图；图7E是根据实施例的视口的示例的概要性图；图7F是根据实施例叠加在等量矩形格式2D帧上的视口的示例的概要性图；图7G是根据实施例具有立方体映射360视频格式的2D帧的示例的概要性图；图7H是根据实施例的立方体的示例的概要性透视图；图7I是根据实施例具有紧凑立方体映射360视频格式的2D帧的示例的概要性图；图8A是根据实施例的图形设备的另一示例的框图；图8B是根据实施例处理360视频的方法的另一示例的流程图；图8C是根据实施例具有ERP360视频格式的2D帧的另一示例的概要性图；图9A是根据实施例的图形设备的另一示例的框图；图9B是根据实施例处理360视频的方法的另一示例的流程图；图9C是根据实施例叠加在360视频上的视口的示例的概要性图；图10A是根据实施例的图形设备的另一示例的框图；图10B是根据实施例处理帧的方法的示例的流程图；图10C至10E是根据实施例的接连帧的概要性图；图11是根据实施例具有局部化背光能力的显示器的示例的框图；图12A是根据实施例的数据处理装置的示例的框图；图12B是根据实施例的距离确定的示例的图示；图13是根据实施例的分层显示器架构的示例的框图；图14是根据实施例包含多个显示单元的显示器架构的示例的框图；图15是根据实施例的云协助的媒体递送架构的示例的框图；图16-18是根据实施例的数据处理系统的概观的示例的框图；图19是根据实施例的图形处理引擎的示例的框图；图20-22是根据实施例的执行单元的示例的框图；图23是根据实施例的图形流水线的示例的框图；图24A-24B是根据实施例的图形流水线编程的示例的框图；图25是根据实施例的图形软件架构的示例的框图；图26是根据实施例的知识产权（IP）核开发系统的示例的框图；图27是根据实施例的芯片上系统集成电路的示例的框图。具体实施方式在如下描述中，陈述了大量特定细节以提供对本专利技术的更全面理解。然而，本领域技术人员将明白，在没有这些特定细节中的一个或多个的情况下也可以实践本专利技术。在其它实例中，未描述众所周知的特征以避免使本专利技术混淆。系统概述图1是框图，其示出配置成实现本文描述的实施例的一个或多个方面的计算系统100。计算系统100包括处理子系统101，所述处理子系统101具有一个或多个处理器102和系统存储器104，所述一个或多个处理器102与所述系统存储器104经由可包括存储器中枢105的互连路径来通信。存储器中枢105可以是芯片集组件内的单独组件，或可以集成在所述一个或多个处理器102内。存储器集线器105经由通信链路106与I/O子系统111耦合。I/O子系统111包括I/O中枢107，所述I/O中枢107可以使得计算系统100能够从一个或多个输入装置108接收输入。另外，I/O中枢107可以使得显示控制器能够将输出提供给一个或多个显示装置110A，所述显示控制器可被包括在所述一个或多个处理器102中。在一个实施例中，与I/O中枢107耦合的所述一个或多个显示装置110A可以包括局部、内部或嵌入式显示装置。在一个实施例中，处理子系统101包括一个或多个并行处理器112，所述并行处理器112经由总线或其它通信链路113耦合至存储器中枢105。通信链路113可以是任何数量的基于标准的通信链路技术或协议之一（诸如但不限于，PCI快速总线），或可以是供应方特定的通信接口或通信结构。在一个实施例中，所述一个或多个并行处理器112形成计算上集中的并行或向量处理系统，所述系统包括大量处理核和/或处理集群（诸如，集成众核（MIC）处理器）。在一个实施例中，所述一个或多个并行处理器112形成图形处理子系统，所述图形处理子系统可以将像素输出到经由I/O中枢107耦合的所述一个或多个显示装置110A之一。所述一个或多个并行处理器112还可以包括显示控制器和显示器接口（未示出）以能够实现到一个或多个显示装置110B的直接连接。在I/O子系统111内，系统存储单元114可以连接到I/O中枢107以提供用于计算系统100的存储机制。I/O开关116可以用于提供接口机制以能够实现I/O中枢107与其它组件（诸如，可集成到平台中的网络适配器118和/或无线网络适配器119，以及可以经由一个或多个插入式装置120添加的各种其它装置）之间的连接。网络适配器118可以是以太网适配器或另一有线网络适配器。无线网络适配器119可以包括以下项中的一项或多项：Wi-Fi、蓝牙、近场通信（NFC）、或包括一个或多个无线无线电装置（wirelessradio）的其它网络装置。计算系统100可以包括未明确示出的其它组件，包括USB或其它端口连接件、光学存储驱动器、视频捕获装置、和诸如此类，它们也可连接到I/O中枢107。使图1中的各种组件互连的通信路径可使用任何合适的协议来实现，诸如基于PCI（外设组件互连）的协议（例如，PCI快速总线）或任何其它总线或点对点通信接口和/或协议（诸如，NV-Link高速互连、或本领域中已知的互连协议）。在一个实施例中，所述一个或多个并行处理器112合并针对图形和视频处理进行优化的电路（包括例如，视频输出电路），并且构成图形处理单元（GPU）。在另一实施例中，所述一个或多个并行处理器112合并针对通用处理进行优化的电路，同时保持本文更详细地描述的底层计算架构。在又一实施例中，计算系统100的组件可与一个或多个其它系统元件一起集成在单个集成电路上。例如，所述一个或多个并行处理器112、存储器中枢105、处理器102和I/O中枢107可以集成到芯片上系统（SoC）集成电路中。可替代地，计算系统100的组件可以集成到单个封装中以形成封装中系统（SIP）配置。在一本文档来自技高网...

【技术保护点】
1.一种电子处理系统，包括：显示处理器，生成用于显示器的图像数据；存储器，以通信方式耦合到所述显示处理器，以存储对应于来自360视频空间的投影的二维（2D）帧；质量选择器，以通信方式耦合到所述显示处理器，以基于来自所述2D帧的一个或多个相邻块的质量信息选择用于所述2D帧的第一块的质量因子，其中所述2D帧的所述一个或多个相邻块包含仅在所述360视频空间中与所述2D帧的所述第一块相邻的一个或多个块；范围调整器，以通信方式耦合到所述显示处理器，以基于所述2D帧的搜索区域调整对于所述2D帧的搜索范围；以及视口管理器，以通信方式耦合到所述显示处理器，以确定对于所述2D帧的视口的请求是否扩展到所述2D帧的第一边缘之外，并用环绕图像信息填充所请求的视口。

【技术特征摘要】
2017.04.01 US 15/4770141.一种电子处理系统，包括：显示处理器，生成用于显示器的图像数据；存储器，以通信方式耦合到所述显示处理器，以存储对应于来自360视频空间的投影的二维（2D）帧；质量选择器，以通信方式耦合到所述显示处理器，以基于来自所述2D帧的一个或多个相邻块的质量信息选择用于所述2D帧的第一块的质量因子，其中所述2D帧的所述一个或多个相邻块包含仅在所述360视频空间中与所述2D帧的所述第一块相邻的一个或多个块；范围调整器，以通信方式耦合到所述显示处理器，以基于所述2D帧的搜索区域调整对于所述2D帧的搜索范围；以及视口管理器，以通信方式耦合到所述显示处理器，以确定对于所述2D帧的视口的请求是否扩展到所述2D帧的第一边缘之外，并用环绕图像信息填充所请求的视口。2.如权利要求1所述的系统，进一步包括：运动估计器，以通信方式耦合到所述显示处理器，以基于颜色信息和深度信息二者估计运动信息。3.如权利要求2所述的系统，其中所述运动估计器将进一步基于所述深度信息确定第一运动估计，并基于所述第一运动估计和所述颜色信息确定第二运动估计。4.如权利要求1所述的系统，其中如果所述第一块被确定成是所述360视频空间中的所述第二块的邻居，则所述质量选择器将进一步基于用于所述第一块的量化参数信息选择用于所述第二块的量化参数。5.如权利要求1所述的系统，其中所述2D帧对应于所述360视频空间的等量矩形投影，并且其中所述范围调整器将进一步将对于所述2D帧的极点区域的第一搜索范围调整成相对大于对于所述2D帧的中央区域的第二搜索范围。6.如权利要求1所述的系统，其中所述视口管理器将进一步用从与360视频空间中的所述第一边缘毗连的所述帧的第二边缘开始的图像信息填充所请求的视口。7.一种图形设备，包括：编码器，对二维（2D）帧的第一块进行编码，其中所述2D帧对应于360视频空间的投影；以及质量选择器，以通信方式耦合到所述编码器，以确定所述第一块是否是所述360视频空间中的所述2D帧的第二块的邻居，并且如果所述第一块被确定成是所述360视频空间中的所述第二块的所述邻居，则基于用于所述第一块的质量信息选择用于所述第二块的质量因子。8.如权利要求7所述的设备，其中如果所述第一块被确定成是所述360视频空间中的所述第二块的所述邻居，则所述质量选择器将进一步基于用于所述第一块的量化参数信息选择用于所述第二块的量化参数。9.如权利要求7所述的设备，其中所述质量选择器将进一步确定用于所述第一块的第一质量因子与所选择的质量因子之间的差，并且调整所选择的质量因子以将所述差保持在差阈限内。10.如权利要求7所述的设备，其中所述编码器将进一步基于所选择的质量因子对所述2D帧的所述第二块进行编码。11.如权利要求7所述的设备，进一步包括：范围调整器，以通信方式耦合到所述编码器，以基于所述2D帧的搜索区域调整对于所述2D帧的搜索范围。12.如权利要求7所述的设备，进一步包括：视口管理器，以通...

【专利技术属性】
技术研发人员：J雷，A阿普，A穆罕默迪，HF陈，JD敖，SH李，S巴兰，张习民，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US