System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 分级网格插值系统和方法技术方案_技高网
当前位置: 首页 > 专利查询>苹果公司专利>正文

分级网格插值系统和方法技术方案

技术编号:40448778 阅读:7 留言:0更新日期:2024-02-22 23:08
一种电子设备(10)可包括电子显示器(12),该电子显示器用于基于经处理图像数据来显示图像。该电子设备(10)还可包括图像处理电路(28),该图像处理电路用于确定具有被划分成网格分区(102)的多个网格点的分级网格(100)。与第一组网格分区(102)相关联的第一组网格点可包括到源帧(70)中的输入图像数据(64)的对应坐标的第一组映射。该图像处理电路(28)还可在该第一组网格点之间进行插值,以确定具有基于该第一组映射的到该输入图像数据(64)的对应坐标的第二组映射的第二组网格点。该图像处理电路(28)还可通过应用到该输入图像数据(64)的该第一组映射和该第二组映射来生成该经处理图像数据。

【技术实现步骤摘要】
【国外来华专利技术】


技术介绍

1、本公开整体涉及图像处理,并且更具体地,涉及本文使用的图像翘曲操作和像素网格。

2、本部分旨在向读者介绍可能与本公开的各个方面相关的本领域的各个方面,本公开的各个方面在下文中描述和/或受权利要求保护。该讨论被认为有助于为读者提供背景信息以便于更好地理解本公开的各个方面。相应地,应当理解,应就此而论阅读这些陈述,而不是作为对现有技术的认可。

3、电子设备通常使用一个或多个电子显示器通过显示一个或多个图像来呈现视觉信息,诸如文本、静态图像和/或视频。例如,此类电子设备可包括计算机、移动电话、便携式媒体设备、平板电脑、电视、虚拟现实头戴式耳机和车辆仪表板等。为了显示图像,电子显示器可至少部分地基于对应的图像数据来控制其显示器像素的光发射。

4、图像可由定义具有特定的像素值分辨率或分布的区域的图像数据来表示。然而,在一些情况下,可能需要改变像素值的分辨率或分布以考虑不同显示场景。例如,可使图像数据翘曲以考虑周围环境、显示特性、观看者的视点(pov)及可使观看者感知的图像失真的其他因素。因此,在显示之前,可处理图像数据以使用对像素值的量或分布的所需改变来翘曲图像,使得所感知的图像不失真。然而,用于执行此类翘曲的粗糙像素网格可能导致图像伪影,而精细像素网格可能增加资源使用和/或处理时间。另外,至少在一些情况下,当针对pov的变化进行翘曲时,可能显示不存在图像数据的对象,这可能导致图像伪影。


技术实现思路

1、下面阐述本文所公开的某些实施方案的概要。应当理解,呈现这些方面仅仅是为了向读者提供这些特定实施方案的简明概要,并且这些方面并非旨在限制本公开的范围。实际上,本公开可涵盖下文可能未作阐述的多个方面。

2、在一些实施方案中,对一些类型的翘曲例如视点(pov)翘曲的校正可利用像素网格来将输入图像数据中的像素位置映射到针对观看者的pov校正的翘曲位置。然而,使用较粗糙网格的翘曲可导致图像伪影,而较精细网格翘曲可对处理带宽造成负担和/或花费附加时间。为了避免图像伪影并提高效率,分级网格在执行翘曲操作时可具有可变网格分区大小。在一些实施方案中,分级网格可具有通过根据与图像数据的对应部分相关联的图像统计信息将网格分区重复地划分成四分之一而确定的四叉树网格结构。例如,可通过从64×64像素分区开始来确定分级网格。根据图像统计信息(例如,同质性、遮挡、感知深度、边缘或可保证更精细翘曲计算的其他图像特征),网格的特定64×64分区可维持完整分区,或该分区可被划分成四个32×32像素的分区。可根据图像统计信息来维持或进一步划分每个新分区,直到达到期望的粒度为止。此外,一些分区可由于在显示器的有效区域之外而被指定为无效,或者被指定为包括遮挡。如本文所讨论,无效区域可出于翘曲目的而被忽略以减小带宽,并且在需要时单独填充(例如,在有效区域中)。

3、在对每个分区的输入图像数据进行坐标映射的情况下,可使用分级插值来获得每个网格点的坐标。例如,对应于32×32像素分区的坐标可从64×64分区坐标进行插值。随后,对应于16×16像素分区的坐标可从32×32分区坐标进行插值,等等,直到针对每个网格点确定坐标映射为止。另外,在插值的每个阶段,如果分区大小的坐标可用(例如,网格被划分成小于64×64的分区),则对应像素的坐标可能已作为网格的一部分被计算且可代替进行插值而直接使用。

4、通过减少其中伪影可能性较小的区域中的翘曲计算并基于图像统计信息在某些区域中执行更精细的翘曲操作,可减少处理时间和/或带宽使用,同时维持图像质量。此外,减少的处理时间可提供对用户的位置/pov变化的实时或增强反馈。应当理解,网格大小是作为示例给出的并且是非限制性的。此外,所公开的关于像素网格的技术可用于多种不同图像处理操作中的任一者,包括但不限于翘曲诸如pov翘曲、几何失真翘曲、时间翘曲等。实际上,其他图像处理操作可利用分级网格结构来提高效率和/或减少处理时间。因此,为了改善图像质量和/或提高效率,本公开提供用于一般分级网格的技术。

本文档来自技高网...

【技术保护点】

1.一种电子设备,包括:

2.根据权利要求1所述的电子设备,其中所述图像处理电路被配置为在所述第二组网格点之间进行插值以确定所述多个网格点中的第三组网格点,其中所述第三组网格点包括至少部分地基于所述第二组映射的到所述输入图像数据的对应坐标的第三组映射。

3.根据权利要求1所述的电子设备,其中所述第一组网格点以与所述第一组网格分区的大小相关联的粒度来表征翘曲操作。

4.根据权利要求1所述的电子设备,其中所述第二组映射的所述对应坐标包括多个x坐标分量和多个y坐标分量。

5.根据权利要求4所述的电子设备,其中所述多个x坐标分量独立于所述多个y坐标分量进行插值。

6.根据权利要求5所述的电子设备,其中所述多个x坐标分量与所述多个y坐标分量并行进行插值。

7.根据权利要求1所述的电子设备,其中应用所述第一组映射包括:

8.根据权利要求1所述的电子设备,其中在所述第一组网格点之间进行插值以确定所述第二组网格点包括双曲率插值。

9.根据权利要求8所述的电子设备,其中所述图像处理电路被配置为经由双线性插值以1x1网格粒度对第三组网格点进行插值。

10.根据权利要求1所述的电子设备,其中确定所述分级网格包括:至少部分地基于与所述输入图像数据相关联的图像统计信息来为所述多个网格分区选择粒度。

11.根据权利要求10所述的电子设备,其中所述输入图像数据的区域的所述图像统计信息包括确定以下内容:

12.一种方法,包括:

13.根据权利要求12所述的方法,其中所述经处理图像数据位于不同于所述源帧的翘曲帧中。

14.根据权利要求12所述的方法,其中生成所述分级网格包括至少部分地基于与所述输入图像数据相关联的图像统计信息来为所述多个相应网格分区选择粒度。

15.根据权利要求14所述的方法,其中为所述多个相应网格分区选择所述粒度包括:将均匀网格自顶向下划分成多个不同粒度。

16.一种图像处理电路,所述图像处理电路被配置为对分级网格的网格点进行插值,其中所述分级网格的所述网格点与从源帧中的图像数据到翘曲帧中的所述网格点的映射相关联,其中对所述网格点进行插值包括:

17.根据权利要求16所述的图像处理电路,其中所述图像处理电路被配置为至少部分地基于翘曲操作来确定所述分区中的每个分区的所述特性网格点。

18.根据权利要求17所述的图像处理电路,其中所述图像处理电路被配置为响应于所述第一组网格点的插值网格点由特性网格点定义而用所述特性网格点代替所述插值网格点。

19.根据权利要求16所述的图像处理电路,其中对所述第一组网格点进行插值包括双曲率插值。

20.根据权利要求16所述的图像处理电路,其中所述第一间距小于32像素乘32像素。

21.一种系统,包括:

22.根据权利要求21所述的系统,其中用于生成所述分级网格的所述装置包括:

23.根据权利要求21所述的系统,其中用于生成所述分级网格的所述装置包括:

...

【技术特征摘要】
【国外来华专利技术】

1.一种电子设备,包括:

2.根据权利要求1所述的电子设备,其中所述图像处理电路被配置为在所述第二组网格点之间进行插值以确定所述多个网格点中的第三组网格点,其中所述第三组网格点包括至少部分地基于所述第二组映射的到所述输入图像数据的对应坐标的第三组映射。

3.根据权利要求1所述的电子设备,其中所述第一组网格点以与所述第一组网格分区的大小相关联的粒度来表征翘曲操作。

4.根据权利要求1所述的电子设备,其中所述第二组映射的所述对应坐标包括多个x坐标分量和多个y坐标分量。

5.根据权利要求4所述的电子设备,其中所述多个x坐标分量独立于所述多个y坐标分量进行插值。

6.根据权利要求5所述的电子设备,其中所述多个x坐标分量与所述多个y坐标分量并行进行插值。

7.根据权利要求1所述的电子设备,其中应用所述第一组映射包括:

8.根据权利要求1所述的电子设备,其中在所述第一组网格点之间进行插值以确定所述第二组网格点包括双曲率插值。

9.根据权利要求8所述的电子设备,其中所述图像处理电路被配置为经由双线性插值以1x1网格粒度对第三组网格点进行插值。

10.根据权利要求1所述的电子设备,其中确定所述分级网格包括:至少部分地基于与所述输入图像数据相关联的图像统计信息来为所述多个网格分区选择粒度。

11.根据权利要求10所述的电子设备,其中所述输入图像数据的区域的所述图像统计信息包括确定以下内容:

12.一种方...

【专利技术属性】
技术研发人员:周正周建
申请(专利权)人:苹果公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1