图像处理制造技术

一种对使用广角透镜所捕获的输入图像进行编码的方法，包括：对于图像区域集合中的至少一些，根据所述输入图像中的图像区域大小与已编码图像中的图像区域大小之间的编码器映射增加或降低这些图像区域相对于所述图像区域集合中的其它图像区域的大小。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像处理。
技术介绍
在此所提供的“背景”描述目的是总体上提出本公开的上下文。目前署名的专利技术人的工作对于在该背景部分中对其进行描述的程度以及在提交时可以并非另外限定为现有技术的描述的各方面既不明确地也不暗含地认为针对本专利技术的现有技术。存在用于对图像进行处理、编码并且压缩的各种技术。然而，这些技术总体上涉及(例如矩形像素阵列所呈现的)平面图像，而且也并未倾向于考虑图像失真。前述段落已经是通过总体概述的方式提供的，而且并非意图限制所附权利要求的范围。将通过参照结合附图进行的以下具体实施方式连同其它优点一起最佳地理解所描述的实施例。
技术实现思路
本公开的各个方面和特征限定于所附权利要求中以及所述描述的文本内，并且至少包括一种图像处理方法、一种图像处理装置以及计算机软件。附图说明当结合附图考虑时，通过对以下详细描述的参照，将更容易地获得本专利技术的更完全的理解及其很多附带优点，并且其变得更好理解，其中：图1示意性示出具有一个或多个关联相机的计算机游戏机；图2示意性示出具有关联显示器的计算机游戏机；图3更详细地示意性示出图1的布置的部分；图4示意性示出计算机游戏机的内部结构；图5示意性示出编码技术；图6示意性示出解码技术；图7–图15是示出图5和图6的技术中的级的示例图像；图16示意性示出用于编码的小片结构；图17示意性示出用于显示的小片结构；图18示意性示出球面全景图像；图19示意性示出用于捕获球面全景图像的相机布置；图20示意性示出编码技术；图21示意性示出解码和显示技术；图22和图23示意性示出图像映射；图24示意性示出用于将全景图像编码为配对子图像的技术；图25示意性示出用于对配对子图像进行解码以生成全景图像的技术；图26示意性示出图24的技术所应用的处理；图27示意性示出操作头戴式显示器(HMD)的用户；图28示意性示出用于HMD的视频显示技术；以及图29示意性示出用于HMD进行的视频显示的初始化处理。具体实施方式现参照附图，图1示意性示出具有一个或多个相机20的关联集合的计算机游戏机10，计算机游戏机提供用于执行以下所讨论的方法的图像处理装置的示例，例如，图像编码装置，配置为：对使用广角透镜所捕获的输入图像进行编码，所述装置包括：编码器，配置为：对于图像区域集合中的至少一些，根据所述输入图像中的图像区域大小与已编码图像中的图像区域大小之间的编码器映射增加或降低这些图像区域相对于所述图像区域集合中的其它图像区域的大小，和/或图像解码装置，配置为：对上述编码装置所编码的图像进行解码，包括：图像呈现器，配置为：根据已编码图像的区域与所呈现的图像的区域之间的解码器映射呈现所述图像，所述映射与所述编码器映射互补。一个或多个相机20提供对游戏机10的输入。例如，游戏机可以对相机所捕获的图像进行编码，以用于存储和/或发送。随后，该游戏机或另一游戏机可以对已编码图像进行解码，以用于显示。以下将参照图4讨论游戏机10的内部操作中的一些，但在该级，在描述中，将游戏机10描述为能够接收和/或处理相机数据作为输入并且可选地具有其它输入设备(例如游戏控制器、键盘、计算机鼠标等)以及一个或多个输出设备(例如显示器(未示出)等)的通用数据处理设备是足够的。注意，虽然关于游戏机描述实施例，但这仅是更宽泛的数据处理技术的示例，并且本公开可应用于其它类型的数据处理系统(例如个人计算机、平板计算机、移动电话等)。通常，在至少一些实施例中，相机所捕获的图像经受各种处理技术，以提供图像的改进的编码(和/或随后改进的解码)。将描述用于实现该目的的各种技术。图2示意性示出与用户显示器60关联的游戏机(其可以是与图1中相同的游戏机10、或另一游戏机——或确实，如以上所讨论的通用数据处理装置)。显示器可以是例如面板显示器、3-D显示器、头戴式显示器(HMD)等，或确实这些类型的设备中的两个或更多个。在图2所示的一般水平，游戏机10进行动作，以接收和/或重获已编码图像数据，对图像数据进行解码，并且提供其以用于经由用户显示器60显示。图3更详细地示意性示出图1的布置的部分。应理解，游戏机10可以执行很多不同的功能，但将描述与本技术有关的这些功能的子集。在图3中，来自相机的图像传递到处理级30，其执行图像的初始处理。取决于图像的类型，该处理可以是(例如)：将多个相机图像组合为单个全景图像(例如球面或部分球面全景图像)，或补偿所捕获的图像中的透镜失真。以下将讨论这些技术的示例。所处理的图像传递到映射级40，其将图像映射为所谓的图像小片，以用于编码。在此，术语“小片”用在普通意义上，以指示用于编码的图像的图像区域。在一些示例(例如以下待描述的示例)中，小片可以是毗邻地布置的矩形区域，从而整个图像区块为小片的集合所涵盖，但仅一个小片与任何特定图像区块对应。然而，可以使用其它布置(例如，小片并非是矩形的布置、每个图像区块与它们的各个小片之间不存在一对一映射的布置等)。本公开的显著特征是布置小片的方式。以下将讨论其它细节。映射为小片的图像然后传递到编码和存储/发送级50。以下更详细地讨论该情况。图4示意性示出计算机游戏机(例如计算机游戏机10)(其如所讨论的那样是通用数据处理机器或图像处理装置的示例)的内部结构的部分。图4示出中央处理单元(CPU)100、硬盘驱动器(HDD)110、图形处理单元(GPU)120、随机存取存储器(RAM)130、只读存储器(ROM)140以及接口150，全都通过总线结构160连接到彼此。HDD110和ROM140是机器可读非瞬时存储介质的示例。接口150可以提供对热相机20的接口、对其它输入设备的接口、对计算机网络(例如互联网)的接口、对显示设备的接口(图4中未示出，但例如与图2的接口60对应)等。CPU100和GPU120在HDD110、RAM130和/或ROM140所存储的适当的计算机软件的控制下执行图4所示的装置的操作，以执行本描述中所描述的操作中的一个或多个。应理解，该计算机软件以及提供或存储该软件的存储介质(包括非瞬时机器可读存储介质)看作本公开的实施例。图5示意性示出编码技术。将结合所谓的鱼眼透镜(在此用于描述广角透镜的术语)所捕获的示例图像描述该技术，鱼眼透镜因为其广视场所以在所捕获的图像中引起图像失真。然而，技术的各方面可以应用于其它类型的透镜(例如具有一系列视场内的一个视场的透镜)。将参照图7-图15描述示例图像，以示出图5所示的级中的一些。在步骤200，例如，通过具有广角透镜的相机捕获用于编码的图像。在步骤210，如果适当，则校正所捕获的图像，以移除或至少减少或补偿鱼眼(广角)透镜所产生的失真，并且，如果正使用立体图像配对，则所捕获的图像对准立体图像配对中的另一个。在一些示例中，校正后的图像可以具有比输入图像更高的像素分辨率。通常，认为所得线性图像更适合于随后处理，并且在一些方面中随后处理更容易应用于之。在这些示例中，所捕获的图像因此经受两级处理。在第一级，所捕获的图像作为非线性或失真的图像的示例受处理，从而消除或至少减少这些非线性失真。在以下待讨论的第二级，失真得以减少的图像然后失真，以用于进一步编码，例如，从而将更大的已编码图像分辨率提供给已编码图像的中心区域。步骤210提供本文档来自技高网...

【技术保护点】
一种对使用广角透镜所捕获的输入图像进行编码的方法，所述方法包括：对于图像区域集合中的至少一些，根据所述输入图像中的图像区域大小与已编码图像中的图像区域大小之间的编码器映射，增加或降低那些图像区域相对于所述图像区域集合中的其它图像区域的大小。

【技术特征摘要】
【国外来华专利技术】2014.03.17 GB 1404734.41.一种对使用广角透镜所捕获的输入图像进行编码的方法，所述方法包括：对于图像区域集合中的至少一些，根据所述输入图像中的图像区域大小与已编码图像中的图像区域大小之间的编码器映射，增加或降低那些图像区域相对于所述图像区域集合中的其它图像区域的大小。2.如权利要求1所述的方法，包括步骤：将图像校正应用于所述输入图像，以补偿所述广角透镜所产生的图像失真。3.如权利要求2所述的方法，其中，所述应用步骤配置为：生成具有比所述输入图像更高的像素分辨率的校正图像。4.如前述权利要求中的任一项所述的方法，其中，所述编码器映射是这样的：一个或多个中心图像区域在大小方面增加，并且一个或多个外围图像区域在大小方面降低。5.如前述权利要求中的任一项所述的方法，包括步骤：提供指示所捕获的图像成为图像区域的划分的元数据。6.如前述权利要求中的任一项所述的方法，包括步骤：提供指示所述图像区域中的至少一些的大小方面的增加或降低的元数据。7.如前述权利要求中的任一项所述的方法，其中，所述增加或降低大小的步骤包括：根据所捕获的图像的内容和/...

【专利技术属性】
技术研发人员：IH比克斯塔夫，SW拉戈巴达亚尔，
申请(专利权)人：索尼电脑娱乐欧洲有限公司，
类型：发明
国别省市：英国;GB