在长宽比之间转换的方法、存储介质和相机系统技术方案

相机系统捕获处于源长宽比的图像并且向输入图像应用变换以将该图像缩放和扭曲，以便生成具有与源长宽比不同的目标长宽比的输出图像。输出图像具有与输入图像相同的视场，保持图像分辨率，并且将畸变限制于不明显影响观看体验的水平。在一个实施例中，输出图像相对于输入图像被非线性地扭曲，使得输出图像中相对于输入图像的畸变在输出图像的角落区域中比在输出图像的中心区域中更大。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求2013年8月22日提交的NicholasD.Woodman等人的题目为“ConversionBetweenAspectRatiosinCamera”的美国临时专利申请号61/869,029和2014年2月14日提交的GoPro公司的题目为“ConversionBetweenAspectRatiosinCamera”的美国专利技术专利申请号14/180,887的权益，其内容通过引用并入于此。
技术介绍
在长宽比之间转换是图像和视频处理领域中的常见问题。例如，根据16:9长宽比显示图像的显示器可以接收原本根据4:3长宽比捕获的图像并且执行长宽比转换以将图像适配到显示器。诸如剪裁、线性缩放、以及填补之类的常规转换技术均导致图像或者视频的可察觉的质量降低。例如，剪裁从图像移除了内容并且减少了图像的视场。线性缩放保持了完整视场，但是将可察觉的畸变引入到图像中。例如，如果图像被竖直压缩和/或水平拉伸以从4:3转换为16:9长宽比，场景中的特征相对于原始图像将显得“矮和胖”。填补保持了完整视场而无畸变，但是导致图像的边和/或顶部周围的未使用的显示空间，因此致使图像相对于显示器显得过小。附图说明图1是图示了相机系统的实施例的框图。图2A是图示了用于将图像从源长宽比转换为目标长宽比的过程的实施例的流程图。图2B是被从源长宽比转换为目标长宽比的示例图像的集。图3是示出了处于源长宽比的原始图像、使用剪裁技术被转换为目标长宽比的剪裁图像、以及使用非线性扭曲技术被转换为目标长宽比的非线性扭曲图像的示例图像的第一集。图4是示出了处于源长宽比的原始图像、使用剪裁技术被转换为目标长宽比的剪裁图像、以及使用非线性扭曲技术被转换为目标长宽比的非线性扭曲图像的示例图像的第二集。图5是图示了用于将水平扭曲应用于图像的功能的实施例的图。图6是图示了用于将竖直扭曲应用于图像的功能的实施例的图。具体实施方式附图(图)和以下描述涉及仅通过图示的方式的优选实施例。应该注意，根据以下讨论，本文中所公开的结构和方法的备选实施例将容易被认为是可以在不脱离所要求保护的原理的情况下采用的可行备选方案。现在将详细参照若干实施例，在附图中图示了这些实施例的示例。要注意的是，只要可行，相似或者相同的附图标记可以在图中使用并且可以指示相似或者相同的功能。附图仅为了说明目的描绘了所公开的系统(或者方法)的实施例。本领域技术人员将容易从以下描述意识到，本文中所图示的结构和方法的备选实施例可以在不脱离本文中描述的原理的情况下被采用。概述相机系统包括图像传感器、处理器、以及存储可由处理器执行的指令的非瞬态计算机可读储存介质。图像传感器捕获具有源长宽比的输入图像。处理器将变换应用到输入图像以将该图像缩放和扭曲，以生成具有与源长宽比不同的目标长宽比的输出图像。输出图像具有与输入图像相同的视场，保持图像分辨率，并且将畸变限制于不明显影响观看体验的水平。在一个实施例中，输出图像相对于输入图像被非线性扭曲，使得输出图像中相对于输入图像的畸变在输出图像的角落区域中比在输出图像的中心区域中更大。处理器输出具有目标长宽比的输出图像。在一个实施例中，长宽比转换直接在相机本身上而不是在外部后处理设备(诸如显示设备)中执行。这使得相机能够以期望的目标长宽比将图像直接输出到显示器，而不需要通过显示设备转换。例如，原本地根据4:3长宽比捕获图像的相机可以执行转换并且根据16:9长宽比输出可以直接被显示在16:9显示设备上的图像。此外，在一个实施例中，转换可以基本上实时地发生，使得以源长宽比捕获的图像可以基本上无延迟地以目标长宽比输出。有益地，由于长宽比转换保留图像的整个视场，经转换的图像可以被恢复回到其原始长宽比而无任何视场或者分辨率损失。此外，由于长宽比差异由相机系统处理，除了在相机上选择期望的输出视频格式之外，终端用户不需要做出任何附加的调节。本文中所描述的实施例可以应用于单独的图像和视频(其包括图像序列(或者“帧”))两者。示例相机系统图1图示了示例相机系统102的实施例。相机系统102包括图像传感器104、视频存储106、以及处理单元108。诸如控制界面、显示屏等之类的相机系统102的其它可选部件可以为了描述上的清楚而从图中省略。图像传感器104捕获数字图像或者视频。因为视频包括图像序列(或者“帧”)，本文中涉及图像的描述可以相似地被应用于视频，并且反之亦然。每个被捕获的图像包括像素的二维阵列。被捕获的帧描绘“场景”，其可以包括由被捕获的像素表示的例如风景、人物、物体等。每个像素表示数字视频中的被捕获场景中被描绘的点。此外，每个像素位于指代例如帧内的像素的(x,y)坐标的像素位置。例如，像素可以包括描述在帧中的(x,y)坐标的特定集处由图像传感器104感测的颜色的相对强度的{红,绿,蓝本文档来自技高网...

【技术保护点】
一种用于在相机系统中在长宽比之间转换的方法，包括：通过相机的图像传感器捕获具有源长宽比的输入图像；通过所述相机的处理设备向所述输入图像应用变换以将所述图像缩放和扭曲，以便生成具有目标长宽比的输出图像，所述目标长宽比与所述源长宽比不同，所述输出图像具有与所述输入图像相同的视场，并且所述输出图像相对于所述输入图像被非线性地扭曲，使得所述输出图像中相对于所述输入图像的畸变在所述输出图像的角落区域中比在所述输出图像的中心区域中更大；以及通过所述相机输出具有所述目标长宽比的所述输出图像。

【技术特征摘要】
【国外来华专利技术】2013.08.22 US 61/869,029;2014.02.14 US 14/180,8871.一种用于在相机系统中在长宽比之间转换的方法，包括：
通过相机的图像传感器捕获具有源长宽比的输入图像；
通过所述相机的处理设备向所述输入图像应用变换以将所述图像缩放和扭曲，以便生
成具有目标长宽比的输出图像，所述目标长宽比与所述源长宽比不同，所述输出图像具有
与所述输入图像相同的视场，并且所述输出图像相对于所述输入图像被非线性地扭曲，使
得所述输出图像中相对于所述输入图像的畸变在所述输出图像的角落区域中比在所述输
出图像的中心区域中更大；以及
通过所述相机输出具有所述目标长宽比的所述输出图像。
2.根据权利要求1所述的方法，其中向所述图像应用所述变换以将所述图像缩放和扭
曲包括：
向所述输入图像应用缩放函数以线性地拉伸或者压缩所述输入图像，以便生成具有所
述目标长宽比的缩放图像；以及
向所述缩放图像应用非线性扭曲函数，以减少所述缩放图像的中心区域相对于所述输
入图像的畸变，并且增加所述缩放图像的角落区域相对于所述输入图像的畸变。
3.根据权利要求1所述的方法，其中向所述图像应用所述变换以将所述图像缩放和扭
曲包括：
向所述输入图像应用非线性扭曲函数以生成扭曲图像，所述扭曲图像具有所述扭曲图
像的中心区域相对于所述输入图像的减少的畸变和所述扭曲图像的角落区域相对于所述
输入图像的增加的畸变；
向所述扭曲图像应用缩放函数以将所述扭曲图像线性地拉伸或者压缩，以便生成具有
所述目标长宽比的所述输出图像。
4.根据权利要求1所述的方法，其中应用所述变换包括应用执行扭曲和缩放两者的组
合函数。
5.根据权利要求1所述的方法，其中应用所述变换包括：
独立于竖直位置，作为像素的水平像素位置的非线性函数，在水平方向上将所述输入
图像的所述像素移位；以及
作为所述像素的水平像素位置和竖直像素位置的非线性函数，在竖直方向上将输入图
像的所述像素移位。
6.根据权利要求1所述的方法，其中应用所述变换包括：
独立于水平位置，作为像素的竖直像素位置的非线性函数，在竖直方向上将所述输入
图像的所述像素移位；以及
作为所述像素的水平像素位置和竖直像素位置的非线性函数，在水平方向上将输入图
像的所述像素移位。
7.根据权利要求1所述的方法，其中所述源长宽比包括4:3长宽比，并且所述目标长宽
比包括16:9长宽比。
8.一种存储用于在相机系统中在长宽比之间转换的指令的非瞬态计算机可读存储介
质，当由所述相机系统的处理器执行时，所述指令使得所述处理器执行步骤，所述步骤包
括：
捕获具有源长宽比的输入图像；
向所述输入图像应用变换以将所述图像缩放和扭曲以便生成具有目标长宽比的输出
图像，所述目标长宽比与所述源长宽比不同，所述输出图像具有与所述输入图像相同的视
场，并且所述输出图像相对于所述输入图像被非线性地扭曲，使得所述输出图像中相对于
所述输入图像的畸变在所述输出图像的角落区域中比在所述输出图像的中心区域中更大；
以及
输出具有所述目标长宽比的所述输出图像。
9.根据权利要求8所述的非瞬态计算机可读存储介质，其中向所述图像应用所述变换
以将所述图像缩放和扭曲包括：
向所述输入图像应用缩放函数以线性地拉伸或者压缩所述输入图像，以便生成具有所
述目标长宽比的缩放图像；以及
向所述缩放图像应用非线性扭曲函数，以减少所述缩放图像的中心区域相对于所述输
入图像的畸变，并且增加所述缩放图像的角落区域相对于所述输入图像的畸变。
10.根据权利要求8所述的非瞬态计算机可读存储介质，其中向所述图像应用...

【专利技术属性】
技术研发人员：N·D·伍德曼，S·乔拉，L·塞加佩利，S·P·坎贝尔，
申请(专利权)人：高途乐公司，
类型：发明
国别省市：美国;US