内容感知的广角图像制造技术

本发明专利技术涉及内容感知的广角图像，描述了涉及数字图像的技术。总体上，本发明专利技术中所描述的主题的一方面可以实施为一种方法，所述方法包括以下动作：接收源广角图像；标识该源广角图像的一个或多个局部显著特征；根据利用了所标识的一个或多个空间上可变的显著特征的约束来计算从源广角图像到二维映射广角图像的映射；利用计算出的映射来绘制映射后的广角图像以使得映射后的广角图像相对于源广角图像的失真而言降低了局部显著特征的失真。

【技术实现步骤摘要】

本专利技术涉及数字图像。图像捕获设备，例如照相机，可被用来捕获部分视场的图像。此外，这样的图像捕获设备可以具有变化的视场。由特定照相机捕获的视场部分取决于照相机镜头的焦距和底片大小。广角镜头的焦距小于普通镜头(例如，镜头的焦距基本上等于底片大小的对角线长度)。对于不变的底片大小，相对于较大焦距的镜头而言，广角镜头能捕获更大的视场。任何由输入设备捕获的图像经常包括一些失真。例如，照相机可能使得在图像中所描述的目标的大小失真，以致于远处目标看起来比近处目标小。特别地，捕获图像导致部分视场的投影。该投影可以根据图像捕获设备的视点来改变，这导致了在捕获图像之间的透视失真。一些广角图像提供具有大视场的直线图像(例如，用于35mm照相机的24mm广角镜头)。其它广角镜头不能提供矩形图像，例如一些鱼眼镜头。鱼眼镜头提供广角半球图像，其可以被修剪成一个传统的矩形图像。此外，广角镜头固有地会产生额外的失真，特别是在接近边缘处，例如在现实世界中看起来是直的线在此处看起来是弯的，而圆形则被拉伸成椭圆形。另一种形式的广角图像是将两个或更多的分量图像拼合到 一起形成的合成图像(例如全景图像)。因此，为了形成更大视场的图像，可以获取多个部分视场的重叠图像，并且这些图像可以拼合到一起以形成合成图像。该合成图像也可能包含失真，包括透视失真。
技术实现思路
本说明书描述了涉及数字图像的技术。总体上，本i^明书中描述的主题的 一方面可以实施为包括以下动作的方法接收源广角图像；标识源广角图像中的一个或多个局部显著特征；利用所标识的一个或多个显著特征来计算从源广角图像到二维映射广角图像的空间上可变的映射；利用计算出的映射来绘制映射后的广角图像，以使得映射后的广角图像相对于源广角图像的失真而言降低了所述局部显著特征的失真。这方面的其它实施方式包括相应的系统、装置以及计算机程序产品。这些以及其它实施方式可选4奪地包括一个或多个下述特征。接收源广角图像包括接收与源广角图像相关联的照相机的一个或多个特性，还包括利用照相机的一个或多个特性将源广角图像投影到球表面上；标识局部显著特征包括检测源广角图像中的线；标识局部显著特征包括检测源广角图像中的面部；计算映射包括将离散限制方程的线性系统定义为局部显著性的函数；线性系统定义保形'性(conformality)约束、直线约束和平滑度约束；计算映射包括利用最小二乘法限制方程求解。该方法还包括存储映射后的广角图像。下一个或多个优点。源广角图像可被映射到表面上，使得固有的照相机失真降低。图像内容可被用来计算最优映射，为了降低显著图像内容的失真，该最优映射针对不同的图像区域而改变。所生成的映射后的广角图像降低了失真，以提供比由源广角图像提供的视图的表示更进一步匹配相对应的现实世界的视图。本专利技术的一个或多个实施方式的细节在下附的附图以及描述中得以阐述。本专利技术的其它特征、方面以及优点将从实施方式、附图及权利要求中变得明显。附图说明图1是用于以降低的失真映射广角图像的的示例方法的流程图；图2A是广角图像的示例；图2B是另一个源广角图像的示例；图3是投影在一个球体上的广角图像的示例；图4是示例线段的示图5是非平滑广角图像映射的示例；图6是映射后的广角图像的示例；图7是示例性的用户系统结构框图。在不同附图中同样的附图标记及名称表示同样的元件。具体实施例方式图1是用于以降低的失真映射广角图像的示例方法100的流程图。为了方便起见，针对执行方法100的系统来描述该方法100。系统接收102源广角图像。源广角图像可以是利用广角镜头(例如鱼眼镜头)捕获的图像或是由两个或更多个分量图像形成的合成图像。系统可以本地或者远程地从存储设备接收源广角图像。此外，可以响应于图像的用户标识(例如，从用户界面的用户选择)而获取源广角图像。在一些实施方式中，源广角图像包括附加信息(例如，作为与广角图像相关联的元数据)，例如，与源广角图像相关联的照相机参数(例如焦距、照相才几视角)。图2A是一个源广角图像200的示例。源广角图像200是通过具有特殊焦距的鱼眼镜头捕获的图像。此外，源广角图像200可以被修剪成矩形图像，而不是半球图像。在源广角图像200中可以看见图像失真。例如，广角图像中的失真包括直线的弯曲、局部拉伸和剪切、缩放变化以及朝向变化。例如，在源广角图像200中，表示窗户的框202的垂直线是弯曲的。此外，在源广角图像200中，前景中的个人204被拉伸。拉伸是由不均匀的缩放造成的(例如，沿着一个方向的缩放大于另一方向)。不均匀的缩放是损失保形性的原因之一，这将在下面详细介绍。图2B是另一个源广角图像201的示例。源广角图像201是一个广角直线透视图像。拉伸失真在源广角图像201的边缘清晰可见。7系统根据特定的球面投影将接收到的源广角图像投影104到球表面。广角图像的球面变换是一种几何变换，其提供了从广角图像的参考系到球表面上的投影图像的广角图像的变换。特别地，球面变换提供从平面坐标系统(例如，笛卡尔x、 y坐标或者平面极坐标半径p和角度e)到标识球面上的点的球坐标系，或者更特别的是，到地理坐标(例如，经度X和炜度O)的广角图像的变换。在一些实施方式中，系统利用与源广角图像相关联的照相机属性，特别是焦距，将源广角图像投影到球面上。在一些可选择的实施方式中，系统利用柱状投影将源广角图像投影到柱面上。对一个由X和O参数化表示的球面投影，图像上的每个点都可_义—义=由诸如 L的矢量符号标识。球面可根据在？u O)空间中的均匀栅格被离散化。栅格可由i和j来表征，其中i表示X方向上的步进移动(例如象素的指定数目)，j表示O方向的相应步进。这产生了球表面上的四边形网格，其中每个四边形的大小取决于i和j的具体范围，例如，0<i<w，并且(Kj〈h。变量w和h对应于四边形网才各在水平和竖直维度上的步进数，其取决于输入图像的大小。图3是投影到一个球上的投影的广角图像300示例。此外，栅格206在球表面以及投影的广角图像300上表示出来。示出的栅格206具有相对于经线O202和绵线人204的线。此外，当投影到球上时，广角图像300的局部是无失真的。例如，在球上，图像内容(例如两个人)以自然、无失真的形式被显示。因此，图1中的广角图像100显示的失真没有在球面投影的广角图像300中出现。系统标识106广角图像的显著特征。显著特征是在映射后的二维广角图像中不应该失真的图像局部特征。例如，标识广角图像的显著区域，以保留诸如脸部形状/缩放或者要保持为直线的线。类似地，广角图像的其它区域可以较为不显著。例如，表示空墙的区域可被标识为较少局部显著，因为此处的局部失真对映射后的二维广角图像的影响小。此外，图像里高对比度的区域或者尖锐的区域也可标识显著特征。在一些实施方式中，局部显著特征是人工标识的。例如，系统可以显示广角图像，用户可以标识图像中的脸部或者要保持为直线的线(例如，通过标识一个线段的端点)。在一些其它的实施方式中，显著特征是自动标识的。例如，可以利用不同的线检测技术，比如霍夫变换(Hough-transform)。类似地，脸部4企测技术可被用来标识图像中的脸，之后其可被标识为显著特征。基于所标识的显著特征，广角图像的球面投影被用来计算从球到本文档来自技高网...

【技术保护点】
一种方法，包括：　接收源广角图像；　标识所述源广角图像的一个或多个局部显著特征；　利用所标识的一个或多个显著特征来计算从所述源广角图像到二维映射广角图像的、空间上可变的映射；　利用计算出的映射来绘制映射后的广角图像，使得映射后的广角 图像相对于所述源广角图像的失真而言降低了所述局部显著特征的失真。

【技术特征摘要】
US 2008-8-8 61/087,567;US 2008-11-13 12/270,1421.一种方法，包括接收源广角图像；标识所述源广角图像的一个或多个局部显著特征；利用所标识的一个或多个显著特征来计算从所述源广角图像到二维映射广角图像的、空间上可变的映射；利用计算出的映射来绘制映射后的广角图像，使得映射后的广角图像相对于所述源广角图像的失真而言降低了所述局部显著特征的失真。2. 如权利要求l所述的方法，其中接收源广角图像包括接收与源广角图像相关联的照相机的一个或多个特性，该方法还包括利用照相机的一个或多个特性将所述源广角图像投影在球表面上。3. 如权利要求1所述的方法，其中标识局部显著特征包招险测所述源广角图像中的线。4. 如权利要求1所述的方法，其中标识局部显著特征包括检测所述源广角图像中的面部。5. 如权利要求1所述的方法，其中计算映射包括将离散约束方程的线性系统定义为局部显著性的函数。6. 如权利要求5所述的方法，其中线性系统定义保形性约束、直线约束和平滑度约束。7. 如权利要求1所述的方法，其中计算映射包括利用最小二乘法对约束方程求解。8. 如权利要求l所述的方法，还包括存储映射后的广角图像。9. 一种计算机程序产品，其编码在计算机可读介质上，可操作使得数据处理装置执行以下操作接收源广角图像；标识所述源广角图像的 一 个或多个局部显著特征；利用所标识的 一 个或多个显著特征来计算从所述源广角图像至)J二维映射广角图像的、空间上可变的映射；利用计算出的映射来绘制映射后的广角图像，以使得映射后的广角图像相对于所述源广角图像的失真而言降低了所述局部显著特征的失真。10. 如权利要求9所述的计算机程序产品，其中接收源广角图像包括接收与所述源广角图像相关联的照相机的一个或多个特性，该计算机程序产品还可操作使得数据处理装置执行以下操作利用照相机的一个或多个特性将所述源广角图...

【专利技术属性】
技术研发人员：A阿加瓦拉，R卡罗尔，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：US[美国]