数码照片中基于深度图的透视校正制造技术

本发明专利技术涉及数码照片的后期处理，用于校正该照片中的透视畸变。该校正技术应用了场景的数码照片和与该照片有关且包括照片中每个像素深度的深度图，该深度是指场景的该像素部分与获取照片时相机的位置之间的距离。该校正技术是局部执行的，因而照片中任何像素的校正都取决于该像素的深度。该校正技术可被实施为将原始照片中每个像素转换到校正后的照片的新位置中。之后，必须利用原始像素值及其新位置，为校正后的照片的像素计算像素值。本发明专利技术与物体或场景涉及显著放大率差异的照片特别相关，例如自拍照、近距离照片和大型物体的延长线不与相机光轴正交(低/高角度拍摄)的照片。

【技术实现步骤摘要】
【国外来华专利技术】数码照片中基于深度图的透视校正
本专利技术涉及数码照片的后期处理，更具体地，涉及用于执行数码相片的后期处理的方法、数码存储持有软件、集成电路和带有相机的手持设备。
技术介绍
透视畸变摄影提供了3D世界的2D表达。这种3D到2D的转换是通过用镜头将3D场景投影到2D传感器上来实现的。距离很远时且若相机的光轴垂直于物体的延长线，透视投影提供“符合人们期望”的悦目照片。但是，如果到该物体的最近部分的距离与到该物体的最远部分的距离之间的比值非常大，近距离部分将以与较远部分不同的放大率呈现，而且这种放大率差异会导致在该物体的照片中的透视畸变。有许多为人熟知的透视畸变效应。当较大物体的延长线不与光轴正交时，由于最近端会比远端放大得更多，该物体中的平行线在照片中是不平行的。例如，当以低角度拍摄摩天大楼时就是这种情形。另一个经常遇到的效应是，当相机和照片中的物体之间的距离与该物体的拓扑结构(topology)的深度在同一数量级上时，近距离部分会显得与远距离部分不成比例。例如自拍照(由主体的手持相机拍出的自画像)就是这种情形，在自拍照中，相机与主体头部间的臂长距离(30至50cm)和鼻子与耳朵间的距离是大约相同的距离数量级，从而使得鼻子显得不自然的大。因此，透视畸变会影响其中物体或场景涉及高放大率差异的任何照片。透视校正透视校正的问题已经在一些特定应用场合被部分解决了，大多数时候使用需要用户交互的工具部分解决透视校正问题。现有工具允许校正以低和高角度拍摄的照片，但这些校正是基于相机位置与方向的了解或基于场景的假设几何结构(例如建筑物中的平行线)的整体校正。大多数目前可用的校正方案仅提供对由相机光学器件引起的光学畸变的校正，例如鱼眼状、筒形或枕形畸变校正。在这些情况下，对光学畸变进行建模，且应用整体校正。DxOViewPoint2(http://www.dxo.com/intl/photography/dxo-viewpoint/wide-angle-lens-software)代表了透视畸变校正方面的目前技术现状。DxOViewPoint应用程序允许对在使用广角镜头时由相机光学器件引起的透视畸变进行校正。该应用程序也允许通过执行不同的投影来对没影直线(vanishingline)进行校正，但是这种校正与相机和物体或场景间的距离无关，且不能同时校正近距离和远距离的失真。所施加的校正是整体的，且与照片中的场景或物体的拓扑结构无关地施加这种校正。整体校正基于由有关相机外部参数和相机内部参数和/或有关“先验(priori)”数据或用户定义数据的少数参数确定的平滑标准函数。例如，图1A至图1D示出了DxOViewPoint作出的图像校正，在照片和棋盘格图案上应用了同样的校正技术。图1A示出了原始照片和图案，在图1B中应用了透镜畸变校正，在图1C中应用了透视校正(自然模式(naturalmode))，在图1D中应用了透视校正(完全模式(completemode))。整体校正技术、例如DxOViewPoint中的那些校正技术的问题是，这些校正技术被应用在整个图像上，而不关注主体。通过用户交互可将校正调整到给定地点处的给定平面内的给定物体，但如果场景包括一些与相机距离不等的物体，则校正不会对所有物体都是令人满意的。有一些诸如SkinneePix和Facetune这样的智能手机应用允许用户改善自拍照的外貌。SkinneePix对照片进行简单的几何扭曲，依赖于仅包含位于照片中央的一张脸的照片，即意味着已知的几何结构。Facetune允许形状上的局部变化，但其在本质上是一种专门用于脸部照片的使用户可以控制局部扭曲的简化了的Photoshop工具。Facetune不是透视校正工具，且不依赖于图像深度信息。目前存在从多相机(例：RGB+TOF相机、立体相机或诸如MicrosoftKinect的投影光系统)中创建3D模型的软件。另一个例子是由沙玛·曼西(SharmaMansi)等人所著的论文“Kinect-VarietyFusion:ANovelHybridApproachforArtifacts-free3DTVContentGeneration”，该论文描述了通过结合多个传感器来提取深度信息，及使用MicrosoftKinect相机和投影光结构技术来改善深度图提取的方法。该论文的第二部分(SectionB，第2277页)涉及3DTV的内容生成，在相机相对于场景运动时，利用由这些相机捕获的场景的多张图像而生成场景的新视图。这些立体视觉技术并未提供自动校正单张照片中的透视畸变的方法。诸如OpenGL的3DGFX库也未提供利用深度信息进行透视校正的方法。时至今日，用于透视校正的可用工具不是整体校正就是局部校正，所述整体校正意味着物体的某些几何结构(直线、位于中央的脸)、记录状态(低角度、近距离)，所述局部校正需要用户交互以及他/她对自然或想要的场景或物体的外观的了解(通常称为photoshop修图)。
技术实现思路
本专利技术的目的是提供通过利用照片的深度信息执行透视校正来消除或补偿整张照片的局部放大率差异的方法、数码存储持有软件、集成电路和带有相机的手持设备。另一个目的是自动地执行这种透视校正，不需要与照片中的场景或物体的自然外观或拓扑结构或者相机的位置或方向有关的先验知识或用户输入。为了执行本专利技术的透视校正，仅有照片是不够的。需要相机与照片中每个像素的场景之间的距离，即深度图。一旦得到了照片和深度图，利用图像和适当的处理就能够重构由虚拟相机从保持同一视野的不同视角、即不同角度、更远距离拍摄的照片，于是消除或补偿了任何透视畸变。不使用对于整个图像使用的整体转换，而是根据距相关深度图的像素距离执行对每个像素的局部校正。因此，在第一方面中，本专利技术提供了用于在相机记录的场景的数码照片中执行透视校正的方法，该方法包括以下步骤：·对于像素(x,y)的阵列，提供由像素值P(x,y)代表的场景的数码照片，所述照片涉及透视畸变效应；·提供与该照片有关且包括深度d(x,y)的深度图，对于该像素阵列中的每个像素，该深度d(x,y)是指由该像素代表的场景的一部分与获得照片时相机的获得位置之间的距离；和·使用该场景的照片及其相关的深度图执行透视校正，该照片中的任何像素或区域的校正取决于该像素的深度或该区域中的像素的深度。在这种情况下，校正将被理解为做出某些改变以解决问题或产生预期效果的过程，不局限于按照标准使某物精确或正确而作出的改变。因此，透视校正从在照片中实现特定效果的角度来说，也可以是修正。而且，最初获得的照片或存在透视畸变的一些照片、即原始照片或源照片通常被称为“获取的照片”。已被执行过透视校正的最终照片、即最终照片或目标照片通常被称为“处理过的照片”。在更详细的定义中，深度是物体到相机镜头的物主平面(objectprincipalplane)之间的距离。对于移动电话来说，物主平面非常靠近移动电话中的相机的保护窗。应该注意的是，深度图可能具有与照片不同(且通常较低)的分辨率。在这种情况下，深度图可能会被提升等级，从而使其具有相同分辨率，且对于每个像素值都可获得有效深度信息。本专利技术的透视校正优点在于可以在没有用户交互的情况下执行，所以其可以作为提供即时改善的照片本文档来自技高网...

【技术保护点】
一种在利用相机记录的场景的数码照片中自动执行透视校正的方法，所述方法包括以下步骤：·对于像素(x,y)的阵列，提供由像素值P(x,y)代表的场景数码照片，所述照片涉及透视畸变效应；·提供与所述照片有关且包括深度d(x,y)的深度图，对于所述像素阵列中的每个像素，所述深度d(x,y)是指由所述像素代表的场景的一部分与获得照片时相机的获得位置之间的距离；和·使用所述场景的照片及其相关深度图来执行对所述照片的透视校正，即对于照片中的每个像素(x,y)，至少根据所述像素在所述获取位置的图像平面中的深度dacq(x,y)、其位置Dacq(x,y)以及虚拟相机位置和所述获取位置之间的位移C，来确定所述虚拟相机位置在图像平面中的新位置Dproc。

【技术特征摘要】
【国外来华专利技术】2014.09.05 EP 14183766.61.一种在利用相机记录的场景的数码照片中自动执行透视校正的方法，所述方法包括以下步骤：·对于像素(x,y)的阵列，提供由像素值P(x,y)代表的场景数码照片，所述照片涉及透视畸变效应；·提供与所述照片有关且包括深度d(x,y)的深度图，对于所述像素阵列中的每个像素，所述深度d(x,y)是指由所述像素代表的场景的一部分与获得照片时相机的获得位置之间的距离；和·使用所述场景的照片及其相关深度图来执行对所述照片的透视校正，即对于照片中的每个像素(x,y)，至少根据所述像素在所述获取位置的图像平面中的深度dacq(x,y)、其位置Dacq(x,y)以及虚拟相机位置和所述获取位置之间的位移C，来确定所述虚拟相机位置在图像平面中的新位置Dproc。2.根据权利要求1所述的方法，其中执行透视校正的步骤包括如下确定新位置：3.根据权利要求1或2所述的方法，其中执行透视校正的步骤进一步包括：还使用参考平面的深度dacq_ref来调节新位置的放大率，所述参考平面被选出用来保持所述深度图的选定平面的放大率。4.根据权利要求3所述的方法，其中执行透视校正的步骤包括如下确定新位置：5.根据前述任一权利要求所述的方法，其中执行透视校正的步骤进一步包括：使用所述像素值P(x,y)和所述新位置(x’,y’)来为像素(i,j)的阵列确定新像素值P(i,j)，通过将相应的像素值P(x,y)与新位置周围的像素(i,j)的...

【专利技术属性】
技术研发人员：T·斯沃特达尔，P·克雷恩，N·塔拉隆，J·迪马雷，
申请(专利权)人：波莱特股份有限公司，
类型：发明
国别省市：挪威,NO