本发明专利技术提供一种深度图建立方法与多镜头相机系统。该方法的步骤包括先以多镜头相机取得同一场景的多个图像，其中多镜头相机具有非平行镜头，从取得的相邻图像判断图像中重叠区域与非重叠区域，分别利用重叠区域内的两个图像中对应像素的像差信息建立重叠区域深度图，以及估计出非重叠区域内图像的一或多个非重叠区域深度图，再取得重叠区域深度图以及相邻的非重叠区域深度图的边界或重叠的区域，以拼接形成一全域深度图。
【技术实现步骤摘要】
本专利技术涉及一种深度图建立方法与多镜头相机系统，特别涉及一种多镜头相机系统，以及建立其中多镜头拍摄重叠与非重叠图像组合而成的深度图的方法。
技术介绍
深度图是一种包括图像中各物件深度信息的图像，此类图案通常以灰阶图案表示。图像中的深度信息也可称为Z深度(z-depth)，也就是表示一个X-Y平面方向之外的Z方向深度信息。因此可以根据图像中各物件的深度信息重建一个立体图像。根据以拍摄的图像建立立体图像的现有技术，多数是通过两个平行的镜头拍摄同一场景，并根据两个镜头分别取得的图像中的重叠区域建立一种深度图(depth map)，此深度图即为建立立体图像(3D image)的依据。上述两个镜头分别取得的图像投射在两个图像传感器，根据图像之间的像差即可运算出深度图，但每个镜头都有一定的视野(field of view,FOV)，两个视野不重叠的地方将无法产生深度图。
技术实现思路
为了能够在重叠区域较小等的特定情况下仍能建立整个场景图像完整的深度图，本专利技术提出一种深度图建立方法，以及执行此方法的多镜头相机系统，其中除了多镜头取得的图像中重叠的部分以根据视差信息所建立的深度图以外，非重叠的部分则以估算方式也建立其深度图，使得能够经结合后得到全域深度图。根据方法实施例，步骤包括先以多镜头相机取得同一场景的多个图像，其中各个图像包括至少一具有重叠区域的图像与至少一具有非重叠区域的图像，再判断各图像中重叠区域与非重叠区域。接着建立重叠区域内图像的一重叠区域深度图，可利用重叠区域内的两个图像中对应像素的像差得到各像素的深度信息，并据此建立此重叠区域深度图；再以一深度估计手段建立非重叠区域内图像的一或多个非重叠区域深度图。经取得重叠区域深度图以及相邻的一或多个非重叠区域深度图的边界或重叠的区域后，可拼接两种深度图而形成一全域深度图。根据系统实施例，多镜头相机系统包括有一多镜头模块，其中包括取得场景内第一图像的第一镜头模块，以及此场景内第二图像的第二镜头模块，两个镜头模块为不平行镜头；系统包括暂存图像的暂存单元；系统包括有一重叠区域判断单元，能自暂存单元取得第一图像与第二图像，以根据第一镜头模块与第二镜头模块的视野以及镜头与场景的距离判断第一图像与第二图像的重叠区域。系统以一重叠区域深度运算单元根据图像中对应像素的像差建立一重叠区域深度图，以及以一非重叠区域深度运算单元建立一或多个非重叠区域深度图；系统包括一拼接单元，可取得重叠区域深度图以及相邻的一或多个非重叠区域深度图的边界或重叠的区域后，拼接后形成一全域深度图。为了能更进一步了解本专利技术为实现既定目的所采取的技术、方法及功效，请参阅以下有关本专利技术的详细说明、附图，相信本专利技术的目的、特征与特点，当可由此得以深入且具体的了解，然而说明书附图仅提供参考与说明用，并非用来对本专利技术加以限制。【附图说明】图1显示一个照相机内两个非平行镜头拍摄同一场景的视野示意图之一；图2显示一个照相机内两个非平行镜头拍摄同一场景的视野示意图之二 ；图3A与3B显示拍摄同一场景取得的各区域示意图；图4显示利用消失点为基础的演算法来估算景深的示意图；图5显示为采用本专利技术深度图建立方法的多镜头相机系统实施例；图6显示的流程描述本专利技术深度图建立方法的实施例；图7示意显示深度图的拼接方法；图8显示本专利技术深度图建立方法中相邻深度图的拼接方法实施例。附图标记说明:照相机10第一镜头101第二镜头102第一视野Ia第二视野Ib重叠区域Ic第一传感器103第二传感器104照相机20第一镜头201第二镜头202第一视野2a第二视野2b重叠区域2c第一传感器203第二传感器204第一图像非重叠区域301第一图像重叠区域302第二图像重叠区域303 第二图像非重叠区域304图像区域a, b场景4消失点401物件4a, 4b, 4c, 4d, 4e第一镜头模块501第二镜头模块502暂存单元503重叠区域判断单元504重叠区域深度运算单元505非重叠区域深度运算单元506储存单元507拼接单元508输出单元509非重叠区深度图像701，702重叠区域深度图703图像区域C，d步骤S601?S615深度图建立方法流程步骤S801?S811拼接方法流程【具体实施方式】本专利技术提出一种深度图建立方法与多镜头相机系统，利用能够制作立体图像的双镜头摄影机，双镜头比如为一种具有两个非平行而相距有一距离的镜头，两个镜头取得图像的像差可以得到一个形成立体图像的深度信息，以制作一种深度图(Cbpth map)，再利用软件观看根据深度图所形成的立体图像。然而在一种具有非平行镜头的照相机，两个镜头分别所拍摄的图像的重叠区域相对非常狭小，如果只利用此重叠区得到深度图，深度图也非扩及整个画面，或是显得非常的狭小，于是本专利技术提出一种深度图建立方法与多镜头相机系统，其中方法的目的之一是通过拼接重叠及非重叠区的深度图，来产生较大的深度图应用。首先可参阅图1所示，其中描述一个具有两个非平行镜头模块的照相机拍摄同一场景的视野示意图，非平行镜头模块的设计即于设计时，两个镜头并非沿着同一个轴向设置，非平行设计的两个镜头(101、102)可以拍摄较广范围的景象。其中照相机10中包括有第一镜头101与第一传感器103组成的第一镜头模块，以及第二镜头102与第二传感器104组成的第二镜头模块，其中仅示意表示镜头与传感器的相对位置，而实际设计并非限于图中所示的方式。上述两个镜头模块位置相隔一段距离，同时拍摄同一场景。当以第一镜头模块(101,103)拍摄某场景时，拍摄范围如第一视野Ia所涵盖的景物；以第二镜头模块(102、104)拍摄同一场景则得到第二视野Ib所涵盖的景物。第一视野Ia与第二视野Ib之间则存在有重置区域lc。在照相机10拍摄同一场景时，从第一镜头模块(101、103)与第二镜头模块(102、104)分别拍摄的图像得到重叠区域Ic的图像，重叠区域Ic内的物件在不同的图像传感器成像的位置不同，也就是存在有一像差。据此像差即可得到相关物件的深度信息。因此，根据本说明书记载的实施例之一，可藉此原理得到重叠区域Ic内景象的深度图。重叠区域Ic以外的其他区域即为图像非重叠的区域，在一般技术下并不利于得到深度图，而本说明书所载专利技术所产生的全域深度图即涵盖了此非重叠区域所产生的深度图。照相机另一实施态样如图2所示的示意图。图中所示为一个具有两个非平行镜头模块的照相机20，照相机20包括有第一镜头201与第一传感器203组成的第一镜头模块，以及第二镜头202与第二传感器204组成的第二镜头模块。此例中，第二镜头202采用一种微透镜阵列镜头(micro lens array)，经第二镜头202擷取的图像将投射至第二传感器204。上述两个镜头模块相隔一段距离，第一镜头模块(201、203)拍摄范围如第一视野2a所涵盖的景物；第二镜头模块(202、204)能取得第二视野2b所涵盖的景物。第一视野2a与第二视野2b之间则存在有重叠区域2c。照相机20拍摄同一场景时，可利用重叠区域2c内的物件在不同的图像传感器的像差得到相关物件的深度信息，而重叠区域2c以外的图像非重叠区域则以说明书实施例所载方法估算得到深度图。于是，本专利技术所提出的深度图建立方法与多镜头相机系统本文档来自技高网...
【技术保护点】
一种深度图建立方法，其特征在于，所述的方法包括：以一具有至少一非平行镜头的多镜头相机取得同一场景的多个图像，其中各个图像包括至少一具有重叠区域的图像与至少一具有非重叠区域的图像；判断各图像中重叠区域与非重叠区域；建立该重叠区域内图像的一重叠区域深度图，其中是利用该重叠区域内的两个图像中对应像素的像差得到各像素的深度信息，据此建立该重叠区域深度图；以一深度估计手段建立该非重叠区域内图像的一或多个非重叠区域深度图；以及拼接该重叠区域深度图与相邻的一或多个非重叠区域深度图，以形成一全域深度图。
【技术特征摘要】
【专利技术属性】
技术研发人员：郑青峰，吴俊辉，
申请(专利权)人：光宝科技股份有限公司，吴俊辉，
类型：发明
国别省市：中国台湾;71
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。