拍摄装置、图像处理方法以及程序制造方法及图纸

本公开涉及拍摄装置、图像处理方法以及程序。拍摄装置从多个图像对和摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息，基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角对应长度或观察角的信息，对所述图像对各自的用于确定所述三维位置的信息进行加权求和，输出应用了加权求和值的所述计测点的位置信息。

【技术实现步骤摘要】
拍摄装置、图像处理方法以及程序
本公开涉及拍摄装置、图像处理方法以及程序。
技术介绍
例如专利文献1以及2所公开的那样，已知使用具备鱼眼透镜的拍摄装置来对目标物进行测位的技术。使用了鱼眼透镜的测位，有可以进行广阔范围的测距这一优点。另一方面，鱼眼透镜的视场角大概宽为180度或其以上，因此，存在摄像头的视场中进入其它的摄像头的可能性。更严密地说，存在摄像头的视场中进入其它的摄像头的透镜中心或光学中心的可能性。该透镜中心或光学中心是立体测距中被称为极点(epipole)的点。从关注摄像头观察，在通过极点的线上，视差与距离无关地成为固定的，不可以进行立体测距。另外，即便在与极点完全不一致的情况下，对于靠近极点的方向，视差的变化相对于距离的变化也会变少，测距精度会降低。在具备两个拍摄装置的双目鱼眼摄像头的情况下，在上述极点，不能进行立体测距。但是，在具备三个以上的拍摄装置的三目以上的鱼眼摄像头的情况下，能够选择各自由摄像头对构成的多个立体对，因此，在某立体对中由于极点而无法进行立体测距的情况下，也可以通过其他的立体对来进行立体测距。例如，进行立体测距的摄像头对的组合，在三目的情况下是3C2＝3，在四目的情况下是4C2＝6。这些之中，若考虑将关注摄像头作为基准的包含该关注摄像头的摄像头对的组合，在三目的情况下是2，在四目的情况下是3。若进行多个立体测距，则即便基准摄像头相同，由于另一方的摄像头不同，因此，作为其结果，各自的极点不同。因此，关于通过1个摄像头对的立体测距由于极点而无法进行立体测距的计测点以及由于靠近极点而难以得到测距精度的计测点，也能够通过其它的摄像头对的立体测距，来取得计测点的三维位置。对于以上那样的多目鱼眼摄像头中的多个立体测距值，当然可以通过高精度的测距值的选择或多个测距值的综合，来得到高精度的测距值。关于这样的得到测距值的方法，在专利文献1中，将各个摄像头的光轴配置成平行，以使得在极点视差成为零后，基于视差的大小进行加权求和，来计算目标点的三维位置信息。另外，在专利文献2中，对视线方向的进深的倒数进行加权求和，作为该加权求和值的倒数来计算视线方向的进深。现有技术文献专利文献专利文献1：日本特开2015-133691号公报专利文献2：专利第5011528号公报非专利文献非专利文献1：C.Zach，T.PockandH.Bischof，“AdualitybasedapproachforrealtimeTV-L1opticalflow”，InProceedingsofthe29thDAGMconferenceonPatternrecognition，2007，p214-223非专利文献2：M.Werlberger，T.PockandH.Bischof，“Motionestimationwithnonlocaltotalvariationregularization”，IEEEConferenceonComputerVisionandPatternRecognition(CVPR)，2010年6月13-18日，p.2464-2471非专利文献3：松山隆司、ほか編、「コンピュータビジョン」、株式会社新技術コミュニケーションズ、p123～137
技术实现思路
但是，专利文献1以及2所记载那样的以往的构成，虽然可以使距离测定误差定性地减少，但是由于没有考虑成为距离测定误差的原因的图像的噪声分量的方差等统计量，因此，存在无法通过加权求和在概率统计上使距离测定误差最小化这一问题。本公开提供考虑了图像的噪声分布的能够使距离测定误差降低的拍摄装置、图像处理方法以及程序。本公开的一个技术方案涉及的拍摄装置，是从多个图像算出被拍摄对象的三维位置并输出所述多个图像以及所述三维位置的信息的拍摄装置，所述拍摄装置具备：拍摄部，其具有至少三个摄像头，利用各个所述摄像头拍摄图像；摄像头参数存储部，其存储所述摄像头各自的摄像头参数；以及处理电路，所述处理电路，取得所述图像以及所述摄像头参数，从所述图像提取多个图像对，从所述多个图像对和所述摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息，基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角(日文：見込み角)对应长度或观察角的信息，对所述图像对各自的用于确定所述三维位置的信息进行加权求和，输出应用了加权求和值的所述计测点的位置信息。本公开的一个技术方案涉及的图像处理方法，是从多个图像算出被拍摄对象的三维位置并输出所述多个图像以及所述三维位置的信息的图像处理方法，包括：(a1)取得由至少三个摄像头中的各摄像头拍摄到的图像；(a2)取得所述摄像头各自的摄像头参数；(a3)从所述图像提取多个图像对；(a4)从所述多个图像对和所述摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息；(a5)基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角对应长度或观察角的信息，对所述图像对各自的用于确定所述三维位置的信息进行加权求和；以及(a6)输出应用了加权求和值的所述计测点的位置信息，处理(a1)～(a6)中的至少1个由处理器执行。本公开的一个技术方案涉及的程序，使计算机执行：(a1)取得由至少三个摄像头中的各摄像头拍摄到的图像；(a2)取得所述摄像头各自的摄像头参数；(a3)从所述图像提取多个图像对；(a4)从所述多个图像对和所述摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息；(a5)基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角对应长度或观察角的信息，对所述图像对各自的用于确定所述三维位置的信息进行加权求和；以及(a6)输出应用了加权求和值的所述计测点的位置信息。此外，上述的总括性或者具体的技术方案既可以通过系统、装置、方法、集成电路、计算机程序或者计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(CompactDisc-ReadOnlyMemory)等非易失性的记录介质。根据本公开的技术，能够实现考虑了图像的噪声分布的距离测定误差的降低。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征提供而得到，无需为了获得一个以上的益处和/或优点而实施所有的实施方式及特征。附图说明图1是示出实施方式涉及的拍摄装置的构成的框图。图2A是示出实施方式涉及的拍摄部的一例的构成的示意图。图2B是示出实施方式涉及的拍摄部的另一例的构成的示意图。图3是示出实施方式涉及的拍摄部中的因图像中的位置而产生的被拍摄对象像的形状、大本文档来自技高网...

【技术保护点】
1.一种拍摄装置，是从多个图像算出被拍摄对象的三维位置并输出所述多个图像以及所述三维位置的信息的拍摄装置，所述拍摄装置具备：拍摄部，其具有至少三个摄像头，利用各个所述摄像头拍摄图像；摄像头参数存储部，其存储所述摄像头各自的摄像头参数；以及处理电路，所述处理电路，取得所述图像以及所述摄像头参数，从所述图像提取多个图像对，从所述多个图像对和所述摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息，基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角对应长度或观察角的信息，对所述图像对各自的用于确定所述三维位置的信息进行加权求和，输出应用了加权求和值的所述计测点的位置信息。

【技术特征摘要】
2017.04.28 JP 2017-0900431.一种拍摄装置，是从多个图像算出被拍摄对象的三维位置并输出所述多个图像以及所述三维位置的信息的拍摄装置，所述拍摄装置具备：拍摄部，其具有至少三个摄像头，利用各个所述摄像头拍摄图像；摄像头参数存储部，其存储所述摄像头各自的摄像头参数；以及处理电路，所述处理电路，取得所述图像以及所述摄像头参数，从所述图像提取多个图像对，从所述多个图像对和所述摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息，基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角对应长度或观察角的信息，对所述图像对各自的用于确定所述三维位置的信息进行加权求和，输出应用了加权求和值的所述计测点的位置信息。2.根据权利要求1所述的拍摄装置，所述处理电路以使所述加权求和值的方差最小化的方式决定对所述图像对各自的用于确定所述三维位置的信息赋予的权重。3.根据权利要求1所述的拍摄装置，所述至少三个摄像头中的各摄像头的视场角为180度以上。4.根据权利要求1所述的拍摄装置，所述处理电路，在所述加权求和中使用以所述观察角对应长度的平方的总和对所述观察角对应长度的平方进行归一化而得到的权重。5.根据权利要求1所述的拍摄装置，所述处理电路，在所述加权求和中使用以所述观察角的平方的总和对所述观察角的平方进行归一化而得到的权重。6.根据权利要求1所述的拍摄装置，所述摄像头参数包含与所述图像中的遮挡了被拍摄对象的投影的遮挡区域以及被拍摄对象被投影的非遮挡区域相关的遮挡信息，所述处理电路，对于所述图像中的第1图像的所述遮挡区域的像素值，基于其它的所述图像的所述非遮挡区域的像素值来补全。7.一种图像处理方法，是从多个图像算出被拍摄对象的三维位置并输出所述多个图像以及所述三维位置的信息的图像处理方法，包括：(a1)取得由至少三个摄像头中的各摄像头拍摄到的图像；(a2)取得所述摄像头各自的摄像头参数；(a3)从所述图像提取多个图像对；(a4)从所述多个图像对和所述摄像头参数，对于各个所述图像对算出位置信息，所述位置信息包含确定与所述图像对分别所包含的像素对对应的计测点的三维位置的信息和确定所述像素对中的各像素的位置的信息；(a5)基于所述位置信息以及所述摄像头参数，以使用了与各个所述图像对对应的所述摄像头对的相对于所述三维位置的观察角对应长度或观察角的信息，...

【专利技术属性】
技术研发人员：吾妻健夫，若井信彦，登一生，佐藤智，
申请(专利权)人：松下知识产权经营株式会社，
类型：发明
国别省市：日本,JP