三维测定方法、装置、系统以及图像处理装置制造方法及图纸

容易并且高精度地进行三维测定。三维测定装置(10)具备：基线长BL的第一摄像部(11)以及第二摄像部(12)、特征点检测部(21)以及对应点检测部(22)、算出表示两个摄影位置A、B的旋转以及平移方向的矩阵的旋转矩阵计算部(23)以及平移矩阵计算部(24)、核线计算部(26)、评价部(27)、三维数据计算部(28)。核线计算部(26)基于旋转矩阵以及平移矩阵、作为假设值的假想平移距离，在预定图像上算出应该通过预定的特征点的核线。评价部(27)对边改变假想平移距离边算出的多个核线是否分别通过对应点进行评价。三维数据计算部(28)利用为了算出评价为通过预定的特征点的核线而假设的假想平移距离，算出被摄体的三维数据。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于根据拍摄出的图像求出被摄体的三维数据的三维测定方法、装置、系统以及图像处理装置。
技术介绍
已知有基于从2个地点拍摄被摄体而得到的2个图像，算出被摄体的三维数据(例如，尺寸)的三维测定装置。三维测定装置由例如左右隔开预定间隔(以下，称为基线长)而配置的2个相机以及根据通过这两个相机得到的有视差的图像算出三维数据的处理装置等构成。三维测定所需的2个图像是拍摄相同的被摄体、并且彼此具有视差的图像即可，所以也可以采用例如通过具有2个摄影镜头的立体相机获得的图像。但是，由于三维测定装置的三维数据的测定精度依赖于被摄体的尺寸与基线长的长度的关系，所以在测定的被摄体的尺寸相对于立体相机的基线长较大的情况下，能够得到大体的三维数据但误差较大，有时无法得到可靠的值。因此，在高精度地测定建筑物等尺寸比较大的被摄体的三维数据的情况下，需要增大基线长。例如，专利文献1的三维测定装置通过在汽车上安装2台相机，从而作为整体形成巨大的立体相机。另外，为了高精度地进行三维测定，需要准确地知道基线长。在普通的立体相机中，在制造时预先高精度地进行对位以使基线长为预定长度。但是，如专利文献1那样，在采用2台相机形成巨大的立体相机的情况下，准确地使基线长与预定值一致、准确地测定基线长都不容易。因此，专利文献1公开了用于准确地测定基线长的校准的方法。另外，专利文献2中也记载有用于准确地测定基线长的校准方法。此外，近年来，也已知有一种能够利用基线长较短的立体相机从2个摄影位置拍摄被摄体，并使用在各摄影位置得到的图像高精度地测定三维数据的三维测定装置。但是，专利文献3的三维测定装置为了知道2个摄影位置间的距离，而对形状、尺寸等已知的基准被摄体与测定三维数据的被摄体一起进行摄影。若将移动前后的立体相机的整体作为巨大的1个立体相机，则2个摄影位置间的距离相当于该巨大的立体相机的基线长。因此，专利文献3的三维测定装置也将基线长为已知这一情况作为前提，与专利文献1、2的三维测定装置相同。专利文献专利文献1:日本特开2007－263669号公报专利文献2:日本特开2005－241323号公报专利文献3:日本特开2011－232330号公报
技术实现思路
专利技术所要解决的课题在使用2个相机形成基线长(相机间距离)较长的巨大的立体相机而进行三维测定的情况下，如专利文献1、2所公开那样，必须预先高精度地求出基线长，如果为了将被摄体较好地收纳在摄影范围内而变更各相机的再配置，则当然必须再次进行复杂的校准。例如，如专利文献1那样，当将2个相机安装在汽车上时，为了利用2个相机较好地捕捉被摄体，必须改变汽车的朝向，但是在必须从道路宽度狭窄的道路进行摄影的情况下、或者在必须在车辆禁止进入的场所进行摄影的情况下等，不得不改变相机的配置。也可以考虑不将基线长较长的巨大的立体相机安装在汽车上而进行搬运，但由于巨大而不切实际。另外，分别对2个相机进行搬运而不进行校准地以使基线长为预定值的方式进行再配置是基本不可能的。如此，在采用基线长较长的巨大的立体相机的情况下，必须重新进行校准的情形较多，不方便。另外，在采用正常尺寸的基线长较短的立体相机进行三维测定的情况下，能够如专利文献3那样携带基准被摄体，并配置在适当的位置而对被摄体进行摄影，但是不方便。例如，必须设法改良基准被摄体的配置，以避免妨碍被摄体的三维测定，而且在想知道处于较高的位置的被摄体的尺寸等的情况下等，在无法较好地将基准被摄体与被摄体一起配置在摄影范围内的情况下，有时也无法进行三维测定。用于无论摄影时的状况如何总能够高精度地算出巨大的立体相机的基线长的基准被摄体的形状、材质等的选择也不容易。如此，在以往的装置中，由于需要校准，所以操作麻烦，另外在省略校准、或者不准确地测定出基线长的情况下，无法进行高精度的三维测定。本专利技术的目的是提供操作容易并且能够进行高精度的三维测定的三维测定方法、装置以及系统。用于解决课题的手段本专利技术的三维测定装置具备第一摄像部、第二摄像部、对应点检测部、旋转矩阵计算部、平移矩阵计算部、核线计算部、评价部、三维数据计算部。第二摄像部相对于第一摄像部隔开预定的基线长而配置，对包含第一摄像部拍摄的被摄体的至少一部分在内的范围进行摄像。特征点检测部从在第一摄影位置由第一摄像部以及第二摄像部对被摄体进行摄像而获得的两张图像中的至少任一张图像检测多个特征点。对应点检测部对于在与第一摄影位置不同的第二摄影位置由第一摄像部以及第二摄像部对被摄体进行摄像而获得的两张图像中的至少任一张图像检测与特征点对应的对应点。旋转矩阵计算部算出表示以第一摄影位置的第一摄像部或者第二摄像部为基准的、第二摄影位置的第一摄像部或者第二摄像部的旋转角以及旋转方向的旋转矩阵。平移矩阵计算部算出表示以第一摄影位置的第一摄像部或者第二摄像部为基准的、第二摄影位置的第一摄像部或者第二摄像部的平移移动方向的平移矩阵。核线计算部基于由第一旋转矩阵、第一平移矩阵以及第一假想平移距离而确定的第一摄影位置以及第二摄影位置的各摄像部的相对位置关系，算出将从第一摄影位置的摄像部朝向预定的特征点的视线方向投影到在第二摄影位置得到的图像上的核线，第一旋转矩阵在旋转矩阵计算部中基于特征点以及对应点而算出，第一平移矩阵在平移矩阵计算部中基于特征点以及对应点而算出，第一假想平移距离是任意地假设对检测出特征点的图像与检测出对应点的图像进行了摄像的各摄像部间的距离而得到的。评价部对边改变第一假想平移距离边算出的多个核线是否分别通过与特征点对应的对应点进行评价。三维数据计算部利用为了算出通过预定的特征点的核线而假设的第一假想平移距离，算出被摄体的三维数据。优选为，核线计算部基于表示对算出核线的图像进行了摄像的第二摄影位置的摄像部相对于对检测出特征点的图像进行了摄像的第一摄影位置的摄像部的旋转角以及旋转方向的第二旋转矩阵、表示平移方向的第二平移矩阵以及表示包含了第一假想平移距离的假设的平移距离的第二假想平移距离，算出核线。优选为，评价部沿着多个核线算出与特征点的一致度，并基于一致度对核线是否通过与特征点对应的对应点进行评价。优选为，三维数据计算部利用为了算出包含一致度最高的点的核线而假设的假想平移距离，算出被摄体的三维数据。优选为，对应点检测部在算出核线的图像本文档来自技高网...

【技术保护点】
一种三维测定装置，具备：第一摄像部，对被摄体进行摄像；第二摄像部，相对于所述第一摄像部隔开预定的基线长而配置，对包含所述第一摄像部拍摄的所述被摄体的至少一部分在内的范围进行摄像；特征点检测部，从在第一摄影位置由所述第一摄像部以及所述第二摄像部对所述被摄体进行摄像而获得的两张图像中的至少任一张图像检测多个特征点；对应点检测部，对于在与所述第一摄影位置不同的第二摄影位置由所述第一摄像部以及所述第二摄像部对所述被摄体进行摄像而获得的两张图像中的至少任一张图像，检测与所述特征点对应的对应点；旋转矩阵计算部，算出表示以所述第一摄影位置的所述第一摄像部或者所述第二摄像部为基准的、所述第二摄影位置的所述第一摄像部或者所述第二摄像部的旋转角以及旋转方向的旋转矩阵；平移矩阵计算部，算出表示以所述第一摄影位置的所述第一摄像部或者所述第二摄像部为基准的、所述第二摄影位置的所述第一摄像部或者所述第二摄像部的平移移动方向的平移矩阵；核线计算部，基于由第一旋转矩阵、第一平移矩阵以及第一假想平移距离而确定的所述第一摄影位置以及所述第二摄影位置的各摄像部的相对位置关系，算出将从所述第一摄影位置的摄像部朝向预定的所述特征点的视线方向投影到在所述第二摄影位置得到的图像上的核线，所述第一旋转矩阵在所述旋转矩阵计算部中基于所述特征点以及所述对应点而算出，所述第一平移矩阵在所述平移矩阵计算部中基于所述特征点以及所述对应点而算出，所述第一假想平移距离是任意地假设对检测出所述特征点的图像与检测出所述对应点的图像进行了摄像的各摄像部间的距离而得到的；评价部，对边改变所述第一假想平移距离边算出的多个所述核线是否分别通过与所述特征点对应的对应点进行评价；及三维数据计算部，利用为了算出通过所述预定的特征点的所述核线而假设的所述第一假想平移距离，算出所述被摄体的三维数据。...

【技术特征摘要】
【国外来华专利技术】2012.06.29 JP 2012-1464691.一种三维测定装置，具备：
第一摄像部，对被摄体进行摄像；
第二摄像部，相对于所述第一摄像部隔开预定的基线长而配置，
对包含所述第一摄像部拍摄的所述被摄体的至少一部分在内的范围进
行摄像；
特征点检测部，从在第一摄影位置由所述第一摄像部以及所述第
二摄像部对所述被摄体进行摄像而获得的两张图像中的至少任一张图
像检测多个特征点；
对应点检测部，对于在与所述第一摄影位置不同的第二摄影位置
由所述第一摄像部以及所述第二摄像部对所述被摄体进行摄像而获得
的两张图像中的至少任一张图像，检测与所述特征点对应的对应点；
旋转矩阵计算部，算出表示以所述第一摄影位置的所述第一摄像
部或者所述第二摄像部为基准的、所述第二摄影位置的所述第一摄像
部或者所述第二摄像部的旋转角以及旋转方向的旋转矩阵；
平移矩阵计算部，算出表示以所述第一摄影位置的所述第一摄像
部或者所述第二摄像部为基准的、所述第二摄影位置的所述第一摄像
部或者所述第二摄像部的平移移动方向的平移矩阵；
核线计算部，基于由第一旋转矩阵、第一平移矩阵以及第一假想
平移距离而确定的所述第一摄影位置以及所述第二摄影位置的各摄像
部的相对位置关系，算出将从所述第一摄影位置的摄像部朝向预定的
所述特征点的视线方向投影到在所述第二摄影位置得到的图像上的核
线，所述第一旋转矩阵在所述旋转矩阵计算部中基于所述特征点以及
所述对应点而算出，所述第一平移矩阵在所述平移矩阵计算部中基于
所述特征点以及所述对应点而算出，所述第一假想平移距离是任意地
假设对检测出所述特征点的图像与检测出所述对应点的图像进行了摄
像的各摄像部间的距离而得到的；
评价部，对边改变所述第一假想平移距离边算出的多个所述核线
是否分别通过与所述特征点对应的对应点进行评价；及
三维数据计算部，利用为了算出通过所述预定的特征点的所述核
线而假设的所述第一假想平移距离，算出所述被摄体的三维数据。
2.根据权利要求1所述的三维测定装置，其中，
所述核线计算部基于表示对算出所述核线的图像进行了摄像的所
述第二摄影位置的摄像部相对于对检测出所述特征点的图像进行了摄
像的所述第一摄影位置的摄像部的旋转角以及旋转方向的第二旋转矩
阵、表示平移方向的第二平移矩阵以及表示包含了第一假想平移距离
的假设的平移距离的第二假想平移距离，算出所述核线。
3.根据权利要求1所述的三维测定装置，其中，
所述评价部沿着多个所述核线算出与所述特征点的一致度，并基
于所述一致度对所述核线是否通过与所述特征点对应的对应点进行评
价。
4.根据权利要求3所述的三维测定装置，其中，
所述三维数据计算部利用为了算出包含所述一致度最高的点的所
述核线而假设的所述假想平移距离，算出所述被摄体的三维数据。
5.根据权利要求1所述的三维测定装置，其中，
所述对应点检测部在算出所述核线的图像中，检测核线应通过的
所述预定的特征点所对应的对应点，
所述评价部基于多个所述核线与所述核线应通过的所述特征点所
对应的所述对应点之间的距离，对所述核线是否通过所述对应点进行
评价。
6.根据权利要求1所述的三维测定装置，其中，
在由所述评价部评价为多个所述核线不通过与所述预定的特征点
对应的对应点的情况下，变更条件而再次算出所述第一旋转矩阵以及
所述第一平移矩阵。
7.根据权利要求6所述的三维测定装置，其中，
再次检测所述对应点而再次算出所述第一旋转矩阵以及所述第一
平移矩阵。
8.根据权利要求7所述的三维测定装置，其中，
再次检测所述对应点的情况包括：包含为了检测所述对应点而使
用的所述特征点的图像的大小的变更、放大缩小率的变更、旋转角度
的变更或者检测所述对应点的所述特征点的组合的变更中的任一个。
9.根据权利要求6所述的三维测定装置，其中，
再次检测所述特征点而再次算出所述第一旋转矩阵以及所述第一
平移矩阵。
10.根据权利要求1所述的三维测定装置，其中，
在所述第一旋转矩阵表示所述第一摄影位置与所述第二摄影位置
未旋转的情况下，以不使用所述核线的其他方法算出所述三维数据。
11.根据权利要求10所述的三维测定装置，其中，
对利用第三假想平移距离而算出的所述三维数据与利用所述第一
假想平移距离而算出的所述三维数据进行比较，所述第三假想平移距
离表示与所述第一假想平移距离所表示的摄像部间距离不同的所述第
一摄影位置、第二摄影位置的摄像部间距离，并由所述第一假想平移
距离的假设而确定，
求出使利用所述第一假想平移距离而算出的所述三维数据与利用
所述第三假想平移距离而算出的所述三维数据之差为预定阈值以下的
所述第一假想平移距离以及所述三维数据。
12.根据权利要求10所述的三维测定装置，其中，
利用所述第一旋转矩阵以及所述第一平移矩阵、第三旋转矩阵以

\t及第三平移矩阵，搜索基线长矢量的基端以及前端分别位于所述第一
平移矩阵与所述第三平移矩阵所表示的方向上的所述基线长矢量的位
置，所述第一旋转矩阵以及所述第一平移矩阵利用在所述第一摄影位
置以及所述第二摄影位置得到的四张图像中的任意的组合的多个图像
而算出，所述第三旋转矩阵以及所述第三平移矩阵利用与所述多个图
像不同的组合的多个图像而算出，所述基线长矢量由所述第一旋转矩
阵以及所述第三旋转矩阵确定方向并具有所述基线长的长度，
基于所述基端以及所述前端分别位于所述第一平移矩阵与所述第
三平移矩阵所表示的方向上的情况下的所述基端以及所述前端的位
置，算出所述三维数据。
13.根据权利要求1所述的三维测定装置，其中，
具备检测所述第一摄影位置与所述第二摄影位置的位置信息的摄
影位置检测部，
基于根据由所述摄影位置检测部检测出的位置信息而算出的所述
第一摄影位置与所述第二摄影位置的距离，决定所述第一假想平移距
离的初始值或者变更所述第一假想平移距离的范围。
14.根据权利要求1所述的三维测定装置，其中，
在将所述基线长的长度设为|BL|、将在所述第一摄影位置得到
的图像与在所述第二摄影位置得到的图像的视差设为ε、将在所述第一
摄影位置得到的两个图像的视差设为γ的情况下，基于|BL|×ε/γ
来决定所述第一假想平移距离的初始值或者变更所述第一假想平移距
离的范围。
15.根据权利要求1所述的三维测定装置，其中，
...

【专利技术属性】
技术研发人员：增田智纪，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：日本;JP