图像处理装置及方法制造方法及图纸

本发明专利技术提供一种图像处理装置、方法及其程序。通过本发明专利技术能够判定从所拍摄的基准图像得到的特定形状候选是否具有在实际空间上对应的形状。从基准图像，由直线包围的形状作为具有矩形的候选而被检测。生成将表示具有矩形的候选的对象物以与基准图像的视角不同的视角拍摄而得到的对象物图像。从以不同的视角拍摄而得到的参考图像中检测到所生成的对象物图像。若被检测到，则该矩形的候选所表示的对象物确定为矩形。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种图像处理装置、方法及其程序。
技术介绍
图像处理技术中提出有多种技术。例如有如下技术。从多个相机的图像中提取对象，并定义在地表面、三维空间上的尺寸，通过比较对象的高度来判断为相同的技术(专利文献1)。除了正规化的形状信息以外，将截面积与高度、或截面积与体积、或体积与高度等物体的尺寸信息中至少两种信息提供给物体识别神经网络，由此识别物体的技术(专利文献2)。从立体相机图像的对应点中选择4点，求出包含这些点的三维平面信息，由三维信息求出倾斜角度，并以成为正面的方式进行校正的技术(专利文献3)。以往技术文献专利文献专利文献1：日本特开2000-20728号公报专利文献2：日本特开平7-318331号公报专利文献3：日本特开2010-198554号公报专利技术的概要专利技术要解决的技术课题当在图像上有如长方形、平行四边形等以直线包围的形状时，对于计算该形状的纵横比而言能够相对简单地求出。然而，当通过摄像而得到的图像中包含如长方形、平行四边形等以直线包围的形状时，只要知道尺寸，就可以知道它们的形状，但根据视角，有时无法判定该形状所表示的实际空间上的对象物实际上也是长方形或平行四边形等。这种情况在专利文献1至3中也并未考虑到。本专利技术的目的在于，即使不知道通过拍摄而得到的图像中所包含的以直线包围的形状在实际空间上的尺寸，也能够判定实际上是否具有这种形状。用于解决技术课题的手段基于本专利技术的图像处理装置，其特征在于，具备：基准图像输入机构，输入通过拍摄而得到的基准图像；参考图像输入机构，输入以与拍摄基准图像的视角不同的视角拍摄而得到的参考图像；特定形状候选检测机构，从由基准图像输入机构输入的基准图像，将由直线包围的形状(将三角形、矩形、平行四边形、五角形、其他多角形等由直线包围的形状称为特定形状。)推定为具有特定的形状(例如矩形)的特定形状候选来进行检测；虚拟对象物信息生成机构，生成对虚拟对象物图像进行特定的虚拟对象物信息，所述虚拟对象物信息是将通过特定形状候选检测机构检测到的特定形状候选所表示的对象物以与拍摄基准图像的视角不同的视角拍摄时得到的(包括坐标、虚拟对象物本身。)；虚拟对象物图像检测机构，利用通过虚拟对象物信息生成机构生成的虚拟对象物信息，从由参考图像输入机构输入的参考图像中，检测虚拟对象物图像；形状判定机构，根据通过虚拟对象物图像检测机构检测到虚拟对象物图像，将通过特定形状候选检测机构检测到的特定形状候选判定为具有特定的形状的特定形状；生成控制机构，根据通过虚拟对象物图像检测机构未检测到虚拟对象物图像，控制虚拟对象物信息生成机构以生成对通过改变虚拟对象物图像的尺寸或位置的至少一个而得到的虚拟对象物图像进行特定的虚拟对象物信息；以及反复控制机构，反复进行虚拟对象物图像检测机构中的检测处理、形状判定机构中的判定处理及生成控制机构中的控制处理。本专利技术还提供一种图像处理方法。即，该方法中，基准图像输入机构输入通过拍摄而得到的基准图像；参考图像输入机构输入以与拍摄基准图像的视角不同的视角拍摄而得到的参考图像；特定形状候选检测机构从由基准图像输入机构输入的基准图像，将由直线包围的形状推定为具有特定的形状的特定形状候选来进行检测；虚拟对象物信息生成机构生成对虚拟对象物图像进行特定的虚拟对象物信息，所述虚拟对象物信息是将通过特定形状候选检测机构检测到的特定形状候选所表示的对象物以与拍摄基准图像的视角不同的视角拍摄时得到的；虚拟对象物图像检测机构利用通过虚拟对象物信息生成机构生成的虚拟
对象物信息，从由参考图像输入机构输入的参考图像中，检测虚拟对象物图像；形状判定机构根据通过虚拟对象物图像检测机构检测到虚拟对象物图像，将通过特定形状候选检测机构检测到的特定形状候选判定为具有特定的形状的特定形状；生成控制机构根据通过虚拟对象物图像检测机构未检测到虚拟对象物图像，控制虚拟对象物信息生成机构以生成对通过改变虚拟对象物图像的尺寸或位置的至少一个而得到的虚拟对象物图像进行特定的虚拟对象物信息；反复控制机构反复进行虚拟对象物图像检测机构中的检测处理、形状判定机构中的判定处理及生成控制机构中的控制处理。本专利技术还提供一种控制图像处理装置的计算机的程序。也可以提供储存这种程序的记录介质。还可以具备：校正机构，将通过形状判定机构判定为具有特定的形状的特定形状校正为从正面拍摄对象物时得到的形状。虚拟对象物信息生成机构例如为当已知对象物的尺寸时，根据预先设定的一个或多个尺寸生成虚拟对象物信息的机构。还可以具备：角度计算机构，计算在实际空间中对象物的轮廓所示出的角度；及特定形状确定机构，根据通过角度计算机构计算的角度确定通过特定形状候选检测机构检测到的特定形状候选中作为对象的特定形状候选。此时，虚拟对象物信息生成机构例如为生成对虚拟对象物图像进行特定的虚拟对象物信息的机构，所述虚拟对象物信息是将通过特定形状确定机构确定的特定形状所表示的对象物以与拍摄基准图像的视角不同的视角拍摄时得到的。还可以具备：状态确定机构，在形状判定机构中判定的特定形状为多个时，确定多个特定形状是处于同一平面上、还是处于平行平面上、或处于垂直的平面上。特定的形状例如为三角形、矩形、梯形或平行四边形。还可以具备拍摄基准图像的第1摄像装置及拍摄参考图像的第2摄像装置。基准图像输入机构及参考图像输入机构可以是1个摄像装置。此时，输入通过摄像装置的拍摄而得到的基准图像及参考图像。专利技术效果根据本专利技术，从通过拍摄而得到的基准图像，由直线包围的形状(例如，三角形、矩形、平行四边形、梯形等)被推定为具有特定的形状的特定形状候选(例如，矩形)而被检测到。生成对虚拟对象物图像进行特定的虚拟对象物信息，所述虚拟对象物信息是将被检测到的特定形状候选所表示的实际空间上的对象物以与拍摄基准图像的视角不同的视角拍摄时得到的(可以是坐标、虚拟对象物图像本身)。利用生成的虚拟对象物信息，从以不同的视角拍摄而得到的参考图像中，若检测到虚拟对象物图像，则被检测到的特定形状候选可判定为具有特定的形状的特定形状。若特定形状候选为具有特定的形状的特定形状，则虚拟对象物图像理应从参考图像被检测出，因此从参考图像检测到虚拟对象物图像时，可将该特定形状候选判定为具有特定的形状的特定形状，即使在实际空间上，也可判定为具有这种特定形状。若未检测到虚拟对象物图像，则以改变虚拟对象物图像的尺寸或位置的至少一个的方式生成对虚拟对象物图像进行特定的虚拟对象物信息。利用生成的虚拟对象物信息，从参考图像中反复进行虚拟对象物图像的检测及形状判定。即使不知道实际空间上的尺寸，也能够判定在实际空间上具有特定的形状的特定形状。附图说明图1是图像处理装置的电结构的一例。图2是实际空间的一例。图3是基准图像的一例。图4是参考图像的一例。图5是表示图像处理装置的处理顺序的流程图。图6是表示图像处理装置的处理顺序的流程图。图7示出从基准图像检测以直线包围的形状的情况。图8是虚拟对象物图像的一例。图9示出拍摄对象物的情况。图10是表示图像处理装置的处理顺序的一部分的流程图。图11是表示图像处理装置的处理顺序的流程图。图12是表示图像处理装置的处理顺序的流程图。图13示出拍摄对象物的情况。图14是表示图像处理装置的处理顺序的本文档来自技高网...

【技术保护点】
一种图像处理装置，其具备：基准图像输入机构，输入通过拍摄而得到的基准图像；参考图像输入机构，输入以与拍摄上述基准图像的视角不同的视角拍摄而得到的参考图像；特定形状候选检测机构，从由上述基准图像输入机构输入的基准图像，将由直线包围的形状推定为具有特定的形状的特定形状候选来进行检测；虚拟对象物信息生成机构，生成对虚拟对象物图像进行确定的虚拟对象物信息，所述虚拟对象物图像是将通过上述特定形状候选检测机构检测到的特定形状候选所表示的对象物以与拍摄上述基准图像的视角不同的视角拍摄时得到的；虚拟对象物图像检测机构，利用通过上述虚拟对象物信息生成机构生成的虚拟对象物信息，从由上述参考图像输入机构输入的参考图像中，检测上述虚拟对象物图像；形状判定机构，根据通过上述虚拟对象物图像检测机构检测到上述虚拟对象物图像这一情况，将通过上述特定形状候选检测机构检测到的特定形状候选判定为具有上述特定的形状的特定形状；生成控制机构，根据通过上述虚拟对象物图像检测机构未检测到上述虚拟对象物图像这一情况，控制上述虚拟对象物信息生成机构以生成对通过改变上述虚拟对象物图像的尺寸或位置的至少一个而得到的上述虚拟对象物图像进行确定的虚拟对象物信息；以及反复控制机构，反复进行上述虚拟对象物图像检测机构中的检测处理、上述形状判定机构中的判定处理及上述生成控制机构中的控制处理。...

【技术特征摘要】
【国外来华专利技术】2014.03.20 JP 2014-0585881.一种图像处理装置，其具备：基准图像输入机构，输入通过拍摄而得到的基准图像；参考图像输入机构，输入以与拍摄上述基准图像的视角不同的视角拍摄而得到的参考图像；特定形状候选检测机构，从由上述基准图像输入机构输入的基准图像，将由直线包围的形状推定为具有特定的形状的特定形状候选来进行检测；虚拟对象物信息生成机构，生成对虚拟对象物图像进行确定的虚拟对象物信息，所述虚拟对象物图像是将通过上述特定形状候选检测机构检测到的特定形状候选所表示的对象物以与拍摄上述基准图像的视角不同的视角拍摄时得到的；虚拟对象物图像检测机构，利用通过上述虚拟对象物信息生成机构生成的虚拟对象物信息，从由上述参考图像输入机构输入的参考图像中，检测上述虚拟对象物图像；形状判定机构，根据通过上述虚拟对象物图像检测机构检测到上述虚拟对象物图像这一情况，将通过上述特定形状候选检测机构检测到的特定形状候选判定为具有上述特定的形状的特定形状；生成控制机构，根据通过上述虚拟对象物图像检测机构未检测到上述虚拟对象物图像这一情况，控制上述虚拟对象物信息生成机构以生成对通过改变上述虚拟对象物图像的尺寸或位置的至少一个而得到的上述虚拟对象物图像进行确定的虚拟对象物信息；以及反复控制机构，反复进行上述虚拟对象物图像检测机构中的检测处理、上述形状判定机构中的判定处理及上述生成控制机构中的控制处理。2.根据权利要求1所述的图像处理装置，其还具备：校正机构，将通过上述形状判定机构判定为具有上述特定的形状的特定形状校正为从正面拍摄上述对象物时得到的形状。3.根据权利要求1或2所述的图像处理装置，其中，当已知上述对象物的尺寸时，上述虚拟对象物信息生成机构根据预先设定的一个或多个尺寸生成上述虚拟对象物信息。4.根据权利要求1至3中任一项所述的图像处理装置，其还具备：角度计算机构，计算在实际空间中上述对象物的轮廓所示出的角度；及特定形状确定机构，根据通过上述角度计算机构计算的角度确定通过上述特定形状候选检测机构检测到的特定形状候选中作为对象的特定形状候选，上述虚拟对象物信息生成机构生成对虚拟对象物图像进行确定的虚拟对象物信息，所述虚拟对象物图像是将通过上述特定形状确定机构确定的特定形状所表示的对象物以与拍摄上述基准图像的视角不同的视角拍摄时得到的。5.根据权利要求1至4中任一项所述的图像处理装置，其具备：状态确定机构，在上述形状判定机构中判定的特定形状为多个时，确定多个特定形状是处于同一平面上、还是处于平行平面上、或处于垂直的平面上。6.根据权利要求1至5中任一项所述的图像处理装置，其中，上述特定的形状为三角形、矩形、梯形或平行四边形。7.根...

【专利技术属性】
技术研发人员：增田智纪，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：日本;JP