图像处理装置以及图像处理方法制造方法及图纸

图像处理装置包含：图像取得部(12)，其取得多个图像；对应点取得部(110)；第1基础矩阵估计部(120)；对极坐标导出部(130)；对极坐标确定部(140)；以及基础矩阵确定部(150)。对应点取得部(110)取得在多个所述图像之间相互对应的多个第1对应点。第1基础矩阵估计部(120)根据多个所述第1对应点计算多个第1基础矩阵。对极坐标导出部(130)计算与所述多个第1基础矩阵分别对应的多个第1对极坐标。对极坐标确定部(140)将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标。基础矩阵确定部(150)将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础矩阵。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及。
技术介绍
一般而言，公知有如下的技术，根据2张图像，估计对这些图像进行了拍摄的照相 机的位置以及姿势的变化。即，在该技术中，提取多个在2张图像中被判断为共同显示着的 点，并取得这些点的对应关系，确定为对应点。根据该对应点计算基础矩阵，并根据该基础 矩阵估计照相机的位置以及姿势变化。例如，在日本特开2007 - 256029号公报中公开了在 这种基础矩阵的计算中，使用RANSAC (RANdam Sample Consensus :随机抽样一致）等鲁棒 估计方法。在RANSAC中，从多个对应点之中随机提取8个点，计算临时的基础矩阵。例如， 以与极（Epipolar)线之间的距离为指标，对各临时的基础矩阵进行评价，从而，排除对应 点的特定的错误以及包含在图像中的动态被摄体的影响。此外，在日本特开2007 - 256029 号公报中公开了以下的技术，根据基础矩阵的计算，反复进行照相机的位置以及姿势变化 的估计，从而，确定最准确的位置以及姿势变化。
技术实现思路
但是，在如上所述的技术中，已知有在对应点的分布接近平面的情况下，基础矩阵 计算退化，基础矩阵的误差变大的情况。例如，当使用RANSAC时，可期待针对对应点的错误 应对以及动态被摄体的鲁棒性的提高。但是，例如，即便使用了 RANSAC，也无法期待改善针 对由于对应点分布靠近平面而引起的误差的鲁棒性。 因此，本专利技术的目的在于提供一种确定基础矩阵的图像处理装置以及图像处理方 法，其中，该基础矩阵对于对应点的错误应对和动态被摄体具有鲁棒性，且对于由于对应点 的分布接近平面引起的误差也具有鲁棒性。 为了达到上述目的，根据本专利技术的一个方式，图像处理装置的特征在于，其具有： 图像取得部，其取得多个图像；对应点取得部，其取得在多个所述图像之间相互对应的多个 第1对应点；第1基础矩阵估计部，其根据多个所述第1对应点计算多个第1基础矩阵；对 极坐标导出部，其针对至少一个图像，计算与所述多个第1基础矩阵分别对应的多个第1对 极坐标；对极坐标确定部，其使用规定的统计性方法，将所述多个第1对极坐标中的一个对 极坐标确定为第2对极坐标；以及基础矩阵确定部，其将与所述第2对极坐标对应的所述第 1基础矩阵确定为第2基础矩阵。 为了达到上述目的，根据本专利技术的一个方式，摄像装置的特征在于，其具有：摄像 部，其拍摄图像；图像取得部，其取得在不同时间拍摄的多个所述图像；对应点取得部，其 取得在多个所述图像中相互对应的多个第1对应点；第1基础矩阵估计部，其根据多个所述 第1对应点计算多个第1基础矩阵；对极坐标导出部，其针对至少一个图像，计算与所述多 个第1基础矩阵分别对应的多个第1对极坐标；对极坐标确定部，其使用规定的统计性方 法，将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标；基础矩阵确定部，其 将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础矩阵；以及校正部，其根据 所述第2基础矩阵，校正存在于所述多个图像之间的抖动。 为了达到上述目的，根据本专利技术的一个方式，图像处理方法的特征在于，其具有以 下步骤：取得多个图像；取得在多个所述图像之间相互对应的多个第1对应点；根据多个所 述第1对应点计算多个第1基础矩阵；针对至少一个图像，计算与所述多个第1基础矩阵分 别对应的多个第1对极坐标；使用规定的统计性方法，将所述多个第1对极坐标中的一个对 极坐标确定为第2对极坐标；以及将与所述第2对极坐标对应的所述第1基础矩阵确定为 第2基础矩阵。 为了达到上述目的，根据本专利技术的一个方式，一种计算机可读的记录介质，其记录 使计算机执行以下步骤的图像处理程序：取得多个图像；取得在多个所述图像之间相互对 应的多个第1对应点；根据多个所述第1对应点计算多个第1基础矩阵；针对至少一个图 像，计算与所述多个第1基础矩阵分别对应的多个第1对极坐标；使用规定的统计性方法， 将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标；以及将与所述第2对极 坐标对应的所述第1基础矩阵确定为第2基础矩阵。 根据本专利技术，由于使用对极坐标来确定恰当的第2基础矩阵，因此，能够提供可确 定基础矩阵的，其中，该基础矩阵对于对应点的错误应对 和动态被摄体具有鲁棒性，且对于由于对应点的分布接近平面引起的误差也具有鲁棒性。 【附图说明】 图1是示出第1实施方式的图像处理装置的结构例的框图。 图2是示出第1实施方式的图像处理装置的处理的一例的流程图。 图3是示出第1实施方式的基础矩阵确定处理的一例的流程图。 图4是用于说明对极（Epipolar)几何的图。 图5是示出第1实施方式的基础矩阵估计处理的一例的流程图。 图6是示出第1实施方式的内点（inlier)个数计算处理的一例的流程图。 图7是示出第1实施方式的对极坐标确定部的结构例的框图。 图8是示出第1实施方式的最佳对极选择处理的一例的流程图。 图9是示出第2实施方式的对极坐标确定部的结构例的框图。 图10是示出第2实施方式的最佳对极选择处理的一例的流程图。 图11是示出第2实施方式的直方图的一例的图。 图12是示出第3实施方式的图像处理装置的结构例的框图。 图13是示出第3实施方式的图像处理装置的处理的一例的流程图。 图14是示出第4实施方式的数字照相机的结构例的框图。 【具体实施方式】 (第1实施方式） 参照附图来说明本专利技术的第1实施方式。图1示出本实施方式的图像处理装置10 的结构例。如该图所示，图像处理装置10具有图像处理部100、图像取得部12、存储部14 以及控制部16。该图像处理装置10针对所输入的多个图像计算并输出表示图像间关系的 基础矩阵。 图像处理部100担负图像处理装置10的中心性作用，如后所述，进行与所输入的 多个图像相关的基础矩阵的计算。图像取得部12从图像处理装置10的外部或存储部14 取得作为处理对象的图像的数据，输入到图像处理部100。存储部14存储作为处理对象的 图像数据、与各种运算相关的程序以及运算结果等。控制部16控制图像处理装置10的动 作。 图像处理部100具有：对应点取得部110 ;基础矩阵估计部120 ;对极坐标导出部 130 ;对极坐标确定部140 ;以及基础矩阵确定部150。对应点取得部110对于从图像取得部 12输入的多个图像，提取多个包含在该图像中的共同的点，针对这些多个点，取得在图像间 的对应关系。将得到该对应关系的点作为对应点输出。基础矩阵估计部120根据对应点取 得部110取得的对应点，使用例如RANSAC(RANdam Sample Consensus :随机抽样一致）等 鲁棒方法计算多个作为表示图像间的关系的基础矩阵的第1基础矩阵。 对极坐标导出部130根据基础矩阵估计部120计算出的各第1基础矩阵，计算与 该基础矩阵对应的图像间的对极的坐标。对极坐标确定部140从对极坐标导出部130计算 出的多个对极的坐标之中，选择最准确的对极。基础矩阵确定部150以与对极坐标确定部 140选择出的对极对应的第1基础矩阵为最佳基础矩阵，确定第2基础矩阵。 本文档来自技高网...

【技术保护点】
一种图像处理装置，其具有：图像取得部，其取得多个图像；对应点取得部，其取得在多个所述图像之间相互对应的多个第1对应点；第1基础矩阵估计部，其根据多个所述第1对应点计算多个第1基础矩阵；对极坐标导出部，其针对至少一个图像，计算与所述多个第1基础矩阵分别对应的多个第1对极坐标；对极坐标确定部，其使用规定的统计性方法，将所述多个第1对极坐标中的一个对极坐标确定为第2对极坐标；以及基础矩阵确定部，其将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础矩阵。

【技术特征摘要】
【国外来华专利技术】2012.06.27 JP 2012-1445981. 一种图像处理装置，其具有： 图像取得部，其取得多个图像； 对应点取得部，其取得在多个所述图像之间相互对应的多个第1对应点； 第1基础矩阵估计部，其根据多个所述第1对应点计算多个第1基础矩阵； 对极坐标导出部，其针对至少一个图像，计算与所述多个第1基础矩阵分别对应的多 个第1对极坐标. 对极坐标确定部，其使用规定的统计性方法，将所述多个第1对极坐标中的一个对极 坐标确定为第2对极坐标；W及 基础矩阵确定部，其将与所述第2对极坐标对应的所述第1基础矩阵确定为第2基础 矩阵。2. 根据权利要求1所述的图像处理装置，其中， 所述对极坐标确定部具有； 中央值计算部，其计算多个所述第1对极坐标的中央值； 距离计算部，其计算所述第1对极坐标各自与所述中央值的距离；W及 对极选择部，其将多个所述第1对极坐标中的所述距离最小的所述第1对极坐标确定 为所述第2对极坐标。3. 根据权利要求1所述的图像处理装置，其中， 所述对极坐标确定部具有； 直方图生成部，其对多个所述第1对极坐标的频度进行计数； 重屯、位置计算部，其确定所述频度高的区域的重屯、位置； 距离计算部，其计算所述第1对极坐标各自与所述重屯、位置之间的距离；W及 对极选择部，其将多个所述第1对极坐标中的所述距离最小的所述第1对极坐标确定 为所述第2对极坐标。4. 根据权利要求1?3中的任意一项所述的图像处理装置，其中，所述图像处理装置还 具有： 运动估计部，其估计对多个所述图像进行了拍摄的照相机的位置W及姿势的差异；W 及 3维坐标估计部，其根据所述位置W及姿势的所述差异，估计包含在所述图像中的被摄 体的3维坐标。5. 根据权利要求1?3中的任意一...

【专利技术属性】
技术研发人员：都筑俊宏，
申请(专利权)人：奥林巴斯株式会社，
类型：发明
国别省市：日本;JP