照相机校正装置及方法、以及车辆制造方法及图纸

本发明专利技术提供一种照相机校正装置及方法、以及车辆。所述照相机校正装置基于应配置在多个照相机的公共拍摄区域上的校正图案在各照相机中的拍摄结果来进行照相机校正，其中所述照相机校正用于将来自所述多个照相机的多个照相机图像投影到规定面上并合成。照相机校正装置基于所述拍摄结果判断所述校正图案是否被所述多个照相机观测，并在判断出未被观测的情况下，基于所述拍摄结果生成用于使所述校正图案包含于所述公共拍摄区域内并使所述多个照相机进行观测的指示内容，并向进行校正图案的配置作业的作业者通知该指示内容。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种照相机校正装置及照相机校正方法，实现为了将来自多个照相机 的照相机图像投影在规定面上并进行合成所需的照相机校正处理，另外还涉及利用了该照 相机校正装置及照相机校正方法的车辆。
技术介绍
近年来随着安全意识的提高，多在汽车等车辆上搭载照相机(车载照相机)。而 且，不仅对照相机的影像进行显示，而且还利用图像处理技术进行使人们看到更优质的影 像的研究。其中之一的研究，通过对拍摄到的图像进行坐标变换，来生成并显示如从地面的 上方观看的鸟瞰像。通过显示该鸟瞰像，驾驶员极易掌握车辆周边的状况。而且，还开发了如下的运行支援系统通过将来自多个照相机的多个照相机图像 投影到地面上并进行合成，来生成全周鸟瞰像并将其显示到显示装置上(例如，参照 下述专利文献1 3)。在该运行支援系统中，由于能够将车辆全周的状态作为从上空观看 的影像提供给驾驶员，故其具有能够360度无死角地覆盖车辆的周边的优点。图21示出应用了这种运行支援系统的车辆的俯视图，图22示出从左斜前方观看 该车辆的图。在车辆的前后左右设置有作为前照相机的照相机1F、作为后照相机的照相机 1B、作为左照相机的照相机IL及作为右照相机的照相机1R。在图22中，照相机IF和IL的 各拍摄区域标记为斜线区域。在该运行支援系统中，通过利用坐标变化将来自各照相机的 照相机图像投影到地面上并进行合成，来生成并显示作为合成图像的全周鸟瞰像。图 23示出所显示的全周鸟瞰像的示意图。在图23的全周鸟瞰像中，在车辆的前侧、 右侧、左侧及后侧分别描绘了基于照相机1F、1R、1L及IB的照相机图像的鸟瞰像。作为将照相机的拍摄图像面投影到地面的方法，有基于透视投影变换的方法和基 于平面射影变换的方法。在透视投影变换中，基于照相机的安装角度及照相机的设置高度等照相机外部信 息和照相机的焦距(或视场角)等照相机内部信息，来计算用于将照相机图像投影到设定 平面(路面等)上的变换参数。因此，为了高精度地进行坐标变化而需要准确地掌握照相 机外部信息。虽然多在事先设置了照相机的安装角度及照相机的设置高度等，但是由于在 这些设计值与实际设置在车辆上时的值之间存在误差，故坐标变换的精度劣化。结果，出现 无法在合成图像的接合部分平滑地接合各鸟瞰像的问题。另一方面，在平面射影变换中，进行如下的校正作业在拍摄区域内配置校正图 案，并基于所拍摄到的校正图案求出表示照相机图像上的各点的坐标值和鸟瞰像上的 各点的坐标值的对应关系的变换矩阵。该变换矩阵一般被称为单应性(homography)矩阵。 根据平面射影变换，由于不需要照相机外部信息或照相机内部信息，而基于实际所拍摄到 的校正图案指定照相机图像与鸟瞰像之间的对应坐标，故未受到(或不易受到)照相 机设置误差的影响。虽然用于将照相机图像射影到地面上的单应性矩阵可基于坐标值已知的四个以上的特征点计算，但是为了将来自多个照相机的多个照相机图像射影到共同的平面上，需 要将各照相机中利用的特征点预先设置在共同的坐标面上。即，需要定义如图24所示的针 对所有照相机通用的二维坐标系，并在该二维坐标系上按每个照相机指定四个以上的特征 点的坐标值。因此，在将多个照相机设置在卡车等车辆上，为了得到全周鸟瞰像而进行照 相机校正的情况下，需要准备如覆盖各照相机的全部拍摄区域的非常大的校正图案。在图 24所示的例子中，在车辆周边设置覆盖各照相机的全部拍摄区域的棋盘格状的校正图案， 并将棋盘格的交点作为特征点加以利用。由于这种校正图案的尺寸例如为车辆的纵横尺寸 的2倍的大小，故在校正作业时会占据较大的场所并且校正环境的准备需要花费时间和劳 力，从而整体校正作业的负担增大。为了提高校正作业的效率，谋求一种更简单的校正方 法。专利文献1 日本专利第3372944号公报专利文献2 日本特开2004-235986号公报专利文献3 日本特开2006-287892号公报
技术实现思路
因此，本专利技术的目的在于提供一种有助于简化校正作业的照相机校正装置及照相 机校正方法。另外，本专利技术的目的在于提供一种利用了该照相机校正装置及照相机校正方 法的车辆。为了达成上述目的，本专利技术的照相机校正装置基于应配置于多个照相机的公共拍 摄区域内的校正图案在各照相机中的拍摄结果，进行用于将来自所述多个照相机的多个照 相机图像投影到规定面上并合成的照相机校正，该照相机校正装置的特征在于，具备判断 单元，其基于所述拍摄结果，判断向所述公共拍摄区域配置所述校正图案的配置状态；和通 知用信号输出单元，其输出通知用信号，该通知用信号用于向外部通知与所述判断单元的 判断结果相应的信息。由此，进行校正图案配置的作业者能够接收与校正图案的配置状态相关的通知后 进行配置作业，故能准确且容易地进行校正图案的配置。具体地说，例如在将进行照相机校正时从各照相机得到的照相机图像称为校正用 照相机图像的情况下，所述判断单元基于所述校正用照相机图像来判断所述校正图案是否 被所述多个照相机观测。并且，具体地说，例如在所述判断单元判断为所述校正图案未被所述多个照相机 观测的情况下，基于所述校正用照相机图像，生成用于使所述校正图案包含在所述公共拍 摄区域内并使所述多个照相机进行观测的指示内容，所述通知用信号输出单元输出用于向 外部通知作为所述信息的所述指示内容的信号，来作为所述通知用信号。另外，例如，所述通知用信号被提供给声音输出装置，通过声音输出来进行所述信 息的通知。或者，例如，所述通知用信号被提供给影像显示装置，通过影像显示来进行所述信 息的通知。进而，例如，该照相机校正装置还具备无线传输单元，所述无线传输单元将所述通知用信号通过无线方式传输到便携式终端装置，在所述便携式终端装置上，通过声音输出 及影像显示中的至少一个来进行所述信息的通知。为了达成上述目的，本专利技术的车辆设置有多个照相机；图像合成单元，其生成将 来自所述多个照相机的多个照相机图像投影到规定面上并合成后的图像；和影像显示装 置，其显示所述合成后的图像；该车辆的特征在于，所述图像合成单元利用权利要求1 3 中任一项所述的照相机校正装置进行的照相机校正的结果，进行所述多个照相机图像的投 影及合成。为了达成上述目的，本专利技术的照相机校正方法基于应配置于多个照相机的公共拍 摄区域内的校正图案在各照相机中的拍摄结果，进行用于将来自所述多个照相机的多个照 相机图像投影到规定面上并合成的照相机校正，该照相机校 正方法的特征在于，基于所述 拍摄结果判断向所述公共拍摄区域配置所述校正图案的配置状态，并向外部通知与该判断 结果相应的信息。(专利技术效果)根据本专利技术，能提供一种有助于简化校正作业的照相机校正装置及照相机校正方法。本专利技术的意义及效果通过以下所述的实施方式的说明变得更清楚。其中，以下的 实施方式只是一个例子，本专利技术及各构成要件的术语的意义并不限定于以下的实施方式所 述的内容。附图说明图1是从上方观看应用本专利技术实施方式的运行支援系统的车辆的俯视图，是表示 向该车辆设置各照相机的设置状态的图。图2是表示从左斜前方观看图1的车辆的图。图3(a) (d)是表示设置在图1的车辆上的各照相机的拍摄区域的图。图4是集中表示设置在图1的车辆上的各照相机的拍摄区域的图。图5是本专利技术实施方式的运行支援系本文档来自技高网...

【技术保护点】
一种照相机校正装置，基于应配置于多个照相机的公共拍摄区域内的校正图案在各照相机中的拍摄结果，进行用于将来自所述多个照相机的多个照相机图像投影到规定面上并合成的照相机校正，该照相机校正装置的特征在于，具备：判断单元，其基于所述拍摄结果，判断向所述公共拍摄区域配置所述校正图案的配置状态；和通知用信号输出单元，其输出通知用信号，该通知用信号用于向外部通知与所述判断单元的判断结果相应的信息。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：浅利圭介，石井洋平，
申请(专利权)人：三洋电机株式会社，
类型：发明
国别省市：JP[日本]