摄像机校准装置以及摄像机校准系统制造方法及图纸

提供一种摄像机校准装置以及摄像机校准系统，即使在车辆的装载状态发生变化的状况下也能够实施校准，并且不利用例如车辆与白线的平行性，就能够精密地推定所有摄像机参数，实施校准。基于从影像提取的预定特征量来推定车辆的姿势，基于从产品出厂时等过去实施的校准而得到的信息来校正摄像机的相对于地面的平移方向的位置，基于该车辆的姿势和摄像机的相对于地面的平移方向的位置，来计算摄像机的相对于地面的姿势所相关的摄像机参数。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及摄像机校准装置以及摄像机校准系统。
技术介绍
以往，出于辅助驾驶员对周围的确认的目的，推进了车载摄像机的普及。另外，近年来，推进了下述系统的实用化，该系统对由安装于车辆周围的多个摄像机拍摄的各影像进行视点变换，将合成该影像而生成的车辆周围的俯瞰影像(从正上方向下观察车辆这样的影像)提供显示给驾驶员。为了如上述那样将由各摄像机拍摄的影像变换为俯瞰视点而生成合成影像，需要焦距、透镜畸变(镜头畸变)等光学特性、拍摄元件大小等摄像机固有信息(内部参数)、以及各摄像机的安装位置、角度的相关信息(外部参数)。使用合计了这样的内部参数和外部参数的摄像机参数，来进行各摄像机所拍摄的影像的俯瞰视点变换，对从该影像得到的俯瞰影像进行合成，从而能够假想地生成从俯瞰视点拍摄出的影像。然而，虽然各摄像机按照基于设计值的位置、角度安装于车辆，但是当时必然会产生误差。在尽管存在这样的误差但仍然基于设计值来生成俯瞰影像的情况下，必然不会成为从俯瞰视点拍摄出的影像，而是生成存在与误差相应的偏移的影像。尤其是在对多个影像进行合成的情况下，该偏移的影响在合成图像中的各摄像机的图像的交界区域明显显现出来，外观上受到的影响比单一摄像机的情况大。为了解决这样的问题，进行被称作校准或者校正的基于摄像机参数的设计值的误差校正。该校准要求极高精度地校正所述误差，因此并非采用机械调整摄像机的装设状态的方法，而是采用从拍摄出的影像来推定当前装设状态的方法。作为从拍摄出的影像来推定装设状态的方法，通常采用这样的方法：将打印在纸、板等上的图案(校准图表)精密地设置在预先决定的位置后进行拍摄，以实际拍摄出的影像与利用按设计值制造/设置的摄像机进行拍摄的情况下的影像一致的方式修正摄像机参数，此时，不是调整摄像机的安装状态本身，而是借助图像变化来修正摄像机的安装位置、角度的相关程序中的数值。另外，车辆出厂时在工厂的生产线等进行校准时，对没人乘坐的空车状态或者驾驶员乘坐于司机座位的情况等特定的装载状态进行再现，来实施校准。因而，在空车状态或者特定的装载状态等这样的与实际进行了校准的状态相同的状态下，影像不会发生偏移。然而，实际上使用者使用车辆时，乘车的人数、坐人位置、载置物品的装载状态等会有各种各样的变化。于是，当车辆的装载状态发生变化时，车辆的姿势也发生变化，随之，摄像机的相对于地面的装设状态也发生变化。即，存在这样的问题：摄像机参数发生变化而产生误差，由于该摄像机参数的误差，影像产生偏移。针对这样的问题，专利文献1、2公开了在车辆的行驶中校正摄像机参数的技术。专利文献1公开的车辆用摄像机的在线校准方法为这样的方法：利用至少两个摄像机拍摄路面的相邻部分，在图像框架内确定长度方向的道路特征，以与两个图像框架间的单一的线一致的方式选择由两个摄像机拍摄出的至少两个图像框架内所确定的长度方向的道路特征，分析单一的线的一致度，决定两个图像框架间的线的偏离，为了摄像机的校准而应用决定好的线的偏离。另外，专利文献2公开的车辆用摄像机的在线校准方法为这样的方法：利用摄像机拍摄路面的一部分，在图像框架内确定长度方向的道路特征，沿着确定出的长度方向的道路特征来提取点，并且利用考虑了预先已知的摄像机参数的透视映射来将该提取点转换到假想道路平面上，相对于车辆分析转换后的提取点,决定该点相对于与车辆平行的线的偏差，为了定义摄像机的偏离校正而使用测定出的偏差。现有技术文献专利文献专利文献1：国际公开第2012/143036号专利文献2：国际公开第2012/139660号
技术实现思路
专利技术要解决的课题但是，在专利文献1公开的车辆用摄像机的在线校准方法中，想要仅使用长度方向的特征量实现校准，因此无法准确地推定特定的外部参数，通过本专利技术人进行解析而确认了该点。另外，专利文献2公开的车辆用摄像机的在线校准方法中，想要利用车辆的与白线的平行性来实现校准，因此存在只有该车辆与白线平行的情况下才能实施校准这样的问题。另外，为了保证车辆的与白线的平行性，存在这样的问题：只能在车辆的速度为某速度(50km)以上的情况下实施校准，例如在市内等低速行驶的情况下，无法实施校准。本专利技术是鉴于所述问题而做成的，其目的在于提供一种摄像机校准装置以及摄像机校准系统，即使在车辆的装载状态发生变化的状况下也能够实施校准，并且不利用例如车辆的与白线的平行性，就能够精密地推定所有摄像机参数，实施校准。用于解决课题的手段为了解决上述问题，本专利技术的摄像机校准装置对搭载于车辆、拍摄所述车辆的周围环境的多个摄像机实施校准，其特征在于，包括：影像取得部，其取得由所述摄像机拍摄出的影像；特征提取部，其从所述影像提取预定的特征量；姿势推定部，其基于所述预定的特征量来推定所述车辆的姿势；平移校正部，其基于从过去实施的校准得到的信息来校正摄像机的相对于地面的平移方向的位置；摄像机参数计算部，其基于所述车辆的姿势和所述摄像机的相对于地面的平移方向的位置来计算摄像机的相对于地面的姿势所相关的摄像机参数。另外，本专利技术的摄像机校准系统的特征在于，具备：所述摄像机校准装置；所述多个摄像机，其以拍摄的影像的一部分重叠或者相邻的方式搭载于所述车辆；合成影像生成装置，其使用从所述摄像机校准装置获得的各摄像机的摄像机参数来校正由所述多个摄像机拍摄出的影像而生成合成影像；以及显示装置，其显示所述合成影像。专利技术的效果采用本专利技术，即使在车辆的装载状态发生变化的状况下也能够实施校准，并且不利用例如车辆的与白线的平行性，就能够精密地推定所有摄像机参数，实施校准，因此能够在所有状况下生成与车辆的装载状态相应的高精度的俯瞰影像。通过以下实施方式的说明能够了解上述以外的技术问题、特征以及效果。附图说明图1是表示本专利技术的摄像机校准系统的实施方式的整体结构的系统结构图。图2是说明到实施产品出厂时以及使用时校准为止的步骤的流程图。图3是表示使用时校准实施前的俯瞰影像的一例的图。图4是表示使用时校准实施过程中的俯瞰影像的一例的图。图5是表示使用时校准实施后的俯瞰影像的一例的图。图6是表示图1所示的摄像机校准装置的内部结构的一例的结构图。图7是说明图6所示的摄像机校准装置的校准处理的流程图。图8是表示图1所示的摄像机校准装置的内部结构的另一例的结构图。图9是说明图8所示的摄像机校准装置的校准处理的流程图。图10是表示图1所示的摄像机校准装置的内部结构的又一例的结构图。图11是说明图10所示的摄像机校准装置的校准处理的流程图。具体实施方式以下，参照附图说明本专利技术的摄像机校准装置以及摄像机校准系统的实施方式。以下，说明使用四台摄像机、相邻的两台摄像机所拍摄出的影像的一部分重叠或者相邻的情况，但是整个系统的摄像机的台数、拍摄重叠或者相邻部分的摄像机的台数可以根据使用者等的要求适当变更。＜摄像机校准系统的实施方式＞图1是表示实现了本专利技术的摄像机校准系统的实施方式的系统结构的图。图示的摄像机校准系统100主要具备：四台摄像机111～114、运算装置101、RAM102、ROM103、显示装置104、车速传感器105、转向角传感器106、偏航率传感器107、输入装置108以及通信装置109。各摄像机111～114搭载于车辆1，例如设置于该车辆1的前后左右。例如，设置在前后的本文档来自技高网...

【技术保护点】
一种摄像机校准装置，其实施搭载于车辆而拍摄所述车辆的周围环境的多个摄像机的校准，该摄像机校准装置的特征在于，具备：影像取得部，其取得由所述摄像机拍摄到的影像；特征提取部，其从所述影像中提取预定特征量；姿势推定部，其根据所述预定特征量来推定所述车辆的姿势；平移校正部，其根据从过去实施的校准得到的信息来校正摄像机的相对于地面的平移方向的位置；以及摄像机参数算出部，其根据所述车辆的姿势和所述摄像机的相对于地面的平移方向的位置，来算出与摄像机的相对于地面的姿势相关的摄像机参数。

【技术特征摘要】
【国外来华专利技术】2014.09.30 JP 2014-2015471.一种摄像机校准装置，其实施搭载于车辆而拍摄所述车辆的周围环境的多个摄像机的校准，该摄像机校准装置的特征在于，具备：影像取得部，其取得由所述摄像机拍摄到的影像；特征提取部，其从所述影像中提取预定特征量；姿势推定部，其根据所述预定特征量来推定所述车辆的姿势；平移校正部，其根据从过去实施的校准得到的信息来校正摄像机的相对于地面的平移方向的位置；以及摄像机参数算出部，其根据所述车辆的姿势和所述摄像机的相对于地面的平移方向的位置，来算出与摄像机的相对于地面的姿势相关的摄像机参数。2.根据权利要求1所述的摄像机校准装置，其特征在于，所述平移校正部根据从所述多个摄像机中选择的基准摄像机的相对于地面的平移方向的位置和所述车辆的姿势，来校正各摄像机的相对于地面的平移方向的位置。3.根据权利要求1所述的摄像机校准装置，其特征在于，所述姿势推定部具有：纵倾角推定部，其根据所述预定特征量来推定所述车辆的纵倾角；以及侧倾角/高度/旋转中心推定部，其根据所述预定特征量来推定所述车辆的侧倾角、高度以及旋转中心。4.根据权利要求1所述的摄像机校准装置，其特征在于，所述特征提取部从所述影像中提取具有直线状的直线特征量，并且所述姿势推定部根据所述影像中的位于所述车辆的周围的相互平行的直线特征量的平行性、以及从所述影像生成的合成影像中的由各摄像机拍摄到的影像的交界处的偏移量，来推定所述车辆的姿势。5.根据权利要求1所述的摄像机校准装置，其特征在于，所述摄像机校准装置还具备：判断是否实施校准的校准实施判断部。6.根据权利要求5所述的摄像机校准装置，其特征在于，所述特征提取部从所述影像中提取具有直线状的直线特征量，并且所述...

【专利技术属性】
技术研发人员：坂野盛彦，佐藤启二，
申请(专利权)人：歌乐株式会社，
类型：发明
国别省市：日本;JP