交通相机校准制造技术

本公开提供了“交通相机校准”。一种系统包括处理器和存储器，所述存储器包括指令，所述指令将由所述处理器执行来进行以下操作：基于与由道路表面确定的地平面平行且重合地定位的二维校准图案而确定相机校准参数，所述相机校准参数包括相机焦距、相机高度和相机倾斜度；以及确定对象数据，所述对象数据包括在摄像机的视野中的一个或多个对象的对象位置、对象速度和对象方向。象速度和对象方向。象速度和对象方向。

【技术实现步骤摘要】
交通相机校准


[0001]本公开总体上涉及交通相机。

技术介绍

[0002]车辆可配备有计算装置、网络、传感器和控制器以获取关于车辆的环境的数据并且基于所述数据而操作车辆。车辆传感器可提供关于将行驶的路线以及车辆环境中要避开的对象的数据。车辆的操作可依赖于在车辆正在道路上进行操作时获取关于车辆的环境中的对象的准确且及时的数据。

技术实现思路

[0003]交通基础设施系统中的计算机可被编程为获取关于交通的数据并且使用所述数据来确定以自主或半自主模式操作一个或多个车辆。例如，交通基础设施系统中的计算机可被编程为获取关于道路上的车辆的位置、方向和速度的数据。交通基础设施系统可从各种传感器模态获取数据，以确定包括车辆的对象的真实世界位置、方向和速度。例如，交通基础设施系统可从多普勒雷达获取关于对象的位置、方向和速度的数据。交通基础设施系统还可从激光雷达传感器获取点云数据。可处理点云数据以确定对象的位置，或者可处理多普勒数据或点云数据的时间序列以产生对象的方向和速度。可处理立体图像数据的时间序列以产生在立体相机的视野中的对象的位置、方向和速度。可从立体摄像机获得时间序列数据。
[0004]本文论述的技术改进了用于通过使用单个相机确定交通中的对象的真实世界位置来确定关于所述对象的数据的雷达、激光雷达和立体相机技术。本文论述的技术可使用单个图像传感器来确定对象的真实世界位置，就金钱和计算资源两者而言，所述单个图像传感器的成本低于两个立体图像传感器，低于雷达传感器，并且远远低于激光雷达传感器。此外，本文论述的技术可以比雷达传感器高得多的分辨率来确定对象位置。雷达传感器通常需要与其他传感器模态(诸如相机)相关联，以确定对象位置。立体图像传感器依赖于在分开位置处的维持精确取向的两个相机来提供准确的数据。激光雷达传感器的成本可能是相机的数百倍，并且在计算上非常昂贵。本文论述的技术可使用单个摄像机来获取时间序列数据，相较于其他技术，可以更低的成本使用更少的计算资源来处理所述时间序列数据以确定交通中对象的真实世界位置、方向和速度。
[0005]本文公开了一种方法，所述方法包括：基于与由道路表面确定的地平面平行且重合地定位的二维校准图案而确定相机的相机校准参数，所述相机校准参数包括相机焦距、相机高度和相机倾斜度；以及确定对象数据，所述对象数据包括在所述相机的视野中的一个或多个对象的对象位置、对象速度和对象方向。可通过将平面拟合到在所述相机的所述视野中的所述道路表面上测量的点的真实世界位置来确定地平面。如在所述道路表面上所测量的从相机到对象的距离可以是基于所述校准参数。所述相机校准参数可将像素数据变换为真实世界坐标。可通过经由处理所述二维校准图案的图像来确定所述相机的光学中心
与相机传感器平面之间的距离而确定所述相机焦距。可通过经由处理所述二维校准图案的所述图像来确定所述相机的所述光学中心与地平面之间的距离而确定所述相机高度。
[0006]可通过确定所述相机的所述光学中心与消失线之间的距离来确定所述相机倾斜度，所述消失线是通过连接两个或更多个消失点而确定，所述消失点是通过处理所述二维校准图案的所述图像而确定，其中所述消失点是所述图像中的所述二维校准图案中的平行线因透视变形而相交的位置。可通过在视频帧的时间序列中确定所述对象位置来确定所述对象速度和所述对象方向。可将所述对象数据下载到车辆。所述相机可包括在交通基础设施系统中。所述相机可为固定摄像机。可基于通过处理所述二维校准图案的图像确定的固有相机参数和外部相机参数而计算所述相机校准参数。所述固有相机参数可包括在x和y方向上的焦距。所述外部相机参数可包括确定从所述二维校准图案到所述相机光学中心的平移和旋转的平移矩阵和旋转矩阵。
[0007]还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。另外公开了一种计算机，所述计算机被编程用于执行上述方法步骤中的一些或全部，所述计算机包括计算机设备，所述计算机设备被编程为：基于与由道路表面确定的地平面平行且重合地定位的二维校准图案而确定相机的相机校准参数，所述相机校准参数包括相机焦距、相机高度和相机倾斜度；以及确定对象数据，所述对象数据包括在所述相机的视野中的一个或多个对象的对象位置、对象速度和对象方向。如在所述道路表面上所测量的从相机到对象的距离可以是基于所述校准参数。可通过将平面拟合到在所述相机的所述视野中的所述道路表面上测量的点的真实世界位置来确定地平面。所述相机校准参数可将像素数据变换为真实世界坐标。可通过经由处理所述二维校准图案的图像来确定所述相机的光学中心与相机传感器平面之间的距离而确定所述相机焦距。可通过经由处理所述二维校准图案的所述图像来确定所述相机的所述光学中心与地平面之间的距离而确定所述相机高度。
[0008]所述指令还可包括用于通过确定所述相机的所述光学中心与消失线之间的距离来确定相机倾斜度的指令，所述消失线是通过连接两个或更多个消失点而确定，所述消失点是通过处理所述二维校准图案的所述图像而确定，其中所述消失点是所述图像中的所述二维校准图案中的平行线因透视变形而相交的位置。可通过在视频帧的时间序列中确定所述对象位置来确定所述对象速度和所述对象方向。可将所述对象数据下载到车辆。所述相机可包括在交通基础设施系统中。所述相机可为固定摄像机。可基于通过处理所述二维校准图案的图像确定的固有相机参数和外部相机参数而计算所述相机校准参数。所述固有相机参数可包括在x和y方向上的焦距。所述外部相机参数可包括确定从所述二维校准图案到所述相机光学中心的平移和旋转的平移矩阵和旋转矩阵。
附图说明
[0009]图1是示例交通基础设施系统的图。
[0010]图2是真实世界交通场景的自上而下视图的图。
[0011]图3是由相机观察的交通场景的图像的图。
[0012]图4是相机的图。
[0013]图5是交比不变性的图。
[0014]图6是应用于交通数据的交比不变性的图。
[0015]图7是应用于交通数据的交比不变性的另一个图。
[0016]图8是校准图案的图。
[0017]图9是相机高度校准的图。
[0018]图10是相机倾斜度校准的图。
[0019]图11是应用于交通数据的交比不变性和相机校准的图。
[0020]图12是用于确定应用于交通数据的交比不变性的示例过程的流程图。
具体实施方式
[0021]图1是交通基础设施系统100的图，所述交通基础设施系统包括可以自主(“自主”本身在本公开中意指“完全自主”)、半自主和乘员驾驶(也被称为非自主)模式操作的车辆110。一个或多个车辆110的计算装置115可从传感器116接收关于车辆110的操作的数据。计算装置115可以自主模式、半自主模式或非自主模式操作车辆110。
[0022]计算装置115包括诸如已知的处理器和存储器。另外，存储器包括一种或多种形式的计算机可读介质，并且存储指令，所述指令可由处理器执行来执行包括如本文所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，所述方法包括：基于与由道路表面确定的地平面平行且重合地定位的二维校准图案而确定相机的相机校准参数，所述相机校准参数包括相机焦距、相机高度和相机倾斜度；以及确定对象数据，所述对象数据包括在所述相机的视野中的一个或多个对象的对象位置、对象速度和对象方向。2.如权利要求1所述的方法，所述方法还包括基于所述校准参数而确定如在所述道路表面上所测量的从相机到对象的距离。3.如权利要求1所述的方法，所述方法还包括通过将平面拟合到在所述相机的所述视野中的所述道路表面上测量的点的真实世界位置来确定地平面。4.如权利要求1所述的方法，其中所述相机校准参数将像素数据变换为真实世界坐标。5.如权利要求1所述的方法，所述方法还包括通过经由处理所述二维校准图案的图像来确定所述相机的光学中心与相机传感器平面之间的距离而确定所述相机焦距。6.如权利要求4所述的方法，所述方法还包括通过经由处理所述二维校准图案的所述图像来确定所述相机的所述光学中心与地平面之间的距离而确定所述相机高度。7.如权利要求5所述的方法，所述方法还包括通过确定所述相机的所述光学中心与消失线之...

【专利技术属性】
技术研发人员：恩里克，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：