用于补偿交通工具校准误差的方法和系统技术方案

本申请公开了一种用于补偿交通工具系统误差的方法和系统。将虚拟相机添加到交通工具传感器配置和坐标变换过程，该过程尝试将与地标相关联的多个3D点与检测到的地标进行匹配。虚拟相机与检测到的地标相关联。可以将3D世界坐标点变换到真实的3D相机坐标系，并且然后变换到虚拟的3D相机坐标系。真实和虚拟相机坐标系中的3D点分别投影到对应的2D图像像素坐标上。在坐标变换过程中包括虚拟相机会呈现3D到2D点对应的问题，可以使用相机姿态估计算法来解决该问题。可以确定偏移补偿变换矩阵，该矩阵解释由误校准的交通工具传感器或系统造成的误差，并在交通工具控制系统使用之前将其应用于所有数据。

【技术实现步骤摘要】
用于补偿交通工具校准误差的方法和系统
本公开涉及自动交通工具(vehicle)。更具体地，本公开涉及用于校正或补偿例如由交通工具传感器校准(calibration)、定位和高/中精度(HD/MD)地图标签引起的交通工具校准误差的方法。
技术介绍
交通工具可以使用各种传感器，诸如但不限于高/中精度(HD/MD)地图、3D光检测和测距(LiDAR)、相机、全球定位系统(GPS)、惯性测量单元(IMU)、雷达等等，以用于各种各样的功能，诸如但不限于地标检测、碰撞避免、停车、导航和制导。对于自动交通工具尤其如此，在自动交通工具中，精确的交通工具传感器外部参数校准对于实现自动驾驶至关重要。例如，诸如但不限于交通信号灯、车道标记、停车标志、人行横道等等的地标通常由HD/MD地图中的唯一标识符(ID)和多个3D点(例如，四个3D点定义了交通信号灯的边界)来表示，每一个地图都是相对于世界参照系(frame)或世界坐标系进行描述的。可以通过查询带有交通工具位置的HD/MD地图来获得3D世界参照系参考点。然后，将3D世界参照系参考点相应地投影到2D图像像素坐标或图像空间。在理想情况下，2D图像中的投影方位应与检测到的实际地标边界对齐。然而，受交通工具传感器校准、定位和HD/MD地图标签影响的投影方位并不完全可靠。因此，投影方位可能相对于实际地标方位具有较大的偏移量。
技术实现思路
本文公开了补偿交通工具校准误差以增强对象检测准确度的方法和系统。补偿交通工具系统误差的方法和系统。将虚拟相机添加到交通工具传感器配置和坐标变换过程，该过程尝试将与地标相关联的多个3D点与实际或检测到的地标进行匹配。虚拟相机与检测到的地标相关联。3D世界坐标点可以被变换到真实的3D相机坐标系，并且可以从真实的3D相机坐标系变换到虚拟的3D相机坐标系。然后，将真实相机和虚拟相机坐标系中的3D点分别投影到对应的2D图像像素坐标或图像空间上。在坐标变换过程中包括虚拟相机会呈现3D到2D点对应的问题，可以使用相机姿态估计算法来解决该问题。然后可以确定偏移补偿变换矩阵，该矩阵解释由误校准的交通工具传感器或系统造成的误差。然后可以在交通工具控制系统使用之前将偏移补偿变换矩阵应用于所有数据。附图说明当结合附图阅读时，根据下面的详细描述来最好地理解本公开。要强调的是，根据惯例，附图的各个特征未按比例绘制。相反地，为了清楚起见，各种特征的尺寸被任意扩大或缩小。图1是根据本公开的实施例的交通工具的示例的示图。图2是图1所示的控制系统的示例的示图。图3是根据本公开的实施例的交通工具控制系统的示例的示图。图4是根据本公开的实施例的包括交通工具控制系统的交通工具的侧视图的示例的示图。图5是根据本公开的实施例的交通工具控制系统的示例的示图。图6是用于在没有补偿的情况下投影对象坐标的一般框架和系统的示例的示图。图7是根据本公开的实施例的用于在具有补偿的情况下投影对象坐标的一般框架和系统的示例的示图。图8是根据本公开的实施例的用于在具有补偿的情况下投影对象坐标的一般框架和系统的示例的示图。图9是根据本公开的实施例的用于交通工具校准补偿的示例方法的流程图。图10是根据本公开的实施例的用于交通工具校准补偿的示例方法的流程图。图11是根据本公开的实施例的旋转矩阵的示例的曲线图。图12是根据本公开的实施例的平移矩阵的示例的曲线图。图13是根据本公开的实施例的使用交通工具校准补偿方法的示例地标匹配的照片。图14是示例地标失配的照片。图15是示例地标匹配的照片。具体实施方式现在将更详细地参照其示例在附图中图示的本专利技术的优选实施例。在可能的任何地方，遍及附图和描述，将使用相同的附图标记来指代相同或相似的部分。如本文中使用的，术语“计算机”或“计算设备”包括能够实行本文中公开的任何方法或其任何一个或多个部分的任何单元或单元的组合。如本文中使用的，术语“处理器”指示一个或多个处理器，诸如一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器、一个或多个应用处理器、一个或多个中央处理单元(CPU)、一个或多个图形处理单元(GPU)、一个或多个数字信号处理器(DSP)、一个或多个专用集成电路(ASIC)、一个或多个专用标准产品、一个或多个现场可编程门阵列、集成电路的任何其他类型或组合、一个或多个状态机或它们的任何组合。如本文中使用的，术语“存储器”指示可以有形地包含、存储、传送或传输可以被任何处理器使用或与任何处理器结合使用的任何信号或信息的任何计算机可用或计算机可读介质或设备。例如，存储器可以是一个或多个只读存储器(ROM)、一个或多个随机存取存储器(RAM)、一个或多个寄存器、低功率双倍数据速率(LPDDR)存储器、一个或多个高速缓冲存储器、一个或多个半导体存储器件、一种或多种磁性介质、一种或多种光学介质、一种或多种磁光学介质或它们的任何组合。如本文中使用的，术语“指令”可以包括用于实行本文中公开的任何方法、或其任何一个或多个部分的指导或表达，并且可以以硬件、软件或其任何组合的形式来实现。例如，指令可以被实现为存储在存储器中的诸如计算机程序之类的信息，该信息可以由处理器执行以实行如本文所述的任何相应的方法、算法、方面或其组合。指令或其一部分可以被实现为专用处理器或电路，其可以包括用于执行如本文中所述的方法、算法、方面或其组合中的任何一个的专用硬件。在一些实现方式中，指令的部分可以分布在单个设备上、多个设备上的多个处理器之间，该多个设备可以直接通信或跨诸如局域网、广域网、互联网或其组合的网络进行通信。如本文中使用的，术语“确定”和“识别”或其任何变体包括使用在本文中示出和描述的一种或多种设备和方法以任何方式来选择、查明、计算、查找、接收、确定、建立、获得或以其他方式识别或确定。如本文中使用的，术语“示例”、“实施例”、“实现方式”、“方面”、“特征”或“元素”指示用作示例、实例或说明。除非明确指出，否则任何示例、实施例、实现方式、方面、特征或元素独立于每个其他示例、实施例、实现方式、方面、特征或元素，并且可以与任何其他示例、实施例、实现方式、方面、特征或元素相组合地使用。如本文中使用的，术语“或”意图表示包括性的“或”而不是排他性的“或”。即，除非另行规定，或者根据上下文是清楚的，“X包括A或B”意图指示任何自然的包括性排列。即，如果X包括A；X包括B；或X包括A和B两者，则在任何前述情况下均满足“X包括A或B”。此外，如在本申请和所附权利要求中使用的冠词“一”和“一个”可以一般地被解释为意指“一个或多个”，除非另行规定，或者根据上下文清楚地指向单数形式。此外，为了简化解释，尽管本文中的附图和描述可以包括步骤或阶段的序列或系列，但是本文中公开的方法的要素可以以各种次序或同时发生。附加地，本文中公开的方法的元素可以与本文中未明确呈现和描述的其本文档来自技高网...

【技术保护点】
1.一种用于补偿自动交通工具(AV)系统误差的方法，所述方法包括：/n获得对象的多个3D点；/n将所述多个3D点变换到相机参照系；/n获得所述对象的实际2D点；/n建立与所述实际2D点相对应的虚拟相机；/n确定与所述相机参照系相关联的相机与所述虚拟相机之间的偏移补偿矩阵；/n在交通工具控制系统使用之前，将所述偏移补偿矩阵应用于数据点；以及/n利用偏移补偿的数据点来控制自动驾驶车辆的操作。/n

【技术特征摘要】
20190422 US 16/390,2811.一种用于补偿自动交通工具(AV)系统误差的方法，所述方法包括：
获得对象的多个3D点；
将所述多个3D点变换到相机参照系；
获得所述对象的实际2D点；
建立与所述实际2D点相对应的虚拟相机；
确定与所述相机参照系相关联的相机与所述虚拟相机之间的偏移补偿矩阵；
在交通工具控制系统使用之前，将所述偏移补偿矩阵应用于数据点；以及
利用偏移补偿的数据点来控制自动驾驶车辆的操作。


2.根据权利要求1所述的方法，其中，确定偏移补偿矩阵进一步包括：
使用所述相机参照系中的多个3D点和与所述虚拟相机相关联的虚拟相机参照系中的实际多个2D点来执行相机姿态算法，以确定所述偏移补偿矩阵。


3.根据权利要求1所述的方法，其中，所述偏移补偿矩阵包括平移矩阵和旋转矩阵。


4.根据权利要求1所述的方法，其中，所述多个3D点在世界坐标系中。


5.根据权利要求4所述的方法，其中，将所述世界坐标系中的多个3D点变换到惯性测量单元(IMU)参照系，从所述IMU参照系变换到光检测和测距(LiDAR)参照系，并且从所述LiDAR参照系变换到所述相机参照系。


6.根据权利要求1所述的方法，其中，使用图像检测、对象检测和拐角检测中的至少一种来确定所述实际2D点。


7.根据权利要求1所述的方法，其中，所述虚拟相机和所述相机的物理属性是相同的。


8.根据权利要求7所述的方法，其中，所述虚拟相机和所述相机的固有参数是相同的。


9.根据权利要求1所述的方法，其中，所述偏移补偿矩阵包括偏航、俯仰和滚动矩阵。


10.一种交通工具系统，其包括：
处理器，其被配置成：
获得对象的多个3D点；
将所述多个3D点变换到相机参照系；
获得所述对象的实际2D点；
建立与所述实际2D点相对应的虚拟相机；
确定与所述相机参照系相关联的相机与所述虚拟相机之间的偏移补偿矩阵；以及
在交通工具控制系统使用之前，将所述偏移补偿矩阵应用于数据点；以及控制器，其被配置成利用偏移补偿的数据点来控制自...

【专利技术属性】
技术研发人员：金东福，萨米尔·阿尔斯多依，哈米德·艾尔米第，
申请(专利权)人：长城汽车股份有限公司，
类型：发明
国别省市：河北;13