用于校准车辆或机器人的摄像头和/或激光雷达传感器的方法技术

本发明专利技术涉及一种用于校准车辆(1)或机器人的摄像头(3)和/或激光雷达传感器(2.1)的方法，其中，借助摄像头(3)采集车辆环境或机器人环境的图像(B)，借助至少一个激光雷达传感器(2.1)将真实图案(M

【技术实现步骤摘要】
【国外来华专利技术】用于校准车辆或机器人的摄像头和/或激光雷达传感器的方法


[0001]本专利技术涉及一种根据权利要求1的前序部分的用于校准车辆或机器人的摄像头和/或激光雷达传感器的方法。

技术介绍

[0002]由DE 10 2016 009 327 A1公开了一种用于校准车辆摄像头的方法，在这里，借助摄像头采集车辆环境的图像。借助至少一个激光雷达传感器，将一个规定的图案发出到在摄像头采集区域的至少一个部分内的车辆环境中，摄像头对该图案进行采集。借助与摄像头相连或集成在其中的评估单元，可确定距在借助摄像头所采集的图像内包含的图案的距离值，并且依据该距离值执行摄像头的校准。激光雷达传感器设计成是自校准的，其中，该自校准基于对象追踪。

技术实现思路

[0003]本专利技术基于以下任务，即，指明一种相比于现有技术有所改进的用于校准车辆或机器人的摄像头和/或激光雷达传感器的方法。
[0004]根据本专利技术，该任务通过一种具有如权利要求1所述的特征的方法完成。
[0005]本专利技术的有利设计是从属权利要求的主题。
[0006]在一种用于校准车辆或机器人的摄像头和/或激光雷达传感器的方法中，借助摄像头来采集车辆环境或机器人环境的图像。借助至少一个激光雷达传感器，将一个真实图案发出到在摄像头采集区域的至少一个部分内的车辆环境或机器人环境中，其中，真实图案借助摄像头被采集。
[0007]根据本专利技术，借助激光雷达传感器将在激光雷达传感器坐标系内产生的虚拟图案投射到车辆环境或机器人环境内的一个虚拟平面中。在此，借助激光雷达传感器发出的激光射线穿过该虚拟平面并且在一个真实投影面上产生与该虚拟图案相关联/相对应的真实图案。借助摄像头所采集的真实图案基于真实投影面的表面走向被反算到虚拟平面中。由此在摄像头的坐标系内产生校正后的虚拟图案，依据虚拟图案和校正后的虚拟图案的比较来校准所述摄像头和/或激光雷达传感器。
[0008]在借助摄像头采集的图像中，可能因为透镜系统和因为摄像头的潜在覆盖而出现光学失真。为了避免出现这种光学失真，通常在车辆生产或机器人生产中进行摄像头的校准，例如依据棋盘图案。在此，所确定的校正值被存储。但校正值的正确性可能因组成部件的老化、彼此不同的温度区域以及外部机械作用而受到不利影响。
[0009]该方法允许针对几乎任何目标来校准摄像头，从而在车辆或机器人的生产过程中例如在生产过程结束时的校准可被简化。另外，所述校准也可以在车辆或机器人工作期间例如在短暂工作暂停中进行。因此，也可以实现在摄像头的整个工作期间的校准可能性，以便也获知老化作用。因此，也可以在摄像头和激光雷达传感器的工作中执行校准并予以弥
补，这也尤其在自动化且特别是高度自动化的、自主或半自主操作的车辆中是有利的。多次校准也可以在一个步骤中组合。校准的考量结果是所述摄像头和激光雷达传感器在相同地点识别到相同对象。
[0010]所述机器人例如也被设计成车辆例如被设计成高度自动化或全自动的轿车、高度自动化或全自动的运输工具或者高度自动化或全自动的载货汽车。机器人也可以是工业机器人、自动化割草机、真空吸尘机器人、扫拖机器人或自动化水面运输工具。
[0011]在该方法的一个可能设计中，该真实投影面的表面走向依据借助激光雷达传感器所确定的距真实图案的像点的距离来确定。这允许在所谓的交叉校准中校准所述摄像头和/或激光雷达传感器，在交叉校准中，在摄像头中记录激光雷达传感器的反射并将其用于相对于激光雷达传感器(即关于摄像头与激光雷达传感器之间误差)来校准摄像头。基于摄像头中的所探测到的激光雷达反射，可以针对车辆或机器人的环境内的任一对象拟定一个虚拟图案，它由激光雷达传感器立体测量，从而可以产生所谓的地面实况。摄像头和激光雷达传感器的彼此相对校准允许可以更好地将借助摄像头和激光雷达传感器所识别的对象相互对应，并且提升精度。当摄像头和激光雷达传感器被直接相互校准时，它们之间的相对误差减小。通过因此关于激光雷达传感器来直接校准摄像头和以相反的方式直接校准，可以使得所述摄像头和激光雷达传感器的原始数据直接融合。另外，所述摄像头和激光雷达传感器的独立数据的融合也得到改善。
[0012]在该方法的另一个可能设计中，在比较虚拟图案和校正后的虚拟图案时，确定至少一个用于将虚拟图案换算到校正后的虚拟图案中和/或将校正后的虚拟图案换算到虚拟图案中的变换公式。即，依据两个虚拟图案计算用于将一个虚拟图案变换到另一个虚拟图案中的变换参数。该变换参数可被用来将由其中一个传感器装置、即摄像头或激光雷达传感器所确定的环境数据变换到另一个传感器装置的坐标系中。
[0013]在该方法的另一个可能设计中，在所述校准中确定所述摄像头和/或激光雷达传感器的方位角误差和/或仰角误差。因此，该摄像头可以如此相对于激光雷达传感器被校准，即，在摄像头的光轴和激光雷达传感器的光轴之间的可能差异、即方位角误差和仰角误差可被补偿。因此可以确定激光雷达传感器坐标系相对于摄像头坐标系的源自方位角误差和仰角误差的位移和扭转。所述位移和扭转在比较两个也相对位移和扭转的虚拟图案时被予以考虑。因此可以执行很准确的校准。
[0014]在该方法的另一个可能设计中，为了产生虚拟图案，借助激光雷达传感器的回转的反光镜来偏转借助激光雷达传感器发出的激光射线。因此，可以很简单可靠地产生在虚拟平面内的虚拟图案和该真实图案。
[0015]在该方法的另一个可能设计中，在借助摄像头采集真实图案时执行对摄像头的接连采集的多幅图像的整合。通过所述整合，在红外范围内的摄像头分辨率被提高，这是有利的，因为呈常见的彩色摄像头形式的摄像头在可见光范围内具有其最高灵敏度，而在红外范围内具有相当低的灵敏度。另外，回转的反光镜的同步抖晃可能导致虚拟图案的线之间的距离且进而真实图案的线之间的距离变化。对摄像头的接连采集的多幅图像的整合允许补偿该误差。
[0016]在该方法的另一个可能设计中，该摄像头为了校准被切换到校准模式。
[0017]在该方法的另一个可能设计中，虚拟图案借助红外激光射线来产生，从而可以实
现借助摄像头的采集。
[0018]在该方法的另一个可能设计中，为了产生借助摄像头采集的图像，借助摄像头自身的红外滤光镜/红外线过滤器来过滤照中摄像头的激光光线。借助红外滤光镜来减少干涉并提高颜色质量。
[0019]在该方法的另一个可能设计中，采用红外滤光镜，其可透过由激光雷达传感器发出的且被真实投影面反射的红外激光射线，因此可以实现真实图案的采集。
[0020]在该方法的另一个可能设计中，红外滤光镜在摄像头的校准模式中切换成可透过由激光雷达传感器发出且被真实投影面反射的红外激光射线。因此，红外滤光镜在摄像头正常工作期间被用来减少干涉并提高颜色质量，并且在校准模式中被停用以实现借助激光雷达传感器发出的且被投影面反射的红外激光射线的优化检测。
附图说明
[0021]以下结合图来详细解释本专利技术的实施例，其中：
[0022]图1示意性示出车辆、虚拟图案和真实图案的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于校准车辆(1)或机器人的摄像头(3)和/或激光雷达传感器(2.1)的方法，其中，
‑
借助该摄像头(3)采集车辆环境或机器人环境的图像(B)，
‑
借助至少一个激光雷达传感器(2.1)将真实图案(M
r
)发出到在该摄像头(3)采集区域的至少一个部分内的车辆环境或机器人环境中，并且
‑
借助该摄像头(3)采集该真实图案(M
r
)，其特征是，
‑
借助该激光雷达传感器(2.1)，将在该激光雷达传感器(2.1)的坐标系内产生的虚拟图案(M
v
)投影到在该车辆环境或机器人环境内的一虚拟平面(E
v
)上，
‑
借助该激光雷达传感器(2.1)发出的激光射线穿过该虚拟平面(E
v
)并且在一真实投影面(A)上产生与该虚拟图案(M
v
)相关联的真实图案(M
r
)，
‑
借助该摄像头(3)所采集的真实图案(M
r
)基于该真实投影面(A)的表面走向被反算到该虚拟平面(E
v
)中，由此在该摄像头(3)的坐标系内产生校正后的虚拟图案(M
ev
)，并且
‑
通过对该虚拟图案(M
v
)与该校正后的虚拟图案(M
ev
)进行比较来校准该摄像头(3)和/或该激光雷达传感器(2.1)。2.根据权利要求1所述的方法，其特征是，该真实投影面(A)的表面走向是依据借助该激光雷达传感器(2.1)确定的距该真实图案(M
r
)的像点的距离来确定的。3.根据权利要求1或...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：梅赛德斯奔驰集团股份公司，
类型：发明
国别省市：