用于车辆的全景监控系统和全景监控校准方法技术方案

本发明专利技术提供了用于校准安装在车辆上的全景监控系统的多个图像捕获设备的校准方法，所述校准方法包括：从由每个图像捕获设备捕获的多个图像中提取多个局部图案，其中每个局部图案分别布置在一个图像捕获设备的图像捕获范围内的位置；从车辆上方的俯视点获取俯视图像，其中俯视图像包括相对于多个图像捕获设备的多个局部图案的多个第一图案；使用多个第一图案从俯视图像生成多个全局图案，每个全局图案对应于多个局部图案中的一个；将多个局部图案与相应的多个全局图案相匹配以确定每个图像捕获设备的摄像机参数和与其对应的转换信息；以及使用确定的摄像机参数和与其对应的转换信息来校准每个图像捕获设备，以生成全景监控图像。

Panoramic monitoring system and calibration method for vehicle

【技术实现步骤摘要】
用于车辆的全景监控系统和全景监控校准方法
本专利技术涉及全景监控系统和方法，特别是涉及用于车辆的全景监控系统和用于校准使用全景监控系统的图像捕获设备的校准方法。
技术介绍
随着车辆技术的发展，高级的车辆还装备有全景监控(around-viewmonitoring，AVM)系统，其中，广角摄像机被配备在不同的位置以收集该车辆周围360度的全景图像，以便帮助或提示驾驶员识别任何潜在的障碍。通常，AVM系统是使用多个摄像机(例如四个摄像机)以在导航屏幕上提供车辆的视图，就好像车辆被从上方拍摄一样。例如，摄像机可以分别安装在车辆的前部和后部以及左侧和右侧后视镜。由于在一个AVM系统中使用多个摄像机，并且如果在各个摄像机之间的相对位置和姿势未知，则不能获得各个摄像机之间的校准。结果，具有与其他摄像机的未知的相对位置和姿势的摄像机可能会导致图像捕获设备之间的重叠区域未对准和图像接缝未对准。然而，由于光学或车辆结构固有原因引起的一些错误参数，每个现有的AVM系统需要花费数小时或更长时间来手动调试或校准输出显示图像或组件的三维姿势，以确保实时显示图像是正确的。例如，为了校准摄像机，操作员可以使用胶带以及围绕车辆的前侧、后侧、左侧和右侧布置的至少四个棋盘图案(boardpattern)作为地面图案(groundpattern)，然后匹配地面图案以确定摄像机参数。在校准过程中，胶带位置必须完全符合水平垂直线，左侧、右侧、前后的棋盘图案的偏差必须完全相同，并且前后棋盘图案的位置必须放置在车辆中心线以确保校准结果正确。这给操作员带来了很大的负担，并且在推导参数上花费了大量的处理时间。因此，需要智能AVM系统和相关的校准方法来解决上述问题。
技术实现思路
参考附图以及以下实施例中给出详细描述。在一示例性实施例中，提供了一种用于校准安装在车辆上的全景监控(aroundviewmonitoring，AVM)系统的多个图像捕获设备的校准方法。该方法包括以下步骤：从由每个图像捕获设备捕获的多个图像中提取多个局部图案，其中每个局部图案分别布置在多个图像捕获设备中的一个的图像捕获范围内的位置；从车辆上方的俯视点获取俯视(overhead-view，OHV)图像，其中俯视图像包括相对于多个图像捕获设备的多个局部图案的多个第一图案；使用多个第一图案从俯视图像生成多个全局图案，每个全局图案对应于多个局部图案中的一个；将多个局部图案与相应的多个全局图案相匹配以确定每个图像捕获设备的摄像机参数和与其对应的转换信息；以及使用确定的摄像机参数和与其对应的转换信息来校准每个图像捕获设备，以生成AVM图像。在另一示例性实施例中，提供了另一种用于校准安装在车辆上的全景监控(aroundviewmonitoring，AVM)系统的图像捕获设备的校准方法。该方法包括以下步骤：从由每个图像捕获设备捕获的多个图像中提取多个局部图案和多个重叠局部图案，其中每个局部图案分别布置在多个图像捕获设备之一的图像捕获范围内的位置处，并且每个重叠局部图案设置在每对相邻的图像捕获设备的图像捕获范围彼此重叠的重叠位置处；匹配每对相邻的图像捕获设备之间的多个重叠局部图案以获得每个图像捕获设备的转换信息；基于所述转换信息生成多个全局图案，其通过对多个图像捕获设备之间的多个重叠局部图案进行整合来表示；将多个局部图案与相应的多个全局图案相匹配以确定每个图像捕获设备的摄像机参数和与其对应的转换信息；以及使用所确定的摄像机参数和与其对应的转换信息来校准每个图像捕获设备，以生成AVM图像。在又一示例性实施例中，提供了一种用于车辆的全景监控(AVM)系统。AVM系统包括多个图像捕获设备、AVM设备和显示设备。多个图像捕获设备安装在车辆上并且被配置成捕获具有多个局部图案的多个图像，其中每个局部图案分别设置在多个图像捕获设备之一的图像捕获范围内的位置处。AVM设备耦接到多个图像捕获设备并且用于从每个图像捕获设备捕获的多个图像中提取多个局部图案，从车辆上方的俯视点获取俯视图(OHV)图像，其中OHV图像包括相对于多个图像捕获设备的多个局部图案的多个第一图案，使用多个第一图案从OHV图像生成多个全局图案，每个全局图案对应于多个局部图案中的一个，将多个局部图案与对应的多个全局图案匹配以确定摄像机参数以及每个图像采集设备对应的转换信息，并且使用所确定的摄像机参数和与其对应的转换信息来校准每个图像采集设备，以便生成AVM图像。显示设备耦接到AVM设备并且用于显示AVM图像。附图说明图1是根据本专利技术一实施例的AVM系统的示意图；图2是根据本专利技术一实施例的图像捕获设备配置的示意图；图3是根据本专利技术一实施例的AVM图像的示意图；图4是在本专利技术一实施例中用于校准安装在车辆上的AVM系统的多个图像捕获设备的校准方法的流程示意图；图5A是根据本专利技术一实施例的局部图案和全局图案的示意图；图5B是根据本专利技术一实施例的坐标转换的示意图；图6是本专利技术另一实施例中用于校准安装在车辆上的AVM系统的图像捕获设备的校准方法的流程示意图；以及图7是根据本专利技术一实施例的局部图案、重叠图案和全局图案的示意图。具体实施方式以下描述是为了说明本专利技术的一般原理的目的而做出的，并且不应被视为具有限制意义。本专利技术的范围最好通过参考所附权利要求来确定。图1是根据本专利技术一实施例的AVM系统的示意图。AVM系统10可以在能够获取图像或视频数据并执行图像处理的电子设备(例如，移动设备(如，平板电脑、智能手机或可穿戴计算设备)或便携式计算机)中实现。AVM系统10还可以被实现为多个芯片或者单个芯片，诸如设置在车辆中的片上系统(systemonchip，SOC)或车载信息娱乐IC。例如，AVM系统10包括多个图像捕获设备110至140、接口150、AVM设备160、存储器单元170和显示设备180中的至少部分。图像捕获设备110至140、AVM设备160、存储器单元170和显示器180可以通过接口150彼此耦接。接口150可以是任何有线或无线数据传输接口或其任何组合。图像捕获设备110至140可以是广角摄像机或广角鱼眼摄像机。图像捕获设备110至140可以包括成像传感器，其可以是单个传感器或者是包括多个单独或分开的传感器单元的传感器阵列。例如，每个图像捕获设备可以是一组透镜和电荷耦接设备(charge-coupleddevice，CCD)的组合、一组透镜和互补金属氧化物半导体(complementarymetal-oxide-semiconductor，CMOS)的组合，或诸如此类。在一个实施例中，例如，图像捕获设备110至140可以是具有鱼眼镜头的多个摄像机。在一些实施例中，如图2所示，图像捕获设备110至140可以分别安装在车辆的前部和后部，以及车辆的左侧和右侧后视镜，并分别拍摄/捕获RA1至RA4四个拍摄区域，其包括车辆的前部区域、后部区域、左侧区域和右侧区域。图2是根据本专利技术一实施例的图像捕获设备配置的示意图。如图2所示，图像捕获设备110至140是广角鱼眼摄像机，并且安装在车辆的前后，以及车辆的左右侧后视镜上，并分别拍摄/捕获四个拍摄区域RA1至RA4，其包括车辆的前部区域、后部区域、左侧区域和右侧区域。通过显示设备180提供给驾驶员如图3所示的AV本文档来自技高网...

【技术保护点】
1.一种用于校准安装在车辆上的全景监控系统的多个图像捕获设备的校准方法，其特征在于，所述校准方法包括：由每个图像捕获设备捕获的多个图像中提取多个局部图案，其中每个局部图案分别布置在所述多个图像捕获设备之一的图像捕获范围内的位置处；从所述车辆上方的俯视点获取俯视图像，其中所述俯视图像包括相对于所述多个图像捕获设备的所述多个局部图案的多个第一图案；使用所述多个第一图案从所述俯视图像生成多个全局图案，每个全局图案对应于所述多个局部图案中的一个；将所述多个局部图案与相应的所述多个全局图案相匹配以确定所述每个图像捕获设备的摄像机参数和与其对应的转换信息；以及使用确定的所述摄像机参数和所述与其对应的转换信息校准所述每个图像捕获设备，以便生成全景监控图像。

【技术特征摘要】
2018.01.08 US 15/864,2371.一种用于校准安装在车辆上的全景监控系统的多个图像捕获设备的校准方法，其特征在于，所述校准方法包括：由每个图像捕获设备捕获的多个图像中提取多个局部图案，其中每个局部图案分别布置在所述多个图像捕获设备之一的图像捕获范围内的位置处；从所述车辆上方的俯视点获取俯视图像，其中所述俯视图像包括相对于所述多个图像捕获设备的所述多个局部图案的多个第一图案；使用所述多个第一图案从所述俯视图像生成多个全局图案，每个全局图案对应于所述多个局部图案中的一个；将所述多个局部图案与相应的所述多个全局图案相匹配以确定所述每个图像捕获设备的摄像机参数和与其对应的转换信息；以及使用确定的所述摄像机参数和所述与其对应的转换信息校准所述每个图像捕获设备，以便生成全景监控图像。2.根据权利要求1所述的校准方法，其特征在于，所述使用所述多个第一图案从所述俯视图像生成多个全局图案的步骤还包括：从所述俯视图像提取所述多个第一图案；执行坐标转换以确定从相对于所述俯视图像平面的第一坐标到平行于地平面的第二坐标的转换；以及将确定的所述转换应用于所述多个第一图案以生成所述多个全局图案。3.根据权利要求2所述的校准方法，其特征在于，所述方法还包括：执行所述坐标转换以通过使用自动梯形失真校正或单应性寻找算法来确定所述转换。4.根据权利要求1所述的校准方法，其特征在于，所述将所述多个局部图案与相应的所述多个全局图案相匹配以确定所述每个图像捕获设备的摄像机参数和与其对应的转换信息的步骤还包括：获得从所述多个局部图案到相应的所述多个全局图案的三维旋转和平移信息；以及根据所述三维旋转和所述平移信息确定所述每个图像采集设备的所述摄像机参数和所述与其对应的转换信息。5.根据权利要求4所述的校准方法，其特征在于，所述方法还包括：通过使用姿势估计算法获得从所述多个局部图案到相应的所述多个全局图案的所述三维旋转和所述平移信息。6.根据权利要求1所述的校准方法，其特征在于，所述俯视图像由俯视摄像机从所述车辆上方的所述俯视点获取。7.根据权利要求1所述的校准方法，其特征在于，所述方法还包括：执行物体检测和开车门检测；在检测到开车门操作的同时检测车辆或行人；以及产生警报信号或自动保持所述车门被锁定以防止所述车门被打开。8.一种用于校准安装在车辆上的全景监控系统的多个图像捕获设备的校准方法，其特征在于，所述校准方法包括：由每个图像捕获设备捕获的多个图像中提取多个局部图案和多个重叠局部图案，其中每个局部图案分别布置在所述多个图像捕获设备之一的图像捕获范围内的位置处，并且每个重叠局部图案设置在每对相邻的图像捕获设备的所述图像捕获范围相互重叠的重叠位置处；匹配所述每对相邻的图像捕获设备之间的所述多个重叠局部图案以获得所述每个图像捕获设备的转换信息；基于所述转换信息生成多个全局图案，其通过对所述多个图像捕获设备之间的所述多个重叠局部图案进行整合来表示；将所述多个局部图案与相应的所述多个全局图案相匹配以确定所述每个图像捕获设备的摄像机参数和与其对应的转换信息；以及使用确定的所述摄像机参数和所述与其对应的转换信息校准所述每个图像捕获设备，以便生成全景监控图像。9.根据权利要求8所述的校准方法，其特征在于，所述校准方法还包括：通过...

【专利技术属性】
技术研发人员：张毓麟，蔡玉宝，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71