用于使用车辆周围图像检测三维物体的设备和方法技术

本发明专利技术提供一种用于使用车辆周围图像检测三维物体的设备，该设备包括配置在车辆的前、后、左和右侧上的多个成像装置；处理器，其配置为：通过虚拟成像装置收集车辆的前、后、左和右侧的图像；通过合成上述图像的多个顶视图图像来生成合成图像；在每个边界区中提取多个顶视图图像的边界图案；比较多个顶视图图像的边界图案，从而分析每个边界区中的多个邻近图像之间的相关性；以及根据在每个边界区中多个邻近图像之间的相关性来检测三维物体。

【技术实现步骤摘要】
【专利摘要】本专利技术提供一种用于使用车辆周围图像检测三维物体的设备，该设备包括配置在车辆的前、后、左和右侧上的多个成像装置；处理器，其配置为：通过虚拟成像装置收集车辆的前、后、左和右侧的图像；通过合成上述图像的多个顶视图图像来生成合成图像；在每个边界区中提取多个顶视图图像的边界图案；比较多个顶视图图像的边界图案，从而分析每个边界区中的多个邻近图像之间的相关性；以及根据在每个边界区中多个邻近图像之间的相关性来检测三维物体。【专利说明】
本专利技术涉及，并更特别涉及用于通过分析车辆的前、后、左和右顶视图图像之间的边界图案的相关性来检测位于边界区的三维物体的设备和方法。
技术介绍
周围全景监控(AVM:Around View Monitoring)系统是转换通过配置在车辆的前、后、左和右侧上的成像装置拍摄的图像的视图并显示在一个图像中的系统。因此，驾驶员可以通过一个图像，通过周围全景监控系统来识别位于车辆周围的物体。然而，周围全景监控系统使用由在车辆的前、后、左和右侧上的成像装置获取的多个图像来提供合成图像，由于每个成像装置的视角的不同，在合成图像中多个图像之间的边界区留下潜在盲区。当盲区中可能具有三维(3D)物体时，该物体可以不在合成图像中出现，或可以仅在一个图像中出现。当3D物体仅在一个图像中出现时，驾驶员可能在合成图像中清晰地显示物体之前辨认该物体时遇到困难。
技术实现思路
因此，本专利技术提供用于使用车辆周围图像检测3D物体的设备和方法，其中比较在邻近图像之间的边界图案从而分析其相关性，由此检测位于合成图像中的每个边界区的3D图像，该边界图案可以从通过组合车辆的前、后、左和右侧的顶视图图像来获取的合成图像中的顶视图图像之间的边界区提取。另外，本专利技术提供用于使用车辆周围图像检测3D物体的设备和方法，其中检测位于合成图像的每个边界区的3D物体并输出，因此驾驶员可以容易地检测位于盲区中的物体。根据本专利技术的实施例，用于使用车辆周围图像检测3D物体的设备包括由控制器中的处理器执行的多个单元。该多个单元包括:图像获取单元，其配置为通过使用设置于车辆的前、后、左和右侧上的成像装置的数学模型生成的虚拟图像装置，来收集车辆的前、后、左和右侧的图像；图像合成单元，其配置为通过合成由图像获取单元捕捉的车辆的前、后、左和右侧的图像的顶视图图像，来生成合成图像；边界图案提取单元，其配置为从合成图像分析在车辆的前、后、左和右侧的顶视图图像之间的边界区，从而在每个边界区中提取车辆的前、后、左和右侧顶视图图像的边界图案(pattern);相关性分析单元，其配置为比较由边界图案提取单元提取的车辆的前、后、左和右侧的顶视图图像的边界图案，从而在每个边界区中分析邻近图像之间的相关性；以及三维(3D)物体检测单元，其配置为在每个边界区中根据邻近图像之间的相关性，检测位于每个边界区中的3D物体。上述边界图案在边界区中包括的车辆的前、后、左和右侧顶视图图像的像素或像素块(block、块)中的亮度、颜色和特征值中的至少一个。上述相关性分析单元在每个边界区中邻近图像之间边界图案的差别较小时分析出较高相关性，并在每个边界区中邻近图像之间边界图案的差别较大时分析出较低相关性。3D物体检测单元根据相关性分析单元的分析结果，从在邻近图像之间具有较低相关性的边界区检测三维物体。在本专利技术的另一实施例中，用于使用车辆周围图像检测3D物体的方法包括:通过使用配置在车辆的前、后、左和右侧上的成像单元的数学模型生成的虚拟图像装置，来捕捉车辆的前、后、左和右侧的图像；由控制器中的处理器通过合成车辆的前、后、左和右侧的图像的多个顶视图图像(top view image)来生成合成图像；由处理器从合成图像分析在车辆的前、后、左和右侧的多个顶视图图像之间的边界区，从而在每个边界区中提取车辆的前、后、左和右侧的多个顶视图图像的边界图案；由处理器比较车辆的前、后、左和右侧的多个顶视图图像的边界图案，从而在每个边界区中分析邻近图像之间的相关性；以及由处理器在每个边界区中根据邻近图像之间的相关性，检测位于每个边界区中的3D物体。边界图案在边界区中包括车辆的前、后、左和右侧顶视图图像的像素或像素块(block)中的亮度、颜色和特征值中的至少一个。相关性的分析可以包括:在每个边界区中多个邻近图像之间边界图案的差别较小时由处理器分析出较高相关性，并在每个边界区中多个邻近图像之间边界图案的差别较大时由处理器分析出较低相关性。3D物体的检测可以包括由处理器根据分析相关性的分析结果，从在多个邻近图像之间具有较低相关性的边界区检测3D物体。【专利附图】【附图说明】本专利技术的目标、特征和优点从连同附图的以下详细描述更加明显，其中:图1是示出根据本专利技术的示例性实施例的在周围全景监控系统中捕捉图像的操作的示例图；图2是示出根据本专利技术的示例性实施例的用于使用车辆周围图像检测三维物体的设备的配置的示例框图；图3是示出根据本专利技术的示例性实施例在用于使用车辆周围图像检测三维物体的设备中合成图像的操作的示例图；图4至7是示出根据本专利技术的示例性实施例在用于使用车辆周围图像检测三维物体的设备中检测三维物体的操作的示例图；以及图8是示出根据本专利技术的示例性实施例的使用车辆周围图像检测三维物体的方法的示例流程图。【专利附图】【附图说明】10:多个成像装置11:第一成像装置12:第二成像装置13:第三成像装置14:第四成像装置100:控制器110:处理器120:存储器130:图像获取单元140:视图转换单元150:图像合成单元160:边界图案提取单元170:相关性分析单元180:三维物体检测单元190:输出单元【具体实施方式】应理解，术语“车辆”或“车辆的”或如在此使用的其它相似术语一般包括机动车辆，例如包括运动型多用途汽车(SUV)、公共汽车、卡车、各种商业车辆的乘用车、包括各种船只和船舶的水运工具、飞行器等等，并包括混合动力车辆、电动车辆、插入式混合动力电动车辆、氢动力车辆，以及其它代用燃料车辆(例如，来源于除石油之外的资源的燃料)。尽管示例性实施例描述为使用多个单元执行示例进程，但应理解示例进程也可以由一个或多个模块执行。另外，应理解术语控制器指代包括存储器和处理器的硬件装置。存储器配置为存储模块，并且处理器具体配置为执行所述模块，从而执行在下面进一步描述的一个或更多进程。此外，本专利技术的控制逻辑可以体现为在包括由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非易失性(非瞬时性)计算机可读介质。计算机可读介质的例子包括但不限于ROM、RAM、CD-ROM (只读光盘)、磁带、软盘、闪存驱动器、智能卡和光数据存储装置。计算机可读记录介质也可以分布在连接网络的计算机系统中，因此计算机可读介质以分布形式存储并执行，例如由远程信息处理服务器(telematics server)或控制器域网络(CAN)存储并执行。在此使用的术语仅用于描述具体实施例，并不意在限制本专利技术。本文所使用的单数形式“一个或一种(a、an和the)”除上下文以其它方式明确表明之外，意在同样包括复数形式。进一步应理解的是，本文中所使用的术语“包含(comprises和/或comprising)”是指存在所述特征、整数、步骤、操作、元件和/本文档来自技高网...

【技术保护点】
一种用于使用车辆周围图像检测三维物体的设备，所述设备包括：配置在所述车辆的前方、后方、左侧和右侧上的多个成像装置；和处理器，所述处理器配置为：通过使用每个成像装置的数学建模而生成的虚拟成像装置，来收集所述车辆的所述前方、后方、左侧和右侧的图像；通过合成来自所述车辆的所述前方、后方、左侧和右侧的已收集图像的多个顶视图图像，来生成合成图像；从所述合成图像，分析所述多个顶视图图像之间的边界区，从而在每个边界区中提取所述多个顶视图图像的边界图案；比较所述多个顶视图图像的所述边界图案，从而分析在每个边界区中多个邻近图像之间的相关性；以及根据每个边界区中的所述多个邻近图像之间的相关性，检测布置在每个边界区中的三维物体。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：尹大仲，崔在燮，藏裕珍，
申请(专利权)人：现代自动车株式会社，
类型：发明
国别省市：