多目相机系统、智能驾驶系统、汽车、方法和存储介质技术方案

本申请提供一种多目相机系统，其包括：广角相机；立体相机，其中所述立体相机的视野范围与所述广角相机的视野范围存在重叠；和图像分析处理器，其能够接收所述广角相机捕获的图像和所述立体相机捕获的图像，并且对捕获的图像执行以下操作：对广角相机捕获的图像进行目标检测；对立体相机捕获的图像进行距离检测，获得各个像素的距离；和将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。本申请的多目相机系统兼具广角相机视野宽的优点和多目相机测距准确的优点，特别适合用于智能驾驶系统，为智能驾驶系统提供最优的辅助信息。

【技术实现步骤摘要】
多目相机系统、智能驾驶系统、汽车、方法和存储介质
本专利技术属于相机
，特别涉及一种大视角、小盲区的多目相机系统、智能驾驶系统、汽车、方法和存储介质，该多目相机系统特别适合用于智能驾驶系统。
技术介绍
立体相机为了准确测量距离，通常采用畸变较小的长焦距镜头光学系统，导致立体相机覆盖的视角较小，盲区较大。而广角相机通常畸变较大，难以准确测量距离。现有技术中还没有一种大视角小盲区且能精准测距的相机。
技术实现思路
针对现有技术的不足，本申请提供大视角小盲区的相机。根据本专利技术的一个方面，提供了一种多目相机系统，可以包括：广角相机；立体相机，其中所述立体相机的视野范围与所述广角相机的视野范围存在重叠，所述广角相机的视野范围大于立体相机的视野范围；和图像分析处理器，其能够接收所述广角相机捕获的图像和所述立体相机捕获的图像，并且对捕获的图像执行以下操作：对所述广角相机捕获的图像进行目标检测；对所述立体相机捕获的图像进行距离检测；和将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。进一步地，根据上述多目相机系统，所述立体相机的视野范围完全被广角相机的视野范围覆盖。进一步地，根据上述多目相机系统，所述图像分析处理器进一步执行以下操作：对于处于广角相机视野内但在立体相机视野范围外的区域，通过对广角相机捕获的图像进行处理，捕捉并跟踪目标；以及当所述目标进入立体相机的视野范围时，对所述立体相机捕获的图像中的目标进行距离检测，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。进一步地，根据上述多目相机系统，所述图像分析处理器还可操作来：根据距离检测所检测到的距离，进行以下控制中的至少一种：刹车；换道。进一步地，上述多目相机系统还包括：对广角相机和立体相机进行标定，获得立体相机的内参、广角相机的内参、以及外参，外参包括立体相机的位置关系以及立体相机和广角相机之间的位置关系。进一步地，根据上述多目相机系统，还包括：在预定情形发生时，重新进行标定。进一步地，根据上述多目相机系统，所述预定情形包括以下项中的至少一种或者其组合：距上一次标定过去了预定时间；立体相机、广角相机中任一个的方位发生改变；周围事物的情景发生超出预定阈值的改变。进一步地，根据上述多目相机系统，包括多个立体相机，每个立体相机的视野范围与所述广角相机的视野范围内的不同区域重叠。进一步地，根据上述多目相机系统，还包括输出设备，其输出所述图形分析处理器获得的广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。进一步地，根据上述多目相机系统，其中所述多目相机系统可旋转和/或可升降。进一步地，根据上述多目相机系统，其中所述立体相机安装在旋转器上，其能够独立于广角相机产生0-45°的偏转角度。进一步地，根据上述多目相机系统，其中所述立体相机包括左目相机模组和右目相机模组，所述立体相机产生双目图像。进一步地，根据上述多目相机系统，其中所述广角相机与立体相机是一体式结构，所述广角相机设置于所述左目相机模组和所述右目相机模组之间。进一步地，根据上述多目相机系统，其中在对所述广角相机捕获的图像进行目标检测之前，还包括：用标定的内参和外参对广角相机捕获的图像进行去畸变；以及在所述“对所述立体相机捕获的图像进行距离检测”之前，还包括：用标定的内参和外参对立体相机捕获的图像进行去畸变。进一步地，根据上述多目相机系统，其中所述“对所述立体相机捕获的图像进行距离检测”包括：用立体匹配算法对捕获的图像进行匹配，获得对应像素在图像中的距离差；通过立体相机的内参和外参计算出至少一个捕获的图像中各个像素的距离。进一步地，根据上述多目相机系统，所述的时间同步和匹配校准进一步包括以下步骤中的一个或者多个：对所述广角相机捕获的图像和所述立体相机捕获的图像的时间戳进行比较，确定是在同一时刻捕获的图像；根据广角相机和立体相机的外参来将图像配准到一个坐标系下；把从所述广角相机捕获的图像中识别的目标像素坐标映射到从所述立体相机捕获的图像中获得的距离中，得到目标的距离。根据本专利技术另一方面，还提供了一种智能驾驶系统，其包括上述多目相机系统。根据本专利技术另一方面，还提供了一种智能驾驶汽车，其采用上述智能驾驶系统。根据本专利技术另一方面，还提供了一种智能驾驶汽车获得目标距离的方法，包括：由车载广角相机捕获图像；由车载立体相机捕获图像，其中所述立体相机的视野范围与所述广角相机的视野范围存在重叠，所述广角相机的视野范围大于立体相机的视野范围；对所述广角相机捕获的图像进行目标检测；对所述立体相机捕获的图像进行距离检测；和将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。进一步地，根据上述多目相机系统，所述立体相机的视野范围完全被广角相机的视野范围覆盖，所述方法还包括：对于处于广角相机视野内但在立体相机视野范围外的区域，通过对广角相机捕获的图像进行处理，捕捉并跟踪目标，以及当所述目标进入立体相机的视野范围时，对所述立体相机捕获的图像中的目标进行距离检测，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。根据本专利技术另一方面，还提供了一种计算机存储介质，存储有计算机可执行指令，所述指令当被处理器执行时，可操作来执行下述方法：获得由车载广角相机捕获的图像；获得由车载立体相机捕获的图像，其中所述立体相机的视野范围与所述广角相机的视野范围存在重叠，所述广角相机的视野范围大于立体相机的视野范围；对所述广角相机捕获的图像进行目标检测；对所述立体相机捕获的图像进行距离检测；和将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。本申请的多目相机系统兼具广角相机视野宽的优点和多目相机测距准确的优点，特别适合用于智能驾驶系统，为智能驾驶系统提供最优的辅助信息。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。图1示出了本专利技术一个实施例的多目相机的结构示意图。图2示出了根据本专利技术一个实施例的图像分析处理器30的示例性功能性结构框图。图3示出了根据本专利技术实施例的图像分析处理器30执行的图像分析处理方法200的总体流程图。图4示出了图3所示的步骤S230一个具体实施方法的流程图。图5示出了根据本专利技术实施例的具有预判功能的图像处理方法300的流程图。具体实施方式为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。本申请中的术语除非在本申请中具有明确定义，否则具有本领域技术人员通常理解的含义。立体匹配算法是计算机视觉中的一种常用技术，其目标是从二维图像或图像序列中获取对外本文档来自技高网...

【技术保护点】
一种多目相机系统，其包括：广角相机；立体相机，其中所述立体相机的视野范围与所述广角相机的视野范围存在重叠，所述广角相机的视野范围大于立体相机的视野范围；和图像分析处理器，其能够接收所述广角相机捕获的图像和所述立体相机捕获的图像，并且对捕获的图像执行以下操作：对所述广角相机捕获的图像进行目标检测；对所述立体相机捕获的图像进行距离检测；和将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。

【技术特征摘要】
1.一种多目相机系统，其包括：广角相机；立体相机，其中所述立体相机的视野范围与所述广角相机的视野范围存在重叠，所述广角相机的视野范围大于立体相机的视野范围；和图像分析处理器，其能够接收所述广角相机捕获的图像和所述立体相机捕获的图像，并且对捕获的图像执行以下操作：对所述广角相机捕获的图像进行目标检测；对所述立体相机捕获的图像进行距离检测；和将所述广角相机捕获的图像和所述立体相机捕获的图像进行时间同步和匹配校准，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。2.根据权利要求1所述的多目相机系统，所述立体相机的视野范围完全被广角相机的视野范围覆盖。3.根据权利要求2所述的多目相机系统，所述图像分析处理器进一步执行以下操作：对于处于广角相机视野内但在立体相机视野范围外的区域，通过对广角相机捕获的图像进行处理，捕捉并跟踪目标；以及当所述目标进入立体相机的视野范围时，对所述立体相机捕获的图像中的目标进行距离检测，从而得到广角相机视野范围内的目标识别信息和立体相机视野内的目标距离信息。4.根据权利要求3的多目相机系统，所述图像分析处理器还可操作来：根据距离检测所检测到的距离，进行以下控制中的至少一种：刹车；换道。5.根据权利要求1所述的多目相机系统，还包括：对广角相机和立体相机进行标定，获得立体相机的内参、广角相机的内参、以及外参，外参包括立...

【专利技术属性】
技术研发人员：张峰，张鹏，任杰，游宇，李斌，赵勇，
申请(专利权)人：驭势上海汽车科技有限公司，
类型：发明
国别省市：上海,31