在碗形成像系统内跟踪对象技术方案

用于确定对象到车辆的距离的技术包括用于对在由车辆的鱼眼摄像机生成的鱼眼图像中所捕获的对象进行识别的计算设备。该计算设备将所识别的对象的轮廓投影到选定的虚拟平面上，该选定的虚拟平面位于车辆外且是基于所识别的对象相对于车辆的位置而从预定义的虚拟平面集合选出的。该计算设备识别在选定的虚拟平面上的投影轮廓的底，并且确定假想线与和车辆所在的平面重合的地面的交点。该假想线穿过所识别的投影轮廓的底和鱼眼摄像机中的每一个。计算设备基于所确定的交点和识别的投影轮廓的底来确定所识别的对象相对于车辆的位置。

The tracking object in the imaging system in the bowl

A technique for determining the distance of an object to a vehicle includes a computing device for identifying an object captured in a fisheye image generated by a vehicle's fisheye camera. The object contour projection computing devices will be identified to the selected virtual plane on the virtual plane of the selected object is located outside the vehicle and the vehicle's position relative to the recognition and selected from a predefined set based on the virtual plane. The computing device identifies the bottom of the projection contour on the selected virtual plane, and determines the intersection of the imaginary line and the ground coincident with the plane of the vehicle. The imaginary line passes through the bottom of the identified projection contour and each of the fisheye cameras. The computing device determines the location of the identified object relative to the vehicle based on the determined intersection and the bottom of the identified projection contour.

【技术实现步骤摘要】
【国外来华专利技术】相关的美国专利申请的相互引用本申请要求2014年9月18日提交的、名称为“TRACKINGOBJECTSINBOWL-SHAPEDIMAGINGSYSTEMS(在碗形成像系统内跟踪对象)”的序号为14/490,369的美国专利技术专利申请的优先权。
技术介绍
车载摄像机系统(例如后视摄像机)已经成为豪华车辆以及甚至某些较低端车辆中的主要依靠。根据特定的实现方式，车辆摄像机系统可用于改善视觉、自动并行停车和/或其它目的。例如，由车载摄像机所捕获的图像可以显示在车辆的导航系统显示屏上，为驾驶员提供无障碍的后向视图(即，比后视镜更好)或者是车辆的俯视图(即，显示出车辆的周围环境)。在一些车载摄像机系统中，多个摄像机可以安装到车辆上以捕获车辆的整个周围环境(即，全360度)。这些车载摄像机系统可使用广角摄像机，如那些具有鱼眼透镜(即，鱼眼摄像机)的摄像机，从而最小化捕获车辆周围环境所必需的摄像机数量。在一些情形下，对于基于车辆的安全机制来说，确定特定对象到车辆的距离可能是有益的。例如，当对象在阈值距离内时，可由车内计算系统利用车辆备用传感器来警告驾驶员或者自动停下车辆。存在确定对象到特定参考点(例如车辆)的距离的各种技术和机制。例如，车内计算系统可使用雷达、光子混合器设备(PMD)、立体摄像机、接近/运动传感器和/或其它传感器来确定对象到车辆的距离。附图说明在附图中，本文所描述的概念是通过举例说明而不是通过限制的方式说明的。为了说明的简单和清楚，在图中所示的元件不一定是按比例绘制的。在被认为适当的情况下，在多幅附图之间重复附图标记以指示相应的或类似的元件。图1是用于显示车辆周围的物理环境以及确定对象到车辆的距离的车辆的车内计算系统的至少一个实施例的简化的框图；图2是图1的车辆的至少一个实施例的简化的图示；图3是由图1的车内计算系统所建立的环境的至少一个实施例的简化的框图；图4是虚拟碗形投影表面的至少一个实施例的简化的图示；图5-6是用于通过图1的车内计算系统来确定对象到车辆的距离的方法的至少一个实施例的简化的流程图；图7是通过利用图1的车内计算系统来应用卡尔曼滤波器来确定对象相对于车辆的位置的方法的至少一个实施例的简化的流程图；图8是围绕图2的车辆的虚拟平面的布置的简化的图示；图9是投影到图8的虚拟平面之一上的所识别的对象的轮廓的简化的图示；图10是卡尔曼滤波器的至少一个实施例的简化的框图；以及图11是所确定的对象相对于车辆的位置的简化的图示。具体实施方式虽然本公开的概念易于进行各种修改和得到替代的形式，但其具体的实施例已在附图中通过示例的方式示出且将在本文中详细说明。然而，应当理解，并非意图将本公开的概念限于所公开的特定的形式，而是相反，意图涵盖与本公开和随附权利要求一致的所有的修改、等同内容和可替代的内容。在说明书中提到“一个实施例”、“实施例”、“示例性的实施例”等表明所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以或者可以不必包含该特定的特征、结构或特性。而且，这些措辞不一定是指同一实施例。此外，当结合实施例描述特定的特征、结构或特性时，认为与其它实施例结合来实现该特征、结构或特性在本领域技术人员的知识范围内，无论是否明确地说明。另外，应当意识到，呈“至少一个A、B和C”的形式的列表中所包含的项可以意指(A)；(B)；(C)；(A和B)；(B和C)；(A和C)；或者(A，B和C)。类似地，呈“A、B或C中的至少一个”的形式所列的项可以意指(A)；(B)；(C)；(A和B)；(B和C)；(A和C)；或者(A，B和C)。在一些情况下，公开的实施例可以利用硬件、固件、软件或其任意组合来实现。公开的实施例还可以实现为由一个或多个暂态的或非暂态的机器可读(例如，计算机可读)存储介质承载或存储于其中的指令，这些指令可由一个或多个处理器读取和执行。机器可读存储介质可以实施为用于以机器可读的形式存储或传输信息的任意存储设备、机制或其它物理结构(例如，易失性或非易失性的存储器、介质盘或其它介质设备)。在附图中，一些结构或方法特征可以具体的排列和/或排序来示出。然而，应当意识到，可以不要求这些具体的排列和/或排序。相反，在一些实施例中，这些特征可以按与示例性的图中所示出的不同的方式和/或顺序来排列。另外，在特定的图中包含结构或方法特征不意在暗示该特征在所有实施例中都需要，在一些实施例中，可以不包含该特征或者该特征可与其它特征相结合。现在参考图1，在示例性的实施例中，车辆100包括车内计算系统102，其可实施为能够执行本文所描述的功能的任意类型的计算系统。在示例性的实施例中，车辆100实施为有轮的载客车辆(例如，汽车、卡车、卡车-牵引车、公共汽车等)。然而，应当意识到，在其它实施例中，车辆100可以实施为另一类型的车辆(例如，实施为轨道驱动的电车、无人驾驶车辆或另一适合用于应用所描述的技术和机制的另一车辆)或其它可移动装置。如本文所述的，车内计算系统102被配置成捕获鱼眼图像且将该鱼眼图像投影到虚拟碗形投影表面上以形成相应的碗形图像以便于驾驶员观看。另外，车内计算系统102识别车辆100周围附近的对象且确定该对象相对于车辆100的距离和/或位置。特别地，在示例性的实施例中，车内计算系统102将所识别的对象的轮廓投影到特定的虚拟平面上(参见图8-9)。车内计算系统102还识别在虚拟平面上的投影轮廓的底(例如，将轮廓定界的框的底中点)并且确定假想线(即，穿过投影轮廓的底和捕获相应的鱼眼图像的鱼眼摄像机的线)与地面的交点。因此，应当意识到，在示例性的实施例中，车内计算系统102假设对象(例如，行人)站立在地面上或以其它方式位于地面上。如下文更详细论述的，车内计算系统102基于所确定的交点和投影轮廓的底来确定所识别的对象相对于车辆100的位置(例如，通过基于那些参数应用卡尔曼滤波器)。因此，应当意识到，车内计算系统102不使用雷达、光子混合器设备(PMD)、立体摄像机、接近/运动传感器或传统地用于确定对象距离的其它传感器来确定对象到车辆100的距离和相对位置。相反，车内计算系统102使用本文所述的周围环境车辆监视系统。在一些实施例中，车内计算系统102可以实施为车内信息娱乐系统、导航系统和/或其它基于车辆的计算系统，或者构成其部分。在其它实施例中，车内计算系统102可实施为单独的计算设备或计算系统。此外，在一些实施例中，远程计算设备可以与车内计算系统102通信地耦合且被配置成执行本文所述的一个或多个功能(例如，远程地)且经由网络(例如，有线或无线通信网)将结果传送到车内计算系统102。在这些实施例中，远程计算设备可实施为能够与车内计算系统102通信且执行本文所描述的功能的任意类型的计算设备(例如，服务器、台式计算机、膝上型计算机、平板式计算机、笔记本、上网本、UltrabookTM、蜂窝电话、智能手机、个人数字助理、移动因特网设备、可穿戴计算设备、混合式设备和/或任何其它计算/通信设备)。如图1所示，示例性的车内计算系统102包括处理器110、输入/输出(“I/O”)子系统112、存储器114、数据存储设备116、显示器118、摄像机系统120、用户接口122以及在一些实施例中包本文档来自技高网...

【技术保护点】
一种用于确定对象到车辆的距离的计算设备，所述计算设备包括：捕获鱼眼图像的鱼眼摄像机；对象投影模块，其(i)识别在所述鱼眼图像中所捕获的对象，以及(ii)将所识别的对象的轮廓投影到选定的虚拟平面上，所述选定的虚拟平面位于所述车辆外且是基于所识别的对象相对于所述车辆的位置而从预定义的虚拟平面集合中选出的；以及位置确定模块，其(i)识别在所述选定的虚拟平面上的投影轮廓的底，(ii)确定假想线与和所述车辆所在的平面重合的地面的交点，其中所述假想线穿过所识别的投影轮廓的底和所述鱼眼摄像机中的每一个，以及(iii)基于所确定的交点和所识别的投影轮廓的底来确定所识别的对象相对于所述车辆的位置。

【技术特征摘要】
【国外来华专利技术】2014.09.18 US 14/490,3691.一种用于确定对象到车辆的距离的计算设备，所述计算设备包括：捕获鱼眼图像的鱼眼摄像机；对象投影模块，其(i)识别在所述鱼眼图像中所捕获的对象，以及(ii)将所识别的对象的轮廓投影到选定的虚拟平面上，所述选定的虚拟平面位于所述车辆外且是基于所识别的对象相对于所述车辆的位置而从预定义的虚拟平面集合中选出的；以及位置确定模块，其(i)识别在所述选定的虚拟平面上的投影轮廓的底，(ii)确定假想线与和所述车辆所在的平面重合的地面的交点，其中所述假想线穿过所识别的投影轮廓的底和所述鱼眼摄像机中的每一个，以及(iii)基于所确定的交点和所识别的投影轮廓的底来确定所识别的对象相对于所述车辆的位置。2.如权利要求1所述的计算设备，其中确定所识别的对象相对于所述车辆的位置包括基于所确定的交点和所识别的投影轮廓的底来应用卡尔曼滤波器。3.如权利要求2所述的计算设备，其中应用所述卡尔曼滤波器包括：根据来确定所述卡尔曼滤波器的状态向量；根据来确定所述卡尔曼滤波器的测量向量；基于所确定的状态向量和所确定的测量向量来应用所述卡尔曼滤波器，其中：xp，yp和zp是所述交点的三维坐标；以及xb，yb和zb是所识别的对象的底的三维坐标。4.如权利要求3所述的计算设备，其中应用所述卡尔曼滤波器包括：根据下式来确定雅可比矩阵以及基于所确定的状态向量、所确定的测量向量和所确定的雅可比矩阵来应用扩展卡尔曼滤波器，其中xa，ya和za是所述鱼眼摄像机的三维坐标。5.如权利要求1所述的计算设备，其中投影所识别的对象的轮廓包括选择虚拟平面，所述虚拟平面最靠近所识别的对象且要在所述虚拟平面上面投影所识别的对象的轮廓。6.如权利要求1所述的计算设备，其中投影所识别的对象的轮廓包括：确定与所述鱼眼摄像机和所识别的对象的位置相交的参考线；以及将所识别的对象的轮廓投影到与所述参考线相交的虚拟平面。7.如权利要求1所述的计算设备，其中识别所述投影轮廓的底包括：确定在所述虚拟平面上所述投影轮廓的定界框；以及识别所述定界框的底的中点。8.如权利要求7所述的计算设备，其中所述交点是所述鱼眼摄像机的中心与所述定界框的底的中点的交点。9.如权利要求7所述的计算设备，其中所述定界框是对所述投影轮廓定界的最小矩形框。10.如权利要求1所述的计算设备，其中确定所述线与所述地面的交点包括根据和zp＝0确定所述交点，其中：xp，yp和zp是所述交点的三维坐标；xa，ya和za是所述鱼眼摄像机的三维坐标；以及xb，yb和zb是所识别的对象的底的三维坐标。11.如权利要求1-10中任一项所述的计算设备，其中所述预定义的虚拟平面集合包括与所述车辆的鱼眼摄像机的至少两倍一样多的虚拟平面。12.如权利要求1-10中任一项所述的计算设备，其中所述预定义的虚拟平面集合中的每一个虚拟平面与所述地面正交。13.如权利要求1-10中任一项所述的计算设备，其中：所述预定义的虚拟平面集合包含八个虚拟平面；所述八个虚拟平面中的第一虚拟平面和第二虚拟平面平行于所述车辆的一侧；所述八个虚拟平面中的第三虚拟平面和第四虚拟平面平行于所述车辆的后部且与所述车辆的所述一侧正交；所述八个虚拟平面中的第五虚拟平面和第六虚拟平面彼此平行且关于所述第一虚拟平面和所述第三虚拟平面成...

【专利技术属性】
技术研发人员：KU·舍尔，K·纳特罗什维利，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US