通过使用神经网络处理来检测和追踪成像系统的视场中的一个或多个载具的系统和方法。电子控制器从在主载具上所装配的相机接收输入图像。所述电子控制器应用神经网络，所述神经网络被配置成至少部分地基于输入图像来输出三维限界框的限定。所述三维限界框指示在输入图像的视场中的所检测到的载具的尺寸和定位。所述三维限界框包括第一四边形形状和第二四边形形状，所述第一四边形形状描画所检测到的载具的后面或前面，所述第二四边形形状描画所检测到的载具的侧面。
Direct vehicle detection using neural network image processing as 3D bounding box
【技术实现步骤摘要】
【国外来华专利技术】通过使用神经网络图像处理的、作为3D限界框的直接载具检测相关申请本申请要求2017年4月4日提交的、题为“DIRECTVEHICLEDETECTIONAS3DBOUNDINGBOXESUSINGNEURALNETWORKIMAGEPROCESSING”、申请号为62/481,346的美国临时申请的优先权，所述申请的全部内容通过引用被并入本文中。
技术介绍
本专利技术涉及对其它载具的存在的检测。载具检测对于各种系统、包括例如全自动化或部分自动化的驾驶系统而言是有用的。
技术实现思路
在一个实施例中，本专利技术提供用于通过使用卷积神经网络来检测和追踪载具的系统和方法。捕获与主载具邻近的区域的图像。电子处理器应用卷积神经网络来处理作为给卷积神经网络的输入的所捕获的图像，并且直接输出三维边界框（或“限界框”），其指示在所捕获的图像中所有所检测到的载具的位置。在一些实施例中，卷积神经网络的输出将三维边界框限定为第一四边形和第二四边形，所述第一四边形指示所检测到的载具的后面或前面，所述第二四边形指示所检测到的载具的侧面。在一些实施例中，卷积神经网络的输出将所述第一四边形和第二四边形限定为六个点的集合。此外，在一些实施例中，所述系统被配置成显示由相机所捕获的图像与被叠覆到所检测到的载具上的三维边界框。然而，在其它实施例中，所述系统被配置成利用与如通过三维限界框所指示的所检测到的载具的尺寸、定位、定向等等相关的信息，而不在屏幕上向载具的操作者显示限界框。在另一实施例中，本专利技术提供一种用于检测和追踪在主载具附近的载具的方法。电子控制器从在主载具上所装配的相机接收输入图像。所述电子控制器应用神经网络，所述神经网络被配置成至少部分地基于输入图像来输出三维限界框的限定。所述三维限界框指示在输入图像的视场中的所检测到的载具的尺寸和定位。所述三维限界框包括第一四边形形状和第二四边形形状，所述第一四边形形状描画所检测到的载具的后面或前面，所述第二四边形形状描画所检测到的载具的侧面。在又一实施例中，本专利技术提供一种载具检测系统。所述系统包括：被定位在主载具上的相机、显示屏、被配置成控制主载具的移动的载具系统、电子处理器、和存储器。存储器存储指令，所述指令当被处理器执行的时候提供载具检测系统的某个功能性。具体地，所述指令使得所述系统从相机接收输入图像，所述输入图像具有视场，所述视场包括主载具在其上运作的道路表面，并且神经网络被应用到所述输入图像。所述神经网络被配置成提供输出，所述输出限定多个三维限界框，所述三维限界框各自对应于在输入图像的视场中所检测到的多个载具中不同的一个载具。每个三维限界框由神经网络的输出限定为经结构化的点的集合，其限定第一四边形形状和第二四边形形状，所述第一四边形形状被定位成围绕所检测到的载具的后面或前面，所述第二四边形形状被定位成围绕所检测到的载具的侧面。所述第一四边形形状与所述第二四边形形状相邻使得所述第一四边形形状和第二四边形形状共享一边缘。所述系统此外被配置成在显示屏上显示输出图像。所显示的输出图像包括输入图像的至少一部分以及被叠覆到输入图像上的所述多个三维限界框中的每一个。所述系统还被配置成操作载具系统以至少部分地基于所述多个三维限界框来自动地控制主载具相对于所述多个载具的移动。通过考虑详细描述和附图，本专利技术的其它方面将变得显而易见。附图说明图1是由被装配到主载具的相机所捕获的道路场景的图像的截屏。图2是图1的图像的截屏，其中在道路上运作的载具被检测到，并且在显示屏上通过使用二维边界框来被指示。图3是图1的图像的截屏，其中在道路上运作的载具被检测到，并且在显示屏上通过使用一般多边形来被指示。图4是图1的图像的截屏，其中在道路上运作的载具被检测到，并且在显示屏上通过使用像素水平的标注来被指示。图5是图1的图像的截屏，其中在道路上运作的载具被检测到，并且在显示屏上通过使用两个四边形的组合作为三维边界框来被指示。图6是用于在相机图像数据中检测载具的系统的框图。图7是用于通过使用神经网络处理来检测并且标注载具的方法的流程图。图8A和8B是使用卷积神经网络处理的图7的方法的示意性流程图。图9是用于通过使用神经网络处理来在相机图像数据中检测载具并且用于再训练神经网络的系统的框图。图10是用于在相机图像数据中检测载具并且用于通过使用图9的系统来再训练神经网络的方法的流程图。图11是用于在相机图像数据中检测载具并且用于通过使用远程服务器计算机来再训练神经网络的系统的框图。具体实施方式在详细解释本专利技术的任何实施例之前，要理解的是，本专利技术不在其应用方面被限制到在以下描述中所阐明的或在以下附图中所图示的组件的构造和布置的细节。本专利技术能够有其它实施例并且能够以各种方式被实践或实施。图1直到图5图示了用于在由被装配到主载具的相机所捕获的图像中检测载具的途径的不同示例。图1图示了由被装配到主载具的相机所捕获的道路场景的图像。在该示例中的图像包括从主载具的视角的直线图像，并且包括在与相机视场内的主载具相同的道路上运作的多个其它载具。尽管图1的示例示出了由单个相机所捕获的直线图像，但是在其它实现方式中，所述系统可以包括被配置成捕获道路的“鱼眼”图像的相机系统，和/或可以包括多个相机来利用不同的视角和/或视场而捕获道路表面的图像。例如，在一些实现方式中，相机系统可以包括多个相机，所述相机被配置并且定位成具有如下视场：所述视场至少部分地与相机系统中的其它相机重叠，以便捕获/计算在道路上运作的其它载具的三维图像数据。如以下进一步详细描述的，所述系统被配置成分析由相机（或多个相机）所捕获的图像（或多个图像）以便检测在与主载具相同的道路上运作的其它载具的位置。在一些实现方式中，所述系统被配置成检测载具并且通过如下来限定所检测到的载具的形状和位置：限定与三维空间中的所检测到的载具相对应的形状的定位。在一些实现方式中，由相机（或多个相机）所捕获的图像（或多个图像）与被叠覆到图像上的所限定的“形状”一起被输出在显示屏上，以便为用户指示所检测到的（多个）载具的位置。图2图示了“限界框”途径，其中图像（例如，如在图1的示例中由相机所捕获的图像）被处理，并且二维矩形被安置于在图像帧中所检测到的载具的周围。如以下进一步详细讨论的，由载具检测系统所应用的图像检测算法可以被调谐、调节和/或训练以安置矩形框，使得它们完全围绕所检测到的载具。在一些实现方式中，所述系统被配置成使用二维限界框的定位和尺寸（其指示在道路上运作的特定载具的尺寸和位置）来作为用于操作的输入数据，所述操作诸如例如距离估计（例如在主载具与另一所检测到的载具之间）、碰撞检查/告警、动态巡航控制和车道改变辅助。对于诸如距离估计和碰撞检查之类的操作，图2的二维限界框途径具有相对低的计算成本。然而，使用二维限界框导致在图像的所限界的区域中的相对大量的“非载具”空间。对于经轴对准以及未经轴对准的矩形而言是如此。另外，所述矩形不提供关于所检测到的载具相对于道路或主载具的定向的任本文档来自技高网...
【技术保护点】
1.一种用于检测并且追踪在主载具附近的载具的方法，所述方法包括：/n由电子控制器从在主载具上所装配的相机接收输入图像；以及/n由电子控制器应用神经网络，所述神经网络被配置成至少部分地基于输入图像来输出三维限界框的限定，所述三维限界框指示在输入图像的视场中的所检测到的载具的尺寸和定位，所述三维限界框包括第一四边形形状和第二四边形形状，所述第一四边形形状描画所检测到的载具的后面或前面，所述第二四边形形状描画所检测到的载具的侧面。/n
【技术特征摘要】
【国外来华专利技术】20170404 US 62/4813461.一种用于检测并且追踪在主载具附近的载具的方法，所述方法包括：
由电子控制器从在主载具上所装配的相机接收输入图像；以及
由电子控制器应用神经网络，所述神经网络被配置成至少部分地基于输入图像来输出三维限界框的限定，所述三维限界框指示在输入图像的视场中的所检测到的载具的尺寸和定位，所述三维限界框包括第一四边形形状和第二四边形形状，所述第一四边形形状描画所检测到的载具的后面或前面，所述第二四边形形状描画所检测到的载具的侧面。
2.根据权利要求1所述的方法，此外包括在显示屏上显示输出图像，所述输出图像包括输入图像的至少一部分以及被叠覆到输入图像上的三维限界框的指示。
3.根据权利要求2所述的方法，此外包括：
接收用户输入，其指示对在输出图像上、所述三维限界框内的位置的选择；
基于所述用户输入来确定所述三维限界框指示通过神经网络的对载具的不正确检测；以及
基于所述不正确的检测来再训练神经网络。
4.根据权利要求2所述的方法，此外包括：
接收用户输入，其指示对在输出图像上、所述三维限界框外的位置的选择；
基于所述用户输入来确定在输入图像的场内、在与所述用户输入对应的位置处存在未被检测到的载具；以及
基于对未被检测到的载具进行指示的用户输入来再训练神经网络。
5.根据权利要求4所述的方法，此外包括：
在与所述用户输入对应的位置处将载具检测例程应用到输入图像；以及
基于所述载具检测例程来限定第二三维限界框，
其中再训练神经网络包括至少部分地基于输入图像来再训练神经网络以输出第二三维限界框的限定。
6.根据权利要求4所述的方法，此外包括：
提示用户手动地相对于输入图像中未被检测到的载具来定位第二三维限界框；以及
基于响应于所述提示所接收的第二用户输入来限定第二三维限界框，
其中再训练神经网络包括至少部分地基于输入图像来再训练神经网络以输出第二三维限界框的限定。
7.根据权利要求1所述的方法，此外包括自动地操作载具系统来至少部分地基于所述三维限界框而控制主载具的移动。
8.根据权利要求7所述的方法，此外包括至少部分地基于所述三维限界框来确定在主载具与所检测到的载具之间的距离，并且其中自动地操作载具系统包括至少部分地基于所确定的在主载具与所检测到的载具之间的...
【专利技术属性】
技术研发人员：K贝伦特，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。