使用适合停车位检测的倾斜多边形进行对象检测制造技术

神经网络可用于确定倾斜多边形的角点(例如，作为锚框角点的位移值)，其准确地描绘了图像中定义停车位的区域。此外，神经网络可以输出预测锚框的角点对应于停车位入口的可能性的置信值。置信值可用于选择锚框和/或倾斜多边形的角点的子集，以便定义停车位的入口。使用CNN预测的倾斜多边形的角点与停车位的地面实况角点之间的最小聚合距离可以用于简化关于是否应将锚框用作训练的正样本的确定。于是否应将锚框用作训练的正样本的确定。于是否应将锚框用作训练的正样本的确定。

【技术实现步骤摘要】
【国外来华专利技术】使用适合停车位检测的倾斜多边形进行对象检测

技术介绍

[0001]机器(例如，使用经训练的神经网络编程的计算机)进行准确有效的图像处理(例如，用于识别和分类)在各种情况下都很重要。例如，自主车辆(例如，配备高级驾驶辅助系统(ADAS)的车辆)或无人机可以实时分析图像数据(例如，表示由相机捕获的道路和/或停车场的图像)以制定驾驶操作(例如，向左转动转向装置、启动制动系统等)。在一个这样的实例中，车辆可以在执行停车操作时分析图像数据以检测停车位，并识别停车位的属性，例如位置、大小和方位。为了促进这个过程，车辆可能包括对象检测器，该检测器使用卷积神经网络(CNN)来检测图像中停车位的存在。
[0002]用于检测停车位的传统CNN可能使用轴对齐的矩形锚框(所有四个角都是直角)作为检测输出的一种形式。然而，由于传感器的透视投影，传感器数据中存在的停车位通常不是矩形或轴对齐的。因此，一旦检测到传感器数据，就需要额外的处理来准确地识别每个停车位的边界。例如，车辆上的相机可能会捕获停车位的图像，并且基于相机视场的视角，停车位可能不会在图像中描绘为轴对齐的矩形。传统的CNN可能会提供一个轴对齐的矩形锚框作为检测输出的一种形式，在这种情况下，需要额外的处理来准确地描绘图像中的停车位。在训练传统CNN时，可以使用来自CNN的锚框输出和地面实况输出之间的联合相交(IoU)来识别正样本。IoU计算可能很简单，因为锚框输出和地面实况都是轴对齐的矩形。

技术实现思路

[0003]本公开涉及使用适用于停车位检测的倾斜多边形(例如，四边形)的对象检测。例如，在一些情况下，至少一个卷积神经网络(CNN)可用于检测和/或描绘图像数据中表示的一个或更多个停车位。CNN输出可以进行后处理并提供给下游系统(例如，车辆控制模块)以通知后续操作。
[0004]本公开的方面可以使用CNN来确定倾斜多边形的角点(例如，作为锚形状角点的位移或偏移值)，其准确地描绘图像中定义停车位的区域。此外，本公开提供了输出置信值的CNN，该置信值预测锚形状的角点定义或以其他方式对应于停车位入口的可能性。置信值可用于选择锚形状和/或倾斜多边形的角点的子集，以便定义停车位的入口。根据本公开的实施例，CNN可用于预测锚形状的特定角点对应于停车位入口的可能性以及预测描绘停车位边界的角点的位移值。
[0005]本公开还提供计算使用CNN预测的倾斜多边形的角点与停车位的地面实况角点之间的距离(例如，最小聚合距离)以确定锚形状是否应该用作正训练样本。例如，可以至少部分地基于距离低于阈值来识别正样本。
附图说明
[0006]下面参考附图详细描述使用适合于停车位检测的倾斜多边形进行对象检测的本系统和方法，附图通过引用并入本文，其中：
[0007]图1是根据本公开的一些实施例的包括示例对象检测系统的图示；
[0008]图2是示出根据本公开的一些实施例的用于识别一个或更多个停车位的示例过程的流程图；
[0009]图3是根据本公开的一些实施例的可由对象检测器、对象检测器的空间元素的网格和可与空间元素中的一个或更多个相关联的一组锚形状处理的图像数据表示的图像的图示；
[0010]图4是根据本公开的一些实施例的覆盖有针对不同空间元素分辨率的视觉元素的图像的图示；
[0011]图5A是根据本公开的一些实施例的包括用于检测停车位的神经网络的图示；
[0012]图5B是根据本公开的一些实施例的具有进入线描绘和停车位描绘的图像的图示；
[0013]图6是根据本公开的一些实施例的用于训练对象检测器的具有地面实况数据和倾斜四边形的角点的图像的图示；
[0014]图7是示出根据本公开的一些实施例的训练机器学习模型以提供停车位的角点的方法的框图；
[0015]图8是示出了根据本公开的一些实施例的使用神经网络确定停车位角点的方法的框图；
[0016]图9是示出根据本公开的一些实施例的使用神经网络确定停车位入口的方法的框图；
[0017]图10为适合用于实现本公开一些实施例的示例操作环境的图示；
[0018]图11A为根据本公开一些实施例的示例自主车辆的图示；
[0019]图11B为根据本公开一些实施例的用于图11A的示例自主车辆的相机位置和视场的示例；
[0020]图11C为根据本公开一些实施例的用于图11A的示例自主车辆的示例系统架构的框图；
[0021]图11D为根据本公开一些实施例的图11A的基于云的服务器与示例自主车辆之间的通信的系统图；以及
[0022]图12为适合用于实现本公开一些实施例的示例计算设备的框图。
具体实施方式
[0023]本公开涉及使用适用于停车位检测的倾斜多边形(例如，四边形)的对象检测。所公开的方法可能适用于检测停车位的驾驶操作(例如，自动驾驶、高级驾驶员辅助系统(ADAS)等)，以及其他应用(例如，机器人、视频分析、天气预报、医疗成像等)检测与图像和/或传感器数据中的倾斜多边形相对应的对象(例如，建筑物、窗户、门、车道、十字路口、马路牙子、不动产区域、表面区域或区域等)。
[0024]本公开可以关于示例自主车辆1100(在本文中可替代地称为“车辆1100”或“自主车辆1100”)来描述，其示例在本文中参照图11A
‑
11D更详细地描述。尽管本公开主要提供使用自主车辆的示例，但可以使用其他类型的设备来实现本文描述的各种方法，例如机器人、无人驾驶飞行器、相机系统、天气预报设备、医学成像设备等。此外，这些方法可用于控制自主车辆，或用于其他目的，例如但不限于视频监控、视频或图像编辑、停车位占用监控、识别和/或检测、视频或图像搜索或检索、对象跟踪、天气预报(例如，使用RADAR数据)和/或医学
成像(例如，使用超声或磁共振成像(MRI)数据)。
[0025]虽然停车位主要被描述为被检测的对象，但所公开的方法通常可以应用于在传感器的视场和/或图像数据(例如，这些对象在现实世界中可能是矩形的，但由于透视而显示为倾斜的四边形)中可能显示为倾斜多边形(如四边形或其他形状)的对象。尽管使用倾斜的四边形和四个角点来描述所公开的方法，但是所公开的概念可以应用于定义那些形状的任意数量的形状和点(例如，角点)。此外，虽然本文主要将入口定义为由两个点(例如，角点)来定义，但在其他示例中，可以使用任意数量的点(例如，角点)来定义入口。此外，虽然本公开集中于使用神经网络实现的对象检测器，但在一些实施例中可以采用其他类型的机器学习模型。
[0026]与可以使用CNN来预测通常指示停车位的大小和位置的轴对齐的矩形锚框的常规方法相比，本公开的方面可以使用CNN来确定倾斜的四边形的角点(例如，作为锚框角点的位移或偏移值)，其准确地描绘了图像中定义停车位的区域。因此，在一些实施例中，倾斜的四边形可以被下游系统直接消耗而不需要额外的或显著的处理来识别停车位的边界。通过减少后续处理，所公开的方法可能比传统方法更有效和更快。
[0027]此外，与传统本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：将表示停车位的图像数据应用到神经网络；使用所述神经网络接收由所述图像数据生成的并表示到锚形状的角点的位移值的数据；根据到所述锚形状的角点的所述位移值确定倾斜多边形的角点；计算所述倾斜多边形的所述角点与所述停车位的地面实况角点之间的第一距离；至少部分地基于所述第一距离确定样本评级；以及基于所述样本评级低于阈值，使用所述锚形状作为正训练样本更新所述神经网络的参数。2.如权利要求1所述的方法，其中所述第一距离包括最小聚合距离，并且其中所述样本评级是所述最小聚合距离的归一化版本。3.如权利要求1所述的方法，其中确定所述样本评级包括至少部分地基于由所述停车位的所述地面实况角点定义的多边形的面积来归一化所述第一距离。4.如权利要求1所述的方法，其中所述倾斜多边形是第一倾斜四边形并且所述锚形状是第二倾斜四边形。5.如权利要求1所述的方法，其中所述锚形状是由一个或更多个地面实况样本生成的数据驱动的锚框。6.如权利要求1所述的方法，其中所述第一距离是所述倾斜多边形的所述角点的不同组合与所述停车位的所述地面实况角点之间的最小平均距离。7.如权利要求1所述的方法，其中所述斜多边形的所述角点包括第一角(A1)、第二角(A2)、第三角(A3)和第四角(A4)；其中，所述停车位的所述地面实况角点的角点包括第五角(B1)、第六角(B2)、第七角(B3)和第八角(B4)；并且其中计算所述第一距离包括根据距离(A1，B1)、(A2，B2)、(A3，B3)和(A4，B4)计算第一归一化聚合距离；根据距离(A1，B2)、(A2，B3)、(A3，B4)和(A4，B1)计算第二归一化聚合距离；根据距离(A1，B3)、(A2，B4)、(A3，B1)和(A4，B2)计算第三归一化聚合距离；以及根据距离(A1，B4)、(A2，B1)、(A3，B2)和(A4，B3)计算第四归一化聚合距离，并且所述第一距离是所述第一归一化聚合距离、所述第二归一化聚合距离、所述第三归一化聚合距离和所述第四归一化聚合距离中的最小值。8.一种计算机实现的方法，包括：将表示环境中的至少一个传感器的视场的传感器数据应用于神经网络；从所述神经网络接收由所述传感器数据生成的第一数据和第二数据，所述第一数据表示到锚形状的角点的位移值，以及所述第二数据表示预测所述锚形状对应于所述至少一个传感器的所述视场内的停车位的可能性的置信值；以及至少部分地基于所述置信值超过阈值，确定与所述锚形状的角点的所述位移值相对应的倾斜多边形的角点。9.如权利要求8所述的方法，其中所述锚形状是与所述神经网络的空间元素相关联的多个锚形状，并且针对所述多个锚形状的每个给定锚形状，所述神经网络输出表示到所述给定锚形状的角点的位移值和预测所述给定锚形状对应于所述至少一个传感器...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：辉达公司，
类型：发明
国别省市：