自主机器应用中的路口检测和分类制造技术

在各个示例中，可以利用来自车辆的传感器的实况感知来实时或近实时地对车辆的环境中的路口进行检测和分类。例如，深度神经网络(DNN)可被训练成计算各个输出，诸如路口的边界框坐标、对应于边界框的路口覆盖图、路口属性、到路口的距离和/或与路口相关联的距离覆盖图。可以对输出进行解码和/或后处理，以确定检测到的路口的最终位置、到其的距离和/或其属性。属性。属性。

【技术实现步骤摘要】
【国外来华专利技术】自主机器应用中的路口检测和分类

技术介绍

[0001]自主驾驶系统和高级驾驶员辅助系统(ADAS)通常利用各种传感器来执行各种任务，诸如车道保持、车道变换、车道分配、相机校准、转向、停止、路径规划和定位。为了自主和ADAS系统独立地且有效地操作，需要实时或接近实时地理解车辆的周围环境。该理解可包括关于环境中的对象、障碍物、车道和/或路口相对于各种划分(诸如车道、道路边界、路口等)的位置的信息。当做出决策时，诸如何时停止、在何处停止以及停止多长时间，车辆可使用周围环境的信息。
[0002]作为示例，关于自主或半自主车辆的环境中的路口的位置和属性的信息在进行路径规划、避障和/或控制决策时可以被证明是有价值的，控制决策诸如在何处停止、何时停止、何时移动、使用什么路径来安全地穿越路口、其他车辆或行人可以被定位在哪里和/或类似物。当车辆在城市和/或半城市驾驶环境中操作时，这是特别重要的，在城市和/或半城市驾驶环境中，路口理解和路径规划变得至关重要——例如，由于相对于公路驾驶环境增加的变量数量。例如，当车辆在双向、多车道驾驶环境中必须减速至完全停止并且在路口处等待时，确定路本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：向神经网络应用表示包括一个或更多个路口的视场的图像数据；使用所述神经网络并且至少部分地基于所述图像数据来计算输出数据，所述输出数据包括：第一数据、第二数据和第三数据，所述第一数据表示所述图像数据的至少一个像素与所述一个或更多个路口中的至少一个路口相对应的置信度；所述第二数据表示与所述一个或更多个路口中的至少一个路口相关联的边界框相对应的位置信息；所述第三数据表示到所述一个或更多个路口中的至少一个路口的距离；至少部分地基于所述第一数据和所述第二数据来确定与所述一个或更多个路口相对应的最终边界框的最终边界框位置；至少部分地基于所述第三数据来确定到所述一个或更多个路口的距离；以及由车辆至少部分地基于所述最终边界框位置和所述距离来执行一个或更多个操作。2.根据权利要求1所述的方法，还包括：使用所述神经网络并且至少部分地基于所述图像数据来计算第四数据，所述第四数据表示与所述一个或更多个路口相对应的一个或更多个属性，其中由所述车辆执行所述一个或更多个操作进一步至少部分地基于所述一个或更多个属性。3.根据权利要求2所述的方法，其中所述一个或更多个属性对应于与所述一个或更多个路口相关联的等待条件的一个或更多个类型。4.根据权利要求1所述的方法，其中所述第一数据表示基于像素的覆盖图，其中被确定为对应于所述基于像素的覆盖图中的路口的每个像素被均匀地加权。5.根据权利要求1所述的方法，其中所述位置信息包括到所述边界框的左边缘、右边缘、顶部边缘或底部边缘中的一个或更多个的像素距离。6.根据权利要求5所述的方法，其中所述像素对应于所述神经网络的输出空间分辨率，并且所述像素距离对应于所述神经网络的输入空间分辨率。7.根据权利要求1所述的方法，其中所述位置信息包括与所述边界框的至少一个顶点相对应的像素坐标。8.根据权利要求1所述的方法，还包括：使用所述神经网络并且至少部分地基于所述图像数据计算第四数据，所述第四数据表示针对每个像素的与和所述像素相关联的所述一个或更多个路口相关联的一个或更多个属性；对于所述最终边界框中的每个最终边界框：计算所述最终边界框内与所述一个或更多个属性中的相同属性相关联的像素的数量；以及当所述像素的数量超过阈值时，将所述相同属性与对应于所述最终边界框的所述一个或更多个路口中的所述路口相关联。9.根据权利要求1所述的方法，其中所述距离对应于与所述一个或更多个路口中的路口相关联的最终边界框的底部边缘。10.根据权利要求1所述的方法，其中确定所述最终位置或确定所述距离中的至少一个包括：相对于与所述图像数据的一个或更多个先前实例相对应的所述神经网络的一个或更多个先前预测，对与所述图像数据的当前实例相对应的所述神经网络的当前预测进行加权。11.根据权利要求1所述的方法，其中确定所述最终边界框位置包括：对于所述最终边界框中的每个最终边界框，使用与多个像素相对应的所述位置信息来确定相应的最终边界框位置。12.根据权利要求11所述的方法，其中使用与所述多个像素相对应的所述位置信息包
括：将随机采样一致性RANSAC应用于所述位置信息。13.根据权利要求1所述的方法，其中与所述车辆通过对应于所述视场的环境的一部分的运动相对应的第四数据被用于生成与所述图像数据相对应的地面实况数据，用于进一步训练所述神经网络以预测所述距离。14.根据权利要求1所述的方法，其中所述神经网络被训练为计算与所述边界框相对应的像素的子集的所述位置信息，所述像素的子集包括从所述边界框的底部边缘延伸到预定阈值像素高度的像素。15.根据权利要求4所述的方法，其中计算所述输出数据包括：至少部分地基于所述第一数据确定与所述一个或更多个路口相对应的像素的子集；以及至少部分地基于所述第二数据确...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：辉达公司，
类型：发明
国别省市：