在自主机器应用程序中使用深度学习的能见度距离估计制造技术

本公开涉及在自主机器应用程序中使用深度学习的能见度距离估计。在各种例子中，被公开的系统和方法使用一个或更多个机器学习模型(MLM)——如深层神经网络(DNN)——来计算输出指示与使用自主或半自主机器的一个或更多个传感器生成的传感器数据相对应的估计能见度距离。一旦使用一个或更多个MLM计算出所述能见度距离，就可以评估传感器数据对该机器的一个或更多个下游任务的可用性。因此，当估计的能见度距离较低时，相对于能见度距离较高时，可以依赖对应的传感器数据以用于较少任务。务。务。

【技术实现步骤摘要】
在自主机器应用程序中使用深度学习的能见度距离估计
[0001]相关申请的交叉引用
[0002]本申请涉及2019年9月13日提交的美国非临时申请第16/570187号，在此通过引用将其全文合并于此。

技术介绍

[0003]自动驾驶系统和半自动驾驶系统(例如，先进的驾驶辅助系统(ADAS))可以利用传感器(例如，相机、激光雷达传感器、雷达传感器等)来执行各种任务，例如盲点监测、自动紧急制动、车道保持、对象检测、障碍躲避和定位。例如，为了使自动驾驶系统和ADAS系统能够独立高效地运行，可以实时地或接近实时地生成对车辆周围环境的了解。为了准确、高效地了解该车辆周围环境，所述传感器必须生成可用的、未遮挡的传感器数据(例如图像、深度图、点云等的表示)。然而，传感器感知所述周围环境的能力可能会受到各种来源的影响，例如天气(如雨、雾、雪、冰雹、烟雾等)、交通状况、传感器阻塞(如碎片、湿气等)或模糊。因此，所产生的传感器数据可能不能清楚地描述该环境中的车辆、障碍物和/或其他对象。
[0004]处理受损能见度距离的传统系统使用特征级方法来检测单独的视觉证据的片段，随后将这些特征拼凑在一起，以确定受损的能见度距离的存在。这些传统的方法主要依赖于计算机视觉技术，例如通过分析图像区域中鲜明边缘特征(例如，梯度、颜色、强度上的急剧变化)的缺乏，使用基于颜色的像素分析或其他低级特征分析来检测潜在的能见度问题，和/或带有盲与非盲比输出的二重支持向量机器分类。然而，这种基于特征的计算机视觉技术需要对每个特征进行单独的分析——例如，每个特征是否与能见度有关——以及分析如何针对特定的传感器降低能见度的情况组合不同的特征，由于在现实环境中使用传感器观察到的数据可能会受到各种各样的条件和事件的固有复杂性的影响，因此限制了这种方法的可扩展性。例如，由于执行这些传统方法的计算成本，它们对于实时或接近实时的部署是渲染无效的。
[0005]此外，传统系统可能依赖于对降低传感器能见度的原因进行分类，如雨、雪、雾、眩光等，但可能无法对所述传感器数据的可用性提供准确的指示。例如，识别图像中的雨可能无法被所述系统用于确定对应的图像(或其部分)是否可用于各种自主或半自主任务。在这种情况下，如果有雨，传统系统可能认为图像无法使用，即使图像可以清楚地描述该车辆100米以内的所述环境。因此，所述图像可能会被错误地丢弃并且所述一个或更多个任务可能被禁用，而不是依赖于该可见范围内的一个或更多个任务的图像。这样，通过平等对待每一种受损的传感器能见度，不那么恶劣或有害的传感器类型可能会导致传感器数据的实例被视为不可用，即使这种确定可能不完全准确(例如，有小雨的环境图像可以用于一个或更多个操作，而有浓雾的环境图像则不行)。

技术实现思路

[0006]本专利技术的实施例涉及自主机器应用中用于能见度距离估计的深度神经网络处理，例如，与可识别对象或元素的传感器的最远距离。本公开的系统和方法使用一个或更多个
机器学习模型(如深度神经网络(DNN))来计算指示估计能见度距离(如：以计算距离或包括距离范围的距离箱的形式)的对应于自主或半自主机器的一个或更多个传感器的输出。例如，通过预测估计的能见度距离，机器在一个或更多个下游任务(如对象检测、对象跟踪、障碍躲避、路径规划、控制决策等)中对相关传感器数据的依赖程度可调整。因此，在估计的能见度距离低(例如，20米或以下)的情况下，相应的传感器数据只能在0级(无自动化)或1级(驾驶员辅助)任务时依赖(例如，根据汽车工程师协会(SAE)自动化级别)，或者只能被依赖在距离机器20米以内的预测(例如，超过20米的预测可能被忽略，或者更多的具有更低的可信度)。类似地，另一个例子是，如果估计的能见度距离很高——例如，1000米或更多——所述对应的传感器数据可能被依赖于3级(有条件驾驶自动化)和4级(高驾驶自动化)任务的全部性能，或者可以依赖于对应于机器1000米以内的位置的预测。
[0007]以这种方式，并与传统系统(如上所述那些)相比，本公开的系统和方法不仅可用于确定传感器数据的可用性，而且可以确定用能见度距离定义的所述传感器数据的可用性程度或等级——或能见度距离箱(visibility distance bin)具有相关的能见度距离范围。为训练机器学习模型——例如，DNN——来准确计算能见度距离的输出表示，所述DNN可以使用现实世界数据、增强现实世界的数据、和/或代表包括不同天气、照明、和/或其他条件的传感器数据表示(例如，图像、激光雷达点云等等)的合成数据来训练。每个传感器数据实例可以包括代表能见度距离和/或能见度距离箱的对应地面真实数据。在一些实施例中，可以使用一个或更多个训练过的模型自动生成所述地面真实数据，以便对于给定的参数——例如，雾的密度、雨的湿度、雨的强度等——存在已知的或估计的能见度距离。这样，鲁棒的训练集可以使用所述一个或更多个模型生成(例如，不同的模型可能对应于不同传感器的数据类型，如现实世界、增强、和/或合成)，所述机器学习模型可使用训练数据的组合和相关地面真实数据来训练。
附图说明
[0008]将深度神经网络处理用于自主机器应用中的能见度距离估计的系统和方法详细描述如下，并参考所附图像，其中：
[0009]图1是示出了根据本公开的一些实施例的用于训练机器学习模型以计算估计能见度距离的过程的数据流程图；
[0010]图2A
‑
2C是根据本公开的一些实施例的具有不同能见度距离的传感器数据的示例可视化；
[0011]图3是示出了根据本公开的一些实施例的用于训练机器学习模型以计算估计能见度距离的方法的流程图；
[0012]图4是示出了根据本公开的一些实施例的用于部署机器学习模型以计算估计能见度距离的过程的数据流程图；
[0013]图5是示出了根据本公开的一些实施例的用于各种对象的传感器数据和对应的能见度距离输出的示例可视化；
[0014]图6是示出了根据本公开的一些实施例的用于部署机器学习模型以计算估计能见度距离的方法的流程图；
[0015]图7A是根据本公开的一些实施例的示例性自主车辆的图示；
[0016]图7B是根据本公开的一些实施例的图7A的示例性自主车辆的相机位置和视野示例；
[0017]图7C是根据本公开的一些实施例的图7A的示例性自主车辆的示例性系统架构的框图；
[0018]图7D是根据本公开的一些实施例的一个或更多个基于云的服务器与图7A的示例性自主车辆之间通信的系统图；
[0019]图8是适合用于实施本公开的一些实施例的示例计算设备的框图；以及
[0020]图9是适用于实施本公开的一些实施例的示例数据中心的框图。
具体实施方式
[0021]公开了与在自主机器应用中的能见度距离估计的深度神经网络处理相关的系统和方法。尽管本公开可以关于示例性自主车辆700(或者在本文中称为“车辆700”或“自我(ego)车辆700”，其示例是关于图7A
‑
7D描述的)，但这并不旨在限制。例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于：使用机器学习模型并至少部分地基于使用自我机器的一个或更多个传感器生成的传感器数据，计算指示与所述传感器数据相对应的能见度距离的数据；至少部分地基于所述能见度距离，确定所述传感器数据对所述自我机器的一个或更多个操作的可用性；以及至少部分地基于所述传感器数据的所述可用性，执行所述一个或更多个操作中的至少一个操作。2.如权利要求1所述的处理器，还包括：至少部分地基于所述传感器数据的所述可用性确定避免执行所述一个或更多个操作中的至少一个自主或半自主操作。3.如权利要求1所述的处理器，其中所述数据的计算包括对所述能见度距离的值进行回归。4.如权利要求3所述的处理器，还包括：至少部分地基于所述能见度距离的值，从与所述传感器数据相对应的多个能见度距离箱中确定能见度距离箱，其中所述能见度距离箱指示所述传感器数据对所述自我机器的所述一个或更多个操作的可用性。5.如权利要求1所述的处理器，其中所述数据指示多个能见度距离箱中的一个能见度距离箱，并且此外其中所述能见度距离箱指示所述传感器数据对于所述自我机器的一个或更多个操作的可用性。6.如权利要求1所述的处理器，其中所述一个或更多个操作包括对象跟踪、对象检测、路径规划、障碍躲避或高级驾驶辅助系统ADAS操作中的至少一个。7.如权利要求1所述的处理器，其中所述机器学习模型包括深度神经网络DNN，所述DNN使用现实世界数据、增强现实世界数据和合成数据的组合来训练。8.如权利要求1所述的处理器，其中所述处理器被包括在以下至少一项中：用于自主或半自主机器的控制系统；用于自主或半自主机器的感知系统；用于执行模拟操作的系统；用于执行深度学习操作的系统；使用边缘设备实现的系统；使用机器人实现的系统；合并一个或更多个虚拟机VM的系统；至少部分在数据中心中实现的系统；或至少部分使用云计算资源实现的系统。9.一种系统，包括：一个或更多个传感器；以及一个或更多个处理单元，用于至少部分地基于使用机器学习模型计算的相关能见度距离来确定使用所述一个或更多个传感器生成的传感器数据实例的可用性，所述机器学习模型至少部分通过以下方式训练：
接收与用于调整能见度的一个或更多个参数相对应的值，所述能见度与训练传感器数据的实例相对应；至少部分地基于所述值生成所述训练传感器数据的实例；至少部分地基于所述值确定与所述训练传感器数据的实例相对应的能见度距...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：辉达公司，
类型：发明
国别省市：