使用基于相机的输入用于自主系统和应用的基于深度学习的操作域验证技术方案

本申请涉及使用基于相机的输入用于自主系统和应用的基于深度学习的操作域验证。在各种示例中，提供了用于使用机器学习模型确定与自主和/或半自主机器相关的以下操作域条件中的一个或更多个的方法和系统：相机视盲量、视盲分类、照明水平、道路表面状况、能见距离、场景类型分类和到场景的距离。一旦确定了这些条件中的一个或更多个，就可以确定机器的操作级别，并且可以根据操作级别控制机器。并且可以根据操作级别控制机器。并且可以根据操作级别控制机器。

【技术实现步骤摘要】
使用基于相机的输入用于自主系统和应用的基于深度学习的操作域验证
[0001]相关申请的交叉引用
[0002]本申请与2019年9月13日提交的第16/570,187号美国非临时申请和2021年9月29日提交的第17/449,306号美国非临时申请有关，在此通过引用方式将其全部内容分别并入。

技术介绍

[0003]自动驾驶系统和半自动驾驶系统(例如，高级驾驶员辅助系统(ADAS))可以使用传感器(例如，相机、激光雷达传感器、雷达传感器等)以关于各种任务的执行情况进行决定，例如增加、减少或保持一定的速度；盲点监测；自动紧急制动；车道保持；对象检测；避障；换道；车道分配；相机校准；和本地化。为了确定这些自主和半自主系统是否应该自主操作以及在多大程度上应该自主操作，准确了解周围环境对这些系统的影响可能是有益的。然而，传感器感知周围环境的能力可能会受到各种来源的影响，例如天气(如雨、雾、雪、冰雹、烟雾等)、交通状况、传感器堵塞(如，来自垃圾、降水等)或模糊，这可能导致传感器视盲和/或能见距离受损。传感器视盲和/或能见距离受损的潜在原因可能包括雪、雨、眩光、太阳耀斑、泥、水、信号故障等。
[0004]用于解决传感器视盲和能见距离受损的常规系统已使用特征级方法来检测能见度受损和传感器视盲的各个视觉证据，然后将这些特征拼合在一起，以确定存在传感器视盲和/或能见度受损事件。这些常规方法主要依赖于计算机视觉技术，例如通过分析图像区域中锐边特征(例如梯度、颜色、强度的急剧变化)的缺失，使用基于颜色的像素分析或其他低级特征分析来检测潜在的能见度和传感器堵塞问题，和/或具有盲输出与非盲输出的二进制支持向量机分类。然而，这种基于特征的计算机视觉技术需要对每个特征进行单独分析，例如，每个特征是否与能见度和传感器视盲相关，以及分析如何针对特定传感器降低的能见度或视盲情况组合不同的特征，从而限制此类方法的可扩展性，这是由于条件和事件的多变性和多样性所固有的复杂性，这些条件和事件可能会损害在真实情况下使用传感器观察到的数据。例如，由于执行这些常规方法的计算成本，它们对于实时或近实时的部署可能不太有效率。
[0005]此外，常规系统可能依赖于对导致传感器能见距离减小的原因进行分类，例如雨、雪、雾、眩光等，但可能无法提供传感器数据可用性的准确指示。例如，用于确定相应的图像或其中的一部分是否可用于各种自主或半自主任务的系统可能无法识别图像中的雨。在这种示例中，如果下雨，即使图像可以清楚地描绘车辆100米内的环境，常规系统也可能认为图像不可用。这样，代替依赖图像在可见范围内的一项或更多项任务，图像可能会被错误地丢弃并且一个或更多个任务被禁用。常规系统也可能无法区分不同类型的传感器视盲，例如图像是否模糊或被遮挡。通过以相等或大致相等的权重对待每种类型的受损传感器能见距离和传感器视盲，不太严重或有害类型的受损传感器能见距离和传感器视盲可能会导致传感器数据的实例被视为不可用，即使该确定可能不完全准确(例如，存在小雨的环境的图
像可用于一个或更多个操作，而有浓雾环境的图像可能不可用，模糊图像可用于某些操作，而遮挡图像可能不可用)。
[0006]此外，通过依赖硬编码的计算机视觉技术，常规系统可能无法从历史数据中学习，或在部署过程中随着时间而学习，从而限制了这些系统适应新型或出现传感器视盲情况的能力。此外，用于检测周围环境的照明水平和道路表面状况的常规系统可能依赖于专用传感器，例如用于测量光强度的勒克斯(LUX)传感器，和/或可能依赖于放置在轮胎旁边的路面湿度传感器。由于缺乏丰富的数据输入，这些专用传感器可能输出周围环境的低准确度和不丰富的数据。因此，这些专用传感器可能无法区分照明实例(例如，路灯引起的照明与室内停车场光照引起的照明)和不同的路面状况(例如，当道路下雪时与道路无雪但机器的(一个或更多个)传感器上却积了雪时)。

技术实现思路

[0007]本公开的实施例涉及使用基于相机的输入用于自主系统和应用的基于深度学习的操作域验证。公开了使用一个或更多个机器学习模型(例如深度神经网络(DNN))来计算指示与自主和/或半自主机器相关的以下操作设计域条件中的一个或更多个的输出的系统和方法：相机视盲量；与相机视盲相对应的视盲分类；照明水平；道路表面状况；能见距离；场景类型分类；以及到与场景类型分类对应的场景的距离。然后，可以使用这些输出来确定自主和/或半自主机器的自主水平，例如操作等级，然后可以使用所确定的自主水平在环境中控制机器。
[0008]与上述常规系统相比，如上所述的那些，本公开的系统和方法可以通过传感器数据获取操作设计域条件，从而提供与人类感知类似的关于这些条件的准确而丰富的信息。此外，由于本公开的系统和方法应用多任务深度学习，因此与常规方法相比，可能需要更少的计算资源。
附图说明
[0009]以下参考附图详细描述了使用基于相机的输入用于自主机器应用的基于深度学习的操作设计域验证的本系统和方法，其中：
[0010]图1A是根据本公开的一些实施例的图示出用于确定照明水平、道路表面状况、能见距离、场景分类、到场景的距离以及传感器视盲及其原因的示例过程的示例数据流图；
[0011]图1B是根据本公开的一些实施例的用于实现用于确定照明水平、道路表面状况、能见距离、场景分类、到场景的距离以及传感器视盲及其原因的示例过程的示例机器学习模型；
[0012]图2A
‑
2B包括根据本公开的一些实施例的包括了不同的能见距离等级的传感器数据的示例可视化；
[0013]图3包括根据本公开的一些实施例的包括各种传感器视盲类型的传感器数据的示例可视化；
[0014]图4A
‑
4B包括根据本公开的一些实施例的包括各种场景类型的传感器数据的示例可视化；
[0015]图5是根据本公开的一些实施例图示出使用神经网络来确定照明水平、道路表面
状况、能见距离、场景分类、到场景的距离以及传感器视盲及其原因的方法的流程图；
[0016]图6A是根据本公开的一些实施例的示例性自主车辆的图示；
[0017]图6B是根据本公开的一些实施例的用于图6A的示例性自主车辆的相机位置和视野的示例；
[0018]图6C是根据本公开的一些实施例的用于图6A的示例性自主车辆的示例性系统架构的框图；
[0019]图6D是根据本公开的一些实施例的用于在一个或更多个基于云的服务器与图6A的示例性自主车辆之间通信的系统图；
[0020]图7是适用于实施本公开的一些实施例的示例计算设备的框图；以及
[0021]图8是适用于实施本公开的一些实施例的示例数据中心的框图。
具体实施方式
[0022]公开了与使用基于相机的输入用于自主系统和应用的基于深度学习的操作域验证相关的系统和方法。本文描述的系统和方法可用于增强现实、虚拟现实、混合现实、机器人、安全和监视、医疗成像、自主或半自主机器应用和/或任何其他技术空间，其中可以实现确定照明水平、道路表面状况、能见距离、场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于：使用神经网络并至少基于使用一个或更多个图像传感器生成的环境的图像数据，计算表示与所述环境对应的操作域的一个或更多个参数的数据；至少部分地基于所述数据，确定与所述环境对应的本机器的操作级别；以及根据所述操作级别控制所述本机器的操作。2.根据权利要求1所述的处理器，其中所述一个或更多个参数包括以下中的至少一项：相机视盲级别；视盲分类；照明水平；道路表面状况；能见距离；场景类型分类；或到与场景类型分类对应的场景的距离。3.根据权利要求1所述的处理器，包括：一个或更多个电路，用于：使用所述神经网络的主干生成中间数据；基于所述中间数据并使用所述神经网络的至少一个头部计算所述数据的子集，其中所述数据的所述子集表示以下中的至少一个：相机视盲级别；视盲分类；照明水平；道路表面状况；能见距离；场景类型分类；或到与场景类型分类对应的场景的距离。4.根据权利要求3所述的处理器，其中所述至少一个头部包括一个或更多个向下采样层以及随后的一个或更多个向上采样层。5.根据权利要求3所述的处理器，其中所述主干包括一个或更多个卷积层，并且所述中间数据代表一个或更多个特征图。6.根据权利要求3所述的处理器，其中所述至少一个头部包括至少一个全连接层。7.根据权利要求3所述的处理器，其中所述至少一个头部包括sigmoid函数。8.根据权利要求2所述的处理器，其中所述本机器的所述操作级别的确定包括：根据预定义的权重对所述相机视盲级别、所述视盲分类、所述照明水平、所述道路表面状况、所述能见距离、所述场景类型分类或所述到场景的距离中的至少一个进行加权。9.根据权利要求8所述的处理器，其中所述相机视盲级别具有所述预定义的权重中的最高权重。10.根据权利要求1所述的处理器，其中所述操作级别对应于车辆自主级别，所述车辆自主级别包括0级(L0)、1级(L1)、2级(L2)、3级(L3)、4级(L4)或5级(L5)。11.根据权利要求2所述的处理器，其中所述场景类型分类包括隧道、施工区域、收费站
或阻塞的车道中的至少一个。12.根据权利要求1所述的处理器，其中所述数据包括对所述操作级别的确定的基于相机的输入，并且所述操作级别的所述确定还至少部分地基于使用一个或更多个其他传感器模态生成的数据。13.根据权利要求1所述的处理器，其中所述处理器被包括在以下的至少一个中：用于自主或半自主机器的控制...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：辉达公司，
类型：发明
国别省市：