使用基于相机的输入用于自主系统和应用的基于深度学习的操作域验证技术方案

本申请涉及使用基于相机的输入用于自主系统和应用的基于深度学习的操作域验证。在各种示例中，提供了用于使用机器学习模型确定与自主和/或半自主机器相关的以下操作域条件中的一个或更多个的方法和系统：相机视盲量、视盲分类、照明水平、道路表面状况、能见距离、场景类型分类和到场景的距离。一旦确定了这些条件中的一个或更多个，就可以确定机器的操作级别，并且可以根据操作级别控制机器。并且可以根据操作级别控制机器。并且可以根据操作级别控制机器。

【技术实现步骤摘要】
使用基于相机的输入用于自主系统和应用的基于深度学习的操作域验证
[0001]相关申请的交叉引用
[0002]本申请与2019年9月13日提交的第16/570,187号美国非临时申请和2021年9月29日提交的第17/449,306号美国非临时申请有关，在此通过引用方式将其全部内容分别并入。

技术介绍

[0003]自动驾驶系统和半自动驾驶系统(例如，高级驾驶员辅助系统(ADAS))可以使用传感器(例如，相机、激光雷达传感器、雷达传感器等)以关于各种任务的执行情况进行决定，例如增加、减少或保持一定的速度；盲点监测；自动紧急制动；车道保持；对象检测；避障；换道；车道分配；相机校准；和本地化。为了确定这些自主和半自主系统是否应该自主操作以及在多大程度上应该自主操作，准确了解周围环境对这些系统的影响可能是有益的。然而，传感器感知周围环境的能力可能会受到各种来源的影响，例如天气(如雨、雾、雪、冰雹、烟雾等)、交通状况、传感器堵塞(如，来自垃圾、降水等)或模糊，这可能导致传感器视盲和/或能见距离受损。传感器视盲和/或能见距离受损的潜在原因可能包括雪、雨、眩光、太阳耀斑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于：使用神经网络并至少基于使用一个或更多个图像传感器生成的环境的图像数据，计算表示与所述环境对应的操作域的一个或更多个参数的数据；至少部分地基于所述数据，确定与所述环境对应的本机器的操作级别；以及根据所述操作级别控制所述本机器的操作。2.根据权利要求1所述的处理器，其中所述一个或更多个参数包括以下中的至少一项：相机视盲级别；视盲分类；照明水平；道路表面状况；能见距离；场景类型分类；或到与场景类型分类对应的场景的距离。3.根据权利要求1所述的处理器，包括：一个或更多个电路，用于：使用所述神经网络的主干生成中间数据；基于所述中间数据并使用所述神经网络的至少一个头部计算所述数据的子集，其中所述数据的所述子集表示以下中的至少一个：相机视盲级别；视盲分类；照明水平；道路表面状况；能见距离；场景类型分类；或到与场景类型分类对应的场景的距离。4.根据权利要求3所述的处理器，其中所述至少一个头部包括一个或更多个向下采样层以及随后的一个或更多个向上采样层。5.根据权利要求3所述的处理器，其中所述主干包括一个或更多个卷积层，并且所述中间数据代表一个或更多个特征图。6.根据权利要求3所述的处理器，其中所述至少一个头部包括至少一个全连接层。7.根据权利要求3所述的处理器，其中所述至少一个头部包括sigmoid函数。8.根据权利要求2所述的处理器，其中所述本机器的所述操作级别的确定包括：根据预定义的权重对所述相机视盲级别、所述视盲分类、所述照明水平、所述道路表面状况、所述能见距离、所述场景类型分类或所述到场景的距离中的至少一个进行加权。9.根据权利要求8所述的处理器，其中所述相机视盲级别具有所述预定义的权重中的最高权重。10.根据权利要求1所述的处理器，其中所述操作级别对应于车辆自主级别，所述车辆自主级别包括0级(L0)、1级(L1)、2级(L2)、3级(L3)、4级(L4)或5级(L5)。11.根据权利要求2所述的处理器，其中所述场景类型分类包括隧道、施工区域、收费站
或阻塞的车道中的至少一个。12.根据权利要求1所述的处理器，其中所述数据包括对所述操作级别的确定的基于相机的输入，并且所述操作级别的所述确定还至少部分地基于使用一个或更多个其他传感器模态生成的数据。13.根据权利要求1所述的处理器，其中所述处理器被包括在以下的至少一个中：用于自主或半自主机器的控制...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：辉达公司，
类型：发明
国别省市：