用于自主运载工具的基于深度学习的光束控制制造技术

本发明专利技术提供用于自主运载工具的基于深度学习的光束控制。提供了用于基于深度学习的光束控制的系统和方法。获得与环境相关联的传感器数据和来自感知系统的相应检测对象。提取对象特征和图像特征。将提取的对象特征和图像特征融合成融合特征。根据融合特征预测光束控制状态，其中光束控制状态指示发光装置的远光照明强度或近光照明强度。明强度或近光照明强度。明强度或近光照明强度。

【技术实现步骤摘要】
用于自主运载工具的基于深度学习的光束控制


[0001]本专利技术涉及用于自主运载工具的基于深度学习的光束控制。

技术介绍

[0002]运载工具通常包括一个或多于一个发光装置以对运载工具的内部或外部进行照明。例如，内部发光装置提供对运载工具内部进行照明的光照，从而增加运载工具内部的可见性。诸如前照灯等的外部发光装置提供对运载工具周围环境进行照明的光照。特别地，前照灯对运载工具前方的区域进行照明。由自主运载工具对光发射的控制是自主运载工具安全地导航环境的必要能力。

技术实现思路

[0003]一种系统，包括：至少一个处理器；以及至少一个存储器，其上存储有指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器进行以下操作：使用对象特征网络从感知系统输出中提取对象特征以识别环境中的对象，其中，所述对象特征网络输出表征与光束控制状态相关的对象信息的对象特征，以及其中，所述对象特征包括至少与地点和分类数据相关联的数据，所述地点和分类数据与至少一个对象相关联，使用图像特征网络从传感器数据中提取图像特征以识别环境照明信息，其中，所述图像特征网络输出表征与所述光束控制状态相关的所述环境照明信息的图像特征，使用特征融合网络将所述对象特征和所述图像特征融合成融合特征，所述特征融合网络将所述对象特征和所述图像特征作为输入并且输出融合特征，以及根据所述融合特征来预测光束控制状态，其中，所述光束控制状态指示发光装置的远光照明强度或近光照明强度；以及控制电路，其通信地耦接到所述至少一个处理器，其中，所述控制电路被配置为基于所述光束控制状态来操作所述发光装置。
[0004]一种方法，包括：使用至少一个处理器，使用对象特征网络从感知系统输出中提取对象特征以识别环境中的对象，其中，所述对象特征网络输出表征与光束控制状态相关的对象信息的对象特征，以及其中，所述对象特征包括至少与地点和分类数据相关联的数据，所述地点和分类数据与至少一个对象相关联；使用所述至少一个处理器，使用图像特征网络从传感器数据中提取图像特征以识别环境照明信息，其中，所述图像特征网络输出表征与所述光束控制状态相关的所述环境照明信息的图像特征；使用所述至少一个处理器，使用特征融合网络将所述对象特征和所述图像特征融合成融合特征，所述特征融合网络将所述对象特征和所述图像特征作为输入并且输出融合特征；使用所述至少一个处理器，根据所述融合特征来预测所述光束控制状态，其中，所述光束控制状态指示发光装置的远光照明强度或近光照明强度；以及使用所述至少一个处理器，基于所述光束控制状态来操作所述发光装置。
[0005]一种存储有指令的非暂时性计算机程序产品，所述指令在由运载工具的至少一个可编程处理器执行时使所述至少一个可编程处理器进行操作，所述操作包括：使用对象特
征网络从感知系统输出中提取对象特征以识别环境中的对象，其中，所述对象特征网络输出表征与光束控制状态相关的对象信息的对象特征，以及其中，所述对象特征包括至少与地点和分类数据相关联的数据，所述地点和分类数据与至少一个对象相关联；使用图像特征网络从传感器数据中提取图像特征以识别环境照明信息，其中，所述图像特征网络输出表征与所述光束控制状态相关的所述环境照明信息的图像特征；使用特征融合网络将所述对象特征和所述图像特征融合成融合特征，所述特征融合网络将所述对象特征和所述图像特征作为输入并且输出融合特征；根据所述融合特征来预测所述光束控制状态，其中，所述光束控制状态指示发光装置的远光照明强度或近光照明强度；以及基于所述光束控制状态来操作所述发光装置。
附图说明
[0006]图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境；
[0007]图2是包括自主系统的运载工具的一个或多于一个系统的图；
[0008]图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图；
[0009]图4A是自主系统的某些组件的图；
[0010]图4B是神经网络的实现的图；
[0011]图4C和图4D是例示CNN的示例操作的图；
[0012]图5是用于基于深度学习的光束控制系统的处理的实现的图；以及
[0013]图6是光束照明强度控制系统的图；以及
[0014]图7是光束控制网络的图；
[0015]图8是用于训练和部署光束控制网络的系统的框图；
[0016]图9是感知模型的框图；以及
[0017]图10是用于基于深度学习的光束控制系统的处理的框图。
具体实施方式
[0018]在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
[0019]在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。
[0020]此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其它示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多
个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
[0021]尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
[0022]在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统，包括：至少一个处理器；以及至少一个存储器，其上存储有指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器进行以下操作：使用对象特征网络从感知系统输出中提取对象特征以识别环境中的对象，其中，所述对象特征网络输出表征与光束控制状态相关的对象信息的对象特征，以及其中，所述对象特征包括至少与地点和分类数据相关联的数据，所述地点和分类数据与至少一个对象相关联，使用图像特征网络从传感器数据中提取图像特征以识别环境照明信息，其中，所述图像特征网络输出表征与所述光束控制状态相关的所述环境照明信息的图像特征，使用特征融合网络将所述对象特征和所述图像特征融合成融合特征，所述特征融合网络将所述对象特征和所述图像特征作为输入并且输出融合特征，以及根据所述融合特征来预测光束控制状态，其中，所述光束控制状态指示发光装置的远光照明强度或近光照明强度；以及控制电路，其通信地耦接到所述至少一个处理器，其中，所述控制电路被配置为基于所述光束控制状态来操作所述发光装置。2.根据权利要求1所述的系统，其中，所述至少一个处理器通过将多层感知器应用于所连结的对象特征和图像特征来融合所述对象特征和所述图像特征。3.根据权利要求1或2所述的系统，其中，所述对象特征网络是使用与手动驾驶相关联的数据和由所述感知系统生成的至少一个相应输出来训练的。4.根据权利要求1至3中任一项所述的系统，其中，所述图像特征网络是使用与手动驾驶相关联的数据和由图像传感器生成的至少一个相应图像传感器输出来训练的。5.根据权利要求1至4中任一项所述的系统，其中，所述对象特征网络、所述图像特征网络和所述特征融合网络在影子模式期间被重新训练以满足预定安全置信水平。6.根据权利要求1至5中任一项所述的系统，其中，存储在所述存储器中的所述指令还使所述至少一个处理器进行以下操作：确定融合特征的预测光束控制状态与相应手动驾驶数据样本之间的不匹配；响应于所述预测光束控制状态与所述相应手动驾驶数据样本之间的不匹配，将所述融合特征识别为冲突样本；以及基于所述冲突样本来微调所述对象特征网络、所述图像特征网络、所述融合特征网络或这三者的任何组合。7.一种方法，包括：使用至少一个处理器，使用对象特征网络从感知系统输出中提取对象特征以识别环境中的对象，其中，所述对象特征网络输出表征与光束控制状态相关的对象信息的对象特征，以及其中，所述对象特征包括至少与地点和分类数据相关联的数据，所述地点和分类数据与至少一个对象相关联；使用所述至少一个处理器，使用图像特征网络从传感器数据中提取图像特征以识别环境照明信息，其中，所述图像特征网络输出表征与所述光束控制状态相关的所述环境照明信息的图像特征；
使用所述至少一个处理器，使用特征融合网络将所述对象特征和所述图像特征融合成融合特征，所述特征融合网络将所述对象特征和所述图像特征作为输入并且输出融合特征；使用所述至少一个处理器，根据所述融合特征来预测所述光束控制状态，其中，所述光束控制状态指示发光装置的远光照明强度或近光照明强度；以及使用所述至少一个处理器，基于所述光束控制状态来操作所述发光装置。8.根据权利要求7所述的方法，其中，将所述对象特征和所述图像特征融合成融合特征包括将多...

【专利技术属性】
技术研发人员：周禄兵，孟小利，K，
申请(专利权)人：动态AD有限责任公司，
类型：发明
国别省市：