用于运载工具的方法、用于运载工具的系统和存储介质技术方案

本发明专利技术提供用于运载工具的方法、用于运载工具的系统和存储介质，其用于学习以识别自主运载工具的安全苛求场景。接收表示驾驶场景的第一状态的第一状态信息。信息包括运载工具的状态和运载工具的环境中的智能体的状态。利用神经网络处理第一状态信息以确定智能体要进行的包括感知劣化动作的至少一个动作，该感知劣化动作使得运载工具的感知系统对智能体进行误感知。在进行至少一个动作之后接收表示驾驶场景的第二状态的第二状态信息。确定对动作的奖励。确定并比较运载工具和智能体之间的第一距离和第二距离，以确定对至少一个动作的奖励。基于该奖励来调整神经网络的至少一个权重。重。重。

【技术实现步骤摘要】
用于运载工具的方法、用于运载工具的系统和存储介质


[0001]本专利技术涉及用于运载工具的方法、系统和存储介质。

技术介绍

[0002]自主运载工具(AV)的开发包括识别准确捕获在AV的运行包络(operational envelope)之外的感知劣化的场景的挑战。例如，在AV的运行包络的边缘处，可能存在没有在用于控制AV操作的软件中建模的场景。例如，使用所识别的场景来改进AV围绕可能对AV或其(一个或多个)占用者产生安全问题的其它对象的导航。感知劣化的示例是对象闪烁，在对象闪烁中，当AV朝向对象移动时，该对象可能在另一对象后面暂时“消失”。例如，对象闪烁适用于在朝向AV正在操作和/或接近的行驶车辆的小汽车后面步行的行人。

技术实现思路

[0003]一种用于运载工具的方法，包括：使用至少一个处理器，接收表示驾驶场景的第一状态的第一状态信息，所述第一状态信息包括所述运载工具的状态和所述运载工具的环境中的智能体的状态；使用所述至少一个处理器，利用神经网络处理所述第一状态信息以确定所述智能体要进行的至少一个动作，所述至少一个动作包括使得所述运载工具的感知系统对所述智能体进行误感知的感知劣化动作；使用所述至少一个处理器，在所述智能体进行所述至少一个动作之后，接收表示所述驾驶场景的第二状态的第二状态信息；使用所述至少一个处理器，确定对所述至少一个动作的奖励，包括：基于所述第一状态信息来确定处于所述第一状态的所述运载工具和所述智能体之间的第一距离，基于所述第二状态信息来确定处于所述第二状态的所述运载工具和所述智能体之间的第二距离，以及将所述第一距离和所述第二距离进行比较以确定对所述至少一个动作的奖励，其中在所述第二距离与所述第一距离相符的情况下所述奖励更大；以及使用所述至少一个处理器，基于对所述至少一个动作的奖励来调整所述神经网络的至少一个权重。
[0004]一种非暂时性计算机可读存储介质，其包括在由至少一个处理器执行时使所述至少一个处理器进行操作的指令，所述操作包括：接收表示驾驶场景的第一状态的第一状态信息，所述第一状态信息包括运载工具的状态和所述运载工具的环境中的智能体的状态；利用神经网络处理所述第一状态信息以确定所述智能体要进行的至少一个动作，所述至少一个动作包括使得所述运载工具的感知系统对所述智能体进行误感知的感知劣化动作；在所述智能体进行所述至少一个动作之后，接收表示所述驾驶场景的第二状态的第二状态信息；确定对所述至少一个动作的奖励，包括：基于所述第一状态信息来确定处于所述第一状态的所述运载工具和所述智能体之间的第一距离，基于所述第二状态信息来确定处于所述第二状态的所述运载工具和所述智能体之间的第二距离，以及将所述第一距离和所述第二距离进行比较以确定对所述至少一个动作的奖励，其中在所述第二距离小于所述第一距离的情况下所述奖励更大；以及基于对所述至少一个动作的奖励来调整所述神经网络的至少一个权重。
[0005]一种用于运载工具的系统，包括：计算机可读介质，其存储计算机可执行指令，以及至少一个处理器，其通信地耦接到所述计算机可读介质，所述至少一个处理器被配置为执行所述计算机可执行指令以进行操作，所述操作包括：接收表示驾驶场景的第一状态的第一状态信息，所述第一状态信息包括所述运载工具的状态和所述运载工具的环境中的智能体的状态；利用神经网络处理所述第一状态信息以确定所述智能体要进行的至少一个动作，所述至少一个动作包括使得所述运载工具的感知系统对所述智能体进行误感知的感知劣化动作；在所述智能体进行所述至少一个动作之后，接收表示所述驾驶场景的第二状态的第二状态信息；确定对所述至少一个动作的奖励，包括：基于所述第一状态信息来确定处于所述第一状态的所述运载工具和所述智能体之间的第一距离，基于所述第二状态信息来确定处于所述第二状态的所述运载工具和所述智能体之间的第二距离，以及将所述第一距离和所述第二距离进行比较以确定对所述至少一个动作的奖励，其中在所述第二距离小于所述第一距离的情况下所述奖励更大；以及基于对所述至少一个动作的奖励来调整所述神经网络的至少一个权重。
附图说明
[0006]图1是实现包括自主系统的一个或多个组件的运载工具的示例环境；
[0007]图2是包括自主系统的运载工具的一个或多个系统的图；
[0008]图3是图1和图2的一个或多个装置和/或一个或多个系统的组件的图；
[0009]图4A是自主系统的某些组件的图；
[0010]图4B是神经网络的实现的图；
[0011]图4C和图4D是例示CNN的示例操作的图；
[0012]图5是用于学习以识别自主运载工具的安全苛求(safety
‑
critical)场景的处理的实现的图；
[0013]图6是供自主运载工具使用的用于创建或更新场景的场景学习系统的图；以及
[0014]图7是用于学习以识别自主运载工具的安全苛求场景的处理的流程图。
具体实施方式
[0015]在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
[0016]在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、引擎、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。
[0017]此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或更多个其它示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能
存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多个信号路径(例如，总线)。
[0018]尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
[0019]在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于运载工具的方法，包括：使用至少一个处理器，接收表示驾驶场景的第一状态的第一状态信息，所述第一状态信息包括所述运载工具的状态和所述运载工具的环境中的智能体的状态；使用所述至少一个处理器，利用神经网络处理所述第一状态信息以确定所述智能体要进行的至少一个动作，所述至少一个动作包括使得所述运载工具的感知系统对所述智能体进行误感知的感知劣化动作；使用所述至少一个处理器，在所述智能体进行所述至少一个动作之后，接收表示所述驾驶场景的第二状态的第二状态信息；使用所述至少一个处理器，确定对所述至少一个动作的奖励，包括：基于所述第一状态信息来确定处于所述第一状态的所述运载工具和所述智能体之间的第一距离，基于所述第二状态信息来确定处于所述第二状态的所述运载工具和所述智能体之间的第二距离，以及将所述第一距离和所述第二距离进行比较以确定对所述至少一个动作的奖励，其中在所述第二距离与所述第一距离相符的情况下所述奖励更大；以及使用所述至少一个处理器，基于对所述至少一个动作的奖励来调整所述神经网络的至少一个权重。2.根据权利要求1所述的方法，还包括：使用驾驶模型处理所述第一状态信息以确定所述运载工具要进行的至少一个动作，其中所述第二状态信息表示在所述运载工具进行所述至少一个动作之后的所述驾驶场景的第二状态。3.根据权利要求1所述的方法，还包括：确定为处于所述第二状态的所述运载工具和所述智能体之间的第二距离小于阈值距离；以及响应于确定为所述第二距离小于所述阈值距离，基于所述驾驶场景、所述第一状态信息和所述第二状态信息其中至少之一来生成针对驾驶模型的测试。4.根据权利要求1至3中任一项所述的方法，其中，所述神经网络包括长短期记忆即LSTM，以及其中，所述第一状态信息表示所述第一状态和在所述第一状态之前发生的至少一个状态。5.根据权利要求1至4中任一项所述的方法，还包括：响应于包括所述感知劣化动作的所述至少一个动作而减少对所述智能体所进行的未来感知劣化动作的未来奖励。6.根据权利要求1至5中任一项所述的方法，其中，确定对所述至少一个动作的奖励还包括：接收指示在所述驾驶场景的先前执行期间所述运载工具和所述智能体之间的所记录的最低距离的信息；将所述第二距离和针对所述驾驶场景的所记录的最低距离进行比较；以及响应于确定为所述第二距离小于所记录的最低距离而增加对所述至少一个动作的奖励。
7.根据权利要求6所述的方法，还包括：响应于确定为所述第二距离小于所记录的最低距离，在所述至少一个动作之前增加对所述驾驶场景中的所述智能体所进行的各个动作的奖励。8.根据权利要求1至7中任一项所述的方法，其中，确定对所述至少一个动作的奖励还包括：接收指示在所述驾驶场景的先前执行期间处于所述第一状态的所述智能体所采取的先前动作的信息；将所述智能体所进行的所述至少一个动作和所述先前动作进行比较，以确定所述至少一个动作和所述先前动作之间的相异度度量；以及基于所述相异度度量来确定所述奖励，其中，在所述相异度度量指示在所述至少一个动作和所述先前动作之间存在较大相异度的情况下所述奖励更大。9.根据权利要求1至8中任一项所述的方法，其中，确定对所述至少一个动作的奖励还包括：确定在处于所述第一状态的所述智能体和所述运载工具的遮挡点之间的第一遮挡距离；确定在处于所述第二状态的所述智能体和所述运载工具的遮挡点之间的第二遮挡距离；以及将所述第一遮挡距离和所述第二遮挡距离进行比较以确定对所述至少一个动作的奖励，其中，在所述第二遮挡距离小于所述第一遮挡距离的情况下所述奖励更大。10.根据权利要求1至9中任一项所述的方法，其中，所述感知劣化动作包括所述运载工具的感知系统对所述智能体的遗漏感知、所述运载工具的感知系统对所述智能体的误分类、或所述运载工具的感知系统对所述智能体的一个或多个特征的误表征。11.一种非暂时性计算机可读存储介质，其包括在由至少一个处理器执行时使所述至少一个处理器进行操作的指令，所述操作包括：接收表示驾驶场景的第一状态的第一状态信息，所述第一状态信息包括运载工具的状态和所述运载工具的环境中的智能体的状态；利用神经网络处理所述第一状态信息以确定所述智能体要进行的至少一个动作，所述至少一个动作包括使得所述运载工具的感知系统对所述智能体进行误感知的感知劣化动作；在所述智能体进行所述至少一个动作之后，接收表示所述驾驶场景的第二状态的第二状态信息；确定对所述至少一个动作的奖励，包括：基于所述第一状态信息来确定处于所述第一状态的所述运载工具和所述智能体之间的第一距离，基于所述第二状态信息来确定处于所述第二状态的...

【专利技术属性】
技术研发人员：詹姆斯，
申请(专利权)人：动态AD有限责任公司，
类型：发明
国别省市：