用于预测交通场景的未来发展的计算机实现的系统和方法技术方案

本发明专利技术提出了一种用于预测交通场景（10）的未来发展的计算机实现的系统（100），借此可以实现预测的重大意义并且可以限制该预测的计算花费。为此，所述系统包括：a.感知层（110），用于聚合入口场景的特定于场景的信息；b.骨干网络（120），用于基于所述特定于场景的信息来生成潜在特征的特征集（130）；c.分类器（140），所述分类器基于所述特征集（130）来评价用于所述入口场景的未来发展的指定数量的不同模式；以及d.对于每个模式来说，有预测模块（161

【技术实现步骤摘要】
用于预测交通场景的未来发展的计算机实现的系统和方法


[0001]本专利技术涉及一种用于预测交通场景的未来发展的计算机实现的系统以及方法。

技术介绍

[0002]对交通场景的未来发展的预测可以在静止应用的框架内使用，诸如在固定安装的交通控制系统中，该交通控制系统监控在所限定的空间区域内的交通状况。接着，这种交通控制系统可以基于该预测已经及早地提供相对应的信息以及必要时也提供驾驶建议，以便控制在监控区域内以及在其周围的交通流。
[0003]这里谈到的用于预测交通场景的未来发展的计算机实现的系统和方法的另一重要应用领域是移动应用，诸如具有辅助功能的车辆。这样，自动化车辆不仅必须检测这些车辆当前处在何种交通状况下，而且必须预测该交通状况如何发展，以便能够计划安全且易于理解的机动。
[0004]经典的预测方法通常执行基于运动学/动力学的预测。这些方法所提供的预测大多只在很短的时间内有用，例如不到2s。出于该原因，近年来，使用机器学习、尤其是深度学习（Deep Learning，DL）已成为预测的事实标准。在此，为了表示交通场景，通常使用二元或颜色编码的自上而下网格、图表示和/或激光雷达反射。通常预测所涉及的交通成员、即车辆、骑自行车的人、行人等等的未来轨迹，作为对交通场景的未来发展的预测。
[0005]已知多模态预测，其中针对每个交通成员预测多个特定于模式的轨迹。在此，每条轨迹都代表相应交通成员的可能的未来行为方式，但是没有考虑其余交通成员的行为方式。因此，在这种情况下也没有考虑在这些交通成员之间的可能出现的交互。即，这种多模态预测完全忽略了入口场景的发展。这在几个方面被证实是有问题。这样，计算花费非常高并且部分是不必要的，原因在于对于每个交通成员来说通常也计算与其他交通成员的轨迹不兼容的轨迹。此外，这种预测只是在有限范围内有效力并且例如最多只能有限地被用于自动化车辆的计划组件。

技术实现思路

[0006]本专利技术提出了如下措施，通过这些措施实现了预测的重大意义。此外，用于该预测的计算花费可以借助于所提出的措施来合理地被限制。
[0007]本专利技术的实质和优点按照本专利技术，这借助于用于预测交通场景的未来发展的计算机实现的系统来实现，该系统至少包括如下组件：
•ꢀ
感知层，用于聚合入口场景的特定于场景的信息；
•ꢀ
骨干网络，用于基于特定于场景的信息来生成潜在特征的特征集；
•ꢀ
分类器，该分类器基于该特征集来评价用于该入口场景的未来发展的指定数量的不同模式；以及
•ꢀ
对于每个模式来说，有预测模块，用于生成针对该入口场景的未来发展的预测，
其中至少一个预测模块能选择性地被激活。
[0008]因此，按照本专利技术的系统具有多级架构。在第一级，该入口场景依据特征集来表征，该特征集是基于特定于场景的信息来获得的——感知层与骨干网络相结合。在第二级，关于该入口场景的未来发展的不确定性被评估，其方式是基于该特征集来评价用于该入口场景的未来发展的不同模式——分类器。第三级包括被分配给各个模式的能选择性地激活的预测模块。在激活时，这些预测模块中的每个预测模块分别只为该入口场景的每个交通成员提供单个轨迹或者一组相似轨迹作为预测，其中这些相似轨迹接着基于用于该入口场景的发展的共同意图。在此，轨迹可以以确定性或概率性的形式或者以样本形式来描述。
[0009]借助于该多级架构，可以非常容易标识各个模式，这些模式表示入口场景的“合理的”发展，即满足指定的选择标准。如果接着仅激活相对应的预测模块，则只生成针对该入口场景的合理发展的预测。这大大有助于该预测的重要性。此外，计算花费借此可以容易被保持在限度内。
[0010]因此，按照本专利技术的系统提供多模态预测，该多模态预测不是——像从现有技术中公知的多模态预测那样——涉及该入口场景的每个单独的交通成员的所有可能的未来行为方式，而是涉及用于该入口场景整个的发展的多个不同模式。
[0011]上述按照本专利技术的设计也基于所要求保护的用于预测交通场景的未来发展的计算机实现的方法，该方法至少包括如下步骤：
•ꢀ
聚合入口场景的特定于场景的信息；
•ꢀ
借助于骨干网络，基于特定于场景的信息来生成潜在特征的至少一个特征集；
•ꢀ
借助于分类器，基于该特征集来评价用于该入口场景的未来发展的指定数量的不同模式；
•ꢀ
基于该分类器的评价来选择至少一个模式并且激活至少一个被分配给所选择的模式的预测模块；而且
•ꢀ
借助于至少一个被激活的预测模块，生成针对该入口场景的未来发展的预测。
[0012]如已经提及的那样，按照本专利技术的系统的能选择性地激活的预测模块有利地根据由分类器进行的对所分配的模式的评价来激活。分类器例如可能会进行对各个模式的二元评价，就“合理发展”或“排他性发展”而言。替代地，分类器也可以针对每个模式给予归一化的或非归一化的分数。在这种情况下，可能会根据阈值或者当指定固定数量的待激活预测模块时也通过比较或评级来做出关于激活所分配的预测模块的决策。
[0013]原则上，按照本专利技术的计算机实现的系统包括用于至少两个不同模式的至少两个预测模块，即针对每个模式包括各一个预测模块。预测模块可以是相同类型的预测模块或者也可以是不同类型的预测模块，只要每个预测模块针对入口场景中的每个交通成员提供用于该入口场景的所有交通成员的意图的特定组合的轨迹预测即可。分类器独立于所分配的预测模块的类型地评价这些不同模式。也独立于类型地激活各个预测模块。
[0014]在一个优选的变体中，按照本专利技术的计算机实现的系统包括至少一个预测模块，该预测模块以场景锚网络（SAN）的形式来实现并且在该激活的情况下基于由骨干网络所提供的特征集来生成针对入口场景的未来发展的预测。有利地，这种SAN与该系统的其它组件一起被训练，例如与骨干网络和/或分类器一起被训练，以便关于该系统的预期应用来优化该预测。
[0015]特别有利的是：按照本专利技术的系统架构也能够实现基于模型的预测模块和/或以被预先训练的预测网络为形式的预测模块的集成。这些预测模块通常将无法使用由骨干网络提供的特征集来进行该预测。作为替代，这些预测模块可以动用感知层并且基于特定于场景的信息来生成预测。有利地，使用基于模型的预测模块可以有助于限制该预测的计算花费。
[0016]按照本专利技术的系统包括感知层，用于聚合入口场景的特定于场景的信息。有利地，这些特定于场景的信息包括关于入口场景的语义信息，尤其是地图信息。这些语义信息不仅可以在本地被提供，例如由本地存储单元来提供，或者也可以能集中调用，例如经由云。此外，这些特定于场景的信息有利地包括关于入口场景中的交通成员的信息。在此，令人特别感兴趣的是关于各个交通成员的当前运动状态和/或所走过的轨迹的信息。此类信息可以由传感器系统来检测和提供，这些传感器系统例如包括传感器，如视频、激光雷达和雷达，或者也包括GPS（全球定位系统（Global Po本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于预测交通场景（10）的未来发展的计算机实现的系统（100），所述系统至少包括：a. 感知层（110），用于聚合入口场景的特定于场景的信息；b. 骨干网络（120），用于基于所述特定于场景的信息来生成潜在特征的特征集（130）；c. 分类器（140），所述分类器基于所述特征集（130）来评价用于所述入口场景的未来发展的指定数量的不同模式；以及d. 对于每个模式来说，有预测模块（161
‑
164；170），用于生成针对所述入口场景的未来发展的预测，其中至少一个预测模块（161
‑
164；170）能选择性地被激活。2.根据权利要求1所述的计算机实现的系统，其特征在于，对所述至少一个预测模块（161
‑
164；170）的激活取决于由所述分类器进行的对所分配的模式的评价。3.根据权利要求1或2中任一项所述的计算机实现的系统，其特征在于，用于至少一个第一模式的至少一个第一预测模块（161
‑
164）以场景锚网络（SAN）的形式来实现，所述第一预测模块基于所述特征集来生成针对所述入口场景的未来发展的预测。4.根据权利要求1至3中任一项所述的计算机实现的系统，其特征在于，用于至少一个另外的模式的至少一个另外的预测模块（170）以预先训练的预测网络的形式或者以基于模型的预测模块的形式来实现；而且所述另外的预测模块（170）基于所述特定于场景的信息来生成针对所述入口场景的未来发展的预测。5.根据权利要求1至4中任一项所述的计算机实现的系统，其特征在于，所述感知层（110）将关于所述入口场景的语义信息、尤其是地图信息和/或关于在所述入口场景中的交通成员的信息、尤其是关于所述交通成员的当前运动状态和/或所走过的轨迹的信息聚合，作为特定于场景的信息；而且所述感知层（110）将所述特定于场景的信息转变成能由所述骨干网络（120）处理的数据表示（111）和/或转变成能由预先训练的预测网络处理的数据表示。6.根据权利要求5所述的计算机实现的系统，其特征在于，所述特定于场景的信息被转变成图表示（111）或者网格表示或者体素网格表示；而且所述骨干网络（120）和/或所述预先训练的预测网络相对应地以图神经网络（GNN）的形式或者以卷积神经网络（CNN）的形式来实现。7.根据权利要求1至6中任一项所述...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：罗伯特，
类型：发明
国别省市：