递归神经网络中的运动补偿和细化制造技术

本公开涉及递归神经网络中的运动补偿和细化。一种用于跟踪载具的环境中的信息的运动的由计算机实现的方法，所述方法包括：在多个时间步内获取关于载具的空间环境的基于传感器的数据，所述基于传感器的数据定义了所述空间环境的相应空间分辨小区中的信息；对于所述多个时间步中的各时间步，将所述基于传感器的数据输入到具有一个或更多个内部记忆状态的递归神经网络RNN中；通过使用分别描述基于传感器的数据的相应空间分辨小区的信息的运动的速度和/或方向的运动图，针对多个时间步的各时间步，变换RNN的一个或更多个内部状态；以及针对多个时间步中的各时间步，在RNN的处理中使用经变换的内部状态来跟踪运动的所述载具的环境中的信息的运动。具的环境中的信息的运动。具的环境中的信息的运动。

【技术实现步骤摘要】
递归神经网络中的运动补偿和细化


[0001]本公开涉及用于跟踪载具的环境中的信息的运动的装置、方法和计算机程序。该装置可以设置在载具中，从而可以跟踪与载具的环境中的对象或障碍物相关的信息的运动。

技术介绍

[0002]跟踪关于载具的空间环境中的对象的信息是自主驾驶的重要功能。
[0003]传感器，例如一个或更多个摄像头、雷达和/或激光雷达传感器，通常用于监测和获取载具的环境的传感器数据。可以将传感器数据输入到为将环境信息分配给对象或障碍物而开发的算法中，并且随着时间跟踪该信息，例如以确定另一对象或障碍物是否在与载具的碰撞路线上。这种算法的例子涉及神经网络，例如卷积神经网络(CNN)或递归神经网络(RNN)。

技术实现思路

[0004]技术问题
[0005]在可以被训练以在空间环境中随时间分配和跟踪信息的神经网络系统中，考虑信息随时间在空间中的运动是重要的。我们考虑这样的情况，其中信息是在网格上空间离散化的，例如在极坐标网格或笛卡尔网格中。
[0006]在序列中的多个时间步上在神经网络中收集信息的常见方式是使用递归神经网络(RNN)，尤其是长短期记忆LSTM(参见例如Hochreiter et al.:“Long short
‑
term memory”,Neural computation,9(8),1735
‑
1780,1997)。已经开发出这样的RNN来解决当误差信号或损失函数通过从短期上下文中学习而从神经网络的输出向后传播到输入时误差信号变得越来越小的问题。这种基于RNN的网络也被预定用于自主驾驶，因为驾驶将涉及载具在驾驶期间可以学习和存储的大量短期关系。
[0007]近年来已经建立了卷积LSTM(ConvLSTM)以处理空间分辨的数据(例如Xingjian et al.“Convolutional LSTM network:A machine learning approach for precipitation nowcasting”,In:Advances in neural information processing systems,pp.802
‑
810,2015)。LSTM可以具有两个内部状态，所谓的细胞状态，其负责保持长期时间信息；和所谓的隐藏状态，其对应于LSTM的输出。这两个内部状态还累积来自过去的信息。在卷积LSTM的情况下，这些内部状态以及输入具有二维空间图的形状，可能具有几个通道。
[0008]在此上下文中，应确定来自不同时间步的空间图是否表示来自不同现实世界空间位置的快照。该问题例如在由运动摄像头获取的图像或来自安装在运动载具上的雷达或激光雷达的鸟瞰图快照的情况下发生。在这种情况下，在一个时间步收集或获取的空间信息不一定与在一个或更多个先前时间步收集或获取的信息在空间上匹配。累积这些不匹配的空间图导致LSTM的拖尾的内部状态，其不再对应于单个现实世界空间位置。
[0009]LSTM的各个输入可以被看作是一些现实世界位置的快照，具有对应于该位置的坐标系。在该快照中，可以通过使其不同于周围的特有特征来识别在其当前位置处的对象。如果我们在同一位置执行多个快照并且对象不运动，则它们将在重叠快照之后在所有快照中具有相同的位置。然而，如果对象或传感器在快照记录期间运动，则对象在快照中的位置或者甚至与快照相关联的坐标系改变。然后，在重叠快照之后，可以在对应于其轨迹或传感器的轨迹的所有位置处看到对象，我们将该效应称为拖尾。由于ConvLSTM只是以顺序的方式将重叠的快照合并到内部状态中，这种拖尾也出现在那些状态中。
[0010]从这种拖尾的且未空间对准的隐藏状态学习使得神经网络非常难以收集属于小区的信息并将该信息与不对应于该小区的那些信息分离。因此，检测系统的整体性能将降低。
[0011]在Jaderberg et al.:“Spatial transformer networks”.In:Advances in neural information processing systems,pp.2017
‑
2025,2015中提出的空间变换器网络目的是将特征图变换到不同的坐标系。然而，该变换不是基于实际传感器或对象运动，而是基于学习的，并且通常属于变换的简单类(例如，仿射变换类)。此外，该机制不与RNN网络组件集成。
[0012]根据Patraucean et al.:“Spatio
‑
temporal video autoencoder with differentiable memory”.arXiv preprint arXiv:1511.06309(2015)的另一种方案使用LSTM小区来产生光流(其可用于将快照从一个时间步运动到下一个时间步)以预测下一视频帧，但流入此LSTM的内部状态的信息仍不与此内部状态在空间上对准。
[0013]在Nilsson et al.:“Semantic video segmentation by gated recurrent flow propagation”,Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,pp.6819
‑
6828,2018中进一步解决了该问题。这里，使用光流将门控递归单元(GRU)RNN单元的隐藏状态转换到当前坐标系中。因此，隐藏状态在各个时间步中与当前坐标系对准。然而，光流通常仅是图像值(例如RGB值)在后续时间步之间的映射，并且没有考虑速度信息。
[0014]因此，需要克服与在载具的环境中分配和跟踪运动信息相关的技术限制。
[0015]技术方案
[0016]总的方面解决了上述技术问题。附加的方面描述了另外的优选实施方式。由此，可以有利地确定与载具的环境中的对象，特别是非静止对象相关的信息的运动。
[0017]根据第一个方面，一种用于跟踪载具的环境中的信息的运动的由计算机实现的方法，所述方法包括以下步骤：在多个时间步内获取关于所述载具的空间环境的基于传感器的数据，所述基于传感器的数据定义所述空间环境的相应空间分辨小区中的信息；针对所述多个时间步中的各时间步，将所述基于传感器的数据输入到具有一个或更多个内部记忆状态的递归神经网络RNN中；针对所述多个时间步中的各时间步，通过使用运动图来变换所述RNN的所述一个或更多个内部状态，所述运动图分别描述所述基于传感器的数据的相应空间分辨小区的信息的运动的速度和/或方向；以及针对所述多个时间步中的各时间步，在RNN的处理中使用经变换的内部状态来跟踪运动的所述载具的环境中的信息的运动。
[0018]根据第二方面，所述运动图包括传感器运动补偿和对象运动补偿。
[0019]根据第三方面，所述运动图用于对所述RNN的内部状态进行变换，以匹配各时间步
处的关于所述载具的空间环境本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于跟踪载具的环境中的信息的运动的由计算机实现的方法，所述方法包括以下步骤：在多个时间步内获取(S1)关于所述载具的空间环境的基于传感器的数据，所述基于传感器的数据定义所述空间环境的相应空间分辨小区中的信息；针对所述多个时间步中的各时间步，将所述基于传感器的数据输入(S2)到具有一个或更多个内部记忆状态的递归神经网络RNN中；针对所述多个时间步中的各时间步，通过使用运动图来变换(S3)所述RNN的所述一个或更多个内部状态，所述运动图分别描述所述基于传感器的数据的相应空间分辨小区的信息的运动的速度和/或方向；以及针对所述多个时间步中的各时间步，在RNN的处理中使用(S4)经变换的内部状态来跟踪运动的所述载具的环境中的信息的运动。2.根据权利要求1所述的由计算机实现的方法，其中，所述运动图包括传感器运动补偿和对象运动补偿。3.根据权利要求1至2中任一项所述的由计算机实现的方法，其中，所述运动图用于对所述RNN的内部状态进行变换，以匹配各时间步处的关于所述载具的空间环境的对应的基于传感器的数据。4.根据权利要求1至3中任一项所述的由计算机实现的方法，其中，在特定时间步处的所述运动图是基于先前时间步的内部状态和所述特定时间步的所输入的基于传感器的数据得到的。5.根据权利要求1至4中任一项所述的由计算机实现的方法，其中，所述变换是通过首先变换所述RNN的由于传感器运动引起的内部状态然后使用经变换的内部状态来创建对象运动图来执行的。6.根据权利要求5所述的由计算机实现的方法，其中，所创建的对象运动图被用于进一步变换所述经变换的内部状态。7.根据权利要求1至6中任一项所述的由计算机实现的方法，所述方法还包括在所输入的基于传感器的数据和内部状态中区分运动对象和静止对象的步骤。8.根据权利要求7所述的由计算机实现的方法，其中，所述对象运动补偿仅针对所述运动...

【专利技术属性】
技术研发人员：I，
申请(专利权)人：APTIV技术有限公司，
类型：发明
国别省市：