基于特征交互的障碍物行为预测方法及自动驾驶车辆技术

本公开提供了一种基于特征交互的障碍物行为预测方法及自动驾驶车辆，涉及人工智能技术领域，具体为深度学习、图像处理和计算机视觉技术领域，可应用于自动驾驶领域。该方法的一具体实施方式包括：获取车辆周边的障碍物与驾驶环境信息；从障碍物与驾驶环境信息中提取障碍物特征和驾驶环境特征；对障碍物特征和驾驶环境特征进行特征交互，得到交互特征；将交互特征输入至解码器进行运动预测，得到车辆周边的障碍物的未来行为状态。该实施方式增强交互的表达能力，进而提升预测精度。进而提升预测精度。进而提升预测精度。

【技术实现步骤摘要】
基于特征交互的障碍物行为预测方法及自动驾驶车辆


[0001]本公开涉及人工智能
，具体为深度学习、图像处理和计算机视觉
，可应用于自动驾驶领域。

技术介绍

[0002]准确地预测障碍物的未来行为状态对于自动驾驶车辆的安全、舒适和高效的运营至关重要。预测未来行为状态需要理解自动驾驶车辆周边多重静态和动态信息，包括但不限于道路拓扑、动态的交通信号灯信息，以及障碍物的历史运动信息等等。
[0003]目前，障碍物行为预测方式通常是利用深度学习模型对自动驾驶车辆周边多重静态和动态信息分别进行处理，再基于各自的处理结果预测障碍物的未来行为状态。

技术实现思路

[0004]本公开实施例提出了一种基于特征交互的障碍物行为预测方法、装置、设备、存储介质、程序产品及自动驾驶车辆。
[0005]第一方面，本公开实施例提出了一种基于特征交互的障碍物行为预测方法，包括：获取车辆周边的障碍物与驾驶环境信息；从障碍物与驾驶环境信息中提取障碍物特征和驾驶环境特征；对障碍物特征和驾驶环境特征进行特征交互，得到交互特征；将交互特征输入至解码器进行运动预测，得到车辆周边的障碍物的未来行为状态；其中，障碍物与驾驶环境信息包括车辆的周边感知信息和周边地图信息，驾驶环境特征包括停止线特征和道路特征；以及从障碍物与驾驶环境信息中提取障碍物特征和驾驶环境特征，包括：从周边感知信息中提取障碍物特征和停止线特征，以及从周边地图信息中提取道路特征。
[0006]第二方面，本公开实施例提出了一种基于特征交互的障碍物行为预测装置，包括：获取模块，被配置成获取车辆周边的障碍物与驾驶环境信息；提取模块，被配置成从障碍物与驾驶环境信息中提取障碍物特征和驾驶环境特征；交互模块，被配置成对障碍物特征和驾驶环境特征进行特征交互，得到交互特征；预测模块，被配置成将交互特征输入至解码器进行运动预测，得到车辆周边的障碍物的未来行为状态；其中，障碍物与驾驶环境信息包括车辆的周边感知信息和周边地图信息，驾驶环境特征包括停止线特征和道路特征；以及提取模块进一步被配置成：从周边感知信息中提取障碍物特征和停止线特征，以及从周边地图信息中提取道路特征。
[0007]第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
[0008]第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
[0009]第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程
序在被处理器执行时实现如第一方面中任一实现方式描述的方法。
[0010]第六方面，本公开实施例提出了一种自动驾驶车辆，包括如第三方面中任一实现方式描述的电子设备。
[0011]本公开实施例提供的基于特征交互的障碍物行为预测方法，先将障碍物特征与驾驶环境特征进行特征交互，再基于交互特征进行运动预测。通过特征交互，使得交互特征中包含障碍物与驾驶环境之间的关联，增强交互的表达能力，进而提升预测精度。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1是根据本公开的基于特征交互的障碍物行为预测方法的一个实施例的流程图；
[0015]图2是根据本公开的基于特征交互的障碍物行为预测方法的又一个实施例的流程图；
[0016]图3是根据本公开的基于特征交互的障碍物行为预测方法的另一个实施例的流程图；
[0017]图4是根据本公开的基于特征交互的障碍物行为预测方法的再一个实施例的流程图；
[0018]图5是特征嵌入的网络结构图；
[0019]图6是多层级特征交互的网络结构图；
[0020]图7是根据本公开的基于特征交互的障碍物行为预测装置的一个实施例的结构示意图；
[0021]图8是用来实现本公开实施例的基于特征交互的障碍物行为预测方法的电子设备的框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0024]图1示出了根据本公开的基于特征交互的障碍物行为预测方法的一个实施例的流程100。该基于特征交互的障碍物行为预测方法包括以下步骤：
[0025]步骤101，获取车辆周边的障碍物与驾驶环境信息。
[0026]在本实施例中，基于特征交互的障碍物行为预测方法的执行主体可以获取车辆周
边的障碍物与驾驶环境信息。
[0027]通常，自动驾驶车辆安装有车载传感器。在车辆行驶过程中，通过车载传感器对车辆周围进行感知，得到障碍物与驾驶环境信息。其中，车载传感器可以包括但不限于与摄像头、毫米波雷达、激光雷达等。障碍物与驾驶环境信息可以包括但不限于图像数据、视频数据、点云数据等等。障碍物通常是指车辆周边的动态障碍物，如机动车、非机动车、行人等交通参与者。驾驶环境通常包含道路拓扑、交通信号灯、停止线等等。
[0028]步骤102，从障碍物与驾驶环境信息中提取障碍物特征和驾驶环境特征。
[0029]在本实施例中，上述执行主体可以从障碍物与驾驶环境信息中提取障碍物特征和驾驶环境特征。
[0030]通常，将障碍物与驾驶环境信息输入至CNN(Convolutional Neural Networks，卷积神经网络)，可以提取得到障碍物特征和驾驶环境特征。其中，CNN的卷积核作为CNN的核心，使CNN能够通过融合每一层的局部感受野内的空间和通道信息来构建信息特征。卷积神经网络由一系列卷积层、非线性层和下采样层构成，这样能够从理论全局感受野上去捕获图像的特征来进行图像的描述。障碍物特征可以表达障碍物信息。驾驶环境特征可以表达驾驶环境信息。障碍物特征和驾驶环境特征通常以特征图的形式呈现。
[0031]步骤103，对障碍物特征和驾驶环境特征进行特征交互，得到交互特征。
[0032]在本实施例中，上述执行主体可以对障碍物特征和驾驶环境特征进行特征交互，得到交互特征。...

【技术保护点】

【技术特征摘要】
1.一种基于特征交互的障碍物行为预测方法，包括获取车辆周边的障碍物与驾驶环境信息；从所述障碍物与驾驶环境信息中提取障碍物特征和驾驶环境特征；对所述障碍物特征和所述驾驶环境特征进行特征交互，得到交互特征；将所述交互特征输入至解码器进行运动预测，得到所述车辆周边的障碍物的未来行为状态；其中，所述障碍物与驾驶环境信息包括所述车辆的周边感知信息和周边地图信息，所述驾驶环境特征包括停止线特征和道路特征；以及所述从所述障碍物与驾驶环境信息中提取障碍物特征和驾驶环境特征，包括：从所述周边感知信息中提取所述障碍物特征和所述停止线特征，以及从所述周边地图信息中提取所述道路特征。2.根据权利要求1所述的方法，其中，所述对所述障碍物特征和所述驾驶环境特征进行特征交互，得到交互特征，包括：将所述障碍物特征和所述驾驶环境特征输入至编码器进行多层级特征交互，得到所述交互特征。3.根据权利要求2所述的方法，其中，所述将所述障碍物特征和所述驾驶环境特征输入至编码器进行多层级特征交互，得到所述交互特征，包括：对所述障碍物特征、所述停止线特征和所述道路特征进行特征嵌入，得到障碍物嵌入特征和道路嵌入特征；采用注意力机制对所述障碍物嵌入特征和所述道路嵌入特征进行多层级特征交互，得到所述交互特征。4.根据权利要求3所述的方法，其中，所述对所述障碍物特征、所述停止线特征和所述道路特征进行特征嵌入，得到障碍物嵌入特征和道路嵌入特征，包括：将所述障碍物特征、所述停止线特征和所述道路特征分别输入至对应的卷积层，得到障碍物中间特征、停止线中间特征和道路中间特征；将所述障碍物中间特征与所述停止线中间特征进行拼接，得到障碍物嵌入特征，以及将所述道路中间特征作为所述道路嵌入特征。5.根据权利要求4所述的方法，其中，所述卷积层的数量与所述卷积层的输入特征的维度成正比。6.根据权利要求5所述的方法，其中，所述将所述障碍物特征、所述停止线特征和所述道路特征分别输入至对应的卷积层，得到障碍物中间特征、停止线中间特征和道路中间特征，包括：将所述障碍物特征和所述道路特征分别输入至对应的多个串联的卷积层，得到所述障碍物中间特征和所述道路中间特征；将所述停止线特征输入至一个卷积层，得到所述停止线中间特征。7.根据权利要求3所述的方法，其中，所述采用注意力机制对所述障碍物嵌入特征和所述道路嵌入特征进行多层级特征交互，得到所述交互特征，包括：利用注意力机制对所述障碍物嵌入特征和道路嵌入特征进行特征交互，得到车辆对道路的第一交互特征；
利用自注意力机制对所述第一交互特征进行特征交互，得到道路对道路的第二交互特征；利用注意力机制对所述第二交互特征与所述障碍物嵌入特征进行特征交互，得到道路对车辆的第三交互特征；利用自注意力机制对所述第三交互特征进行特征交互，得到车辆对车辆的第四交互特征。8.一种基于特征交互的障碍物行为预测装置，包括获取模块，被配置成获取车辆周边的障碍物与驾驶环境信息；提取模块，被配置成从所述障碍物与驾驶环境信息中提取障碍物特征和驾驶环境特征；交互模块，被配置成...

【专利技术属性】
技术研发人员：孙灏，姚萌，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：