一种障碍物跟踪方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种障碍物跟踪方法、装置、设备及存储介质，该方法包括：确定车辆行驶环境中的障碍物元素与语义元素；对障碍物元素与语义元素进行特征增强，得到障碍物的嵌入特征；对嵌入特征与车辆的历史轨迹进行特征关联，得到目标特征；将目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由关联网络输出的障碍物与历史轨迹的匹配结果、由轨迹预测网络输出的障碍物的多组预测轨迹。上述方法可以实现对障碍物进行更长时间的状态预测，并能够对障碍物未来的多种行为进行有效预测，可以进一步减缓决策系统的计算压力，及时对短时单个错误的决策指令进行纠正。对短时单个错误的决策指令进行纠正。对短时单个错误的决策指令进行纠正。

【技术实现步骤摘要】
一种障碍物跟踪方法、装置、设备及存储介质


[0001]本专利技术实施例涉及目标跟踪技术，尤其涉及一种障碍物跟踪方法、装置、设备及存储介质。

技术介绍

[0002]在自动驾驶领域，一般设置在车辆内的自动驾驶系统包括感知系统和决策系统，感知系统作为上游能够为下游的决策系统提供车辆行驶环境中的各种感知信息，其中包括对行驶环境中障碍物的感知，感知系统能够对行驶环境中的障碍物进行状态跟踪，为决策系统提供障碍物的运动状态，帮助决策系统作为正确的决策。
[0003]然而，目前针对感知系统所设计的障碍物跟踪方法只能提供障碍物在较短时间内的运动状态，无法建立障碍物与车辆行驶状态之间的关联关系，且无法预测障碍物在未来时间段内的多种可能存在的运动状态。这容易增加下游的决策系统的计算压力，还可能会引发错误的决策指令。

技术实现思路

[0004]本专利技术提供一种障碍物跟踪方法、装置、设备及存储介质，能够解决现有技术只能提供障碍物在较短时间内的运动状态，无法建立障碍物与车辆行驶状态之间的关联关系，且无法预测障碍物在未来时间段内的多种可能存在的运动状态的技术问题。
[0005]第一方面，本专利技术实施例提供了一种障碍物跟踪方法，所述方法包括：
[0006]确定车辆行驶环境中的障碍物元素与语义元素；
[0007]对所述障碍物元素与所述语义元素进行特征增强，得到障碍物的嵌入特征；
[0008]对所述嵌入特征与车辆的历史轨迹进行特征关联，得到目标特征；
[0009]将所述目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由所述关联网络输出的所述障碍物与所述历史轨迹的匹配结果、由所述轨迹预测网络输出的所述障碍物的多组预测轨迹。
[0010]第二方面，本专利技术实施例还提供了一种障碍物跟踪装置，所述装置包括：
[0011]元素确定模块，用于确定车辆行驶环境中的障碍物元素与语义元素；
[0012]特征增强模块，用于对所述障碍物元素与所述语义元素进行特征增强，得到障碍物的嵌入特征；
[0013]特征关联模块，用于对所述嵌入特征与车辆的历史轨迹进行特征关联，得到目标特征；
[0014]结果输出模块，用于将所述目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由所述关联网络输出的所述障碍物与所述历史轨迹的匹配结果、由所述轨迹预测网络输出的所述障碍物的多组预测轨迹。
[0015]第三方面，本专利技术实施例还提供了一种计算机设备，所述计算机设备包括：
[0016]一个或多个处理器；
[0017]存储器，用于存储一个或多个程序，
[0018]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的障碍物跟踪方法。
[0019]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的障碍物跟踪方法。
[0020]本专利技术通过确定车辆行驶环境中的障碍物元素与语义元素，障碍物元素中包含车辆行驶环境中的障碍物的多种特征，对障碍物元素与语义元素进行特征增强，得到障碍物的嵌入特征，该嵌入特征融合了障碍物自有的特征与环境中的语义信息，能够为后续对障碍物状态的预测提供地理场景的先验信息，增强障碍物跟踪方法在面向复杂地形场景的鲁棒性；对嵌入特征与车辆的历史轨迹进行特征关联，建立障碍物与车辆行驶状态之间的关联关系，得到目标特征，即该目标特征表征了嵌入特征与车辆的历史位置信息之间的关联关系，使用了历史轨迹中的历史帧位置信息对障碍物的嵌入特征进行了再次特征增强，使得目标特征融合有车辆的行驶状态信息，将目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由关联网络输出的障碍物与历史轨迹的匹配结果、由轨迹预测网络输出的障碍物的多组预测轨迹，可以实现对障碍物进行更长时间的状态预测，并能够对障碍物未来的多种行为进行有效预测，可以进一步减缓决策系统的计算压力，及时对短时单个错误的决策指令进行纠正。
附图说明
[0021]图1为本专利技术实施例一提供的一种障碍物跟踪方法的流程图；
[0022]图2为本专利技术实施例二提供的一种障碍物跟踪方法的流程图；
[0023]图3为本专利技术实施例二提供的一种基于图神经网络的特征增强的流程图；
[0024]图4为本专利技术实施例二提供的一种基于图神经网络的特征关联的流程图；
[0025]图5为本专利技术实施例三提供的一种障碍物跟踪装置的结构示意图；
[0026]图6为本专利技术实施例四提供的一种计算机设备的结构示意图。
具体实施方式
[0027]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0028]实施例一
[0029]图1为本专利技术实施例一提供的一种障碍物跟踪方法的流程图，本实施例可适用于车辆对行驶环境中的障碍物进行运动跟踪及预测障碍物的未来状态的情况，该方法可以由障碍物跟踪装置来执行，该障碍物跟踪装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，无人驾驶车辆、机器人、无人飞行器等无人设备，以及，服务器、个人电脑等计算设备，等等，该方法具体包括如下步骤：
[0030]S101、确定车辆行驶环境中的障碍物元素与语义元素。
[0031]本实施例中，障碍物元素可以理解为存在于车辆行驶环境中的障碍物的多种特征组成的要素，包括障碍物的外观特征、状态特征(例如移动的障碍物的速度、加速度)等，障
碍物可以是静止的建筑物、灌木、围栏、石墩等，也可以是运动的车辆、行人等。语义元素可以理解为由存在于车辆行驶环境中的对象的语义信息构成的要素，存在于车辆行驶环境中的对象可以是交通灯、区域信息、停止线、车道标识，等等，这些带有语义信息的对象可以称为语义对象，一个语义元素对应一个语义对象。本实施例中的障碍物元素可以有多个，语义元素也可以有多个，本实施例对障碍物元素的数量与语义元素的数量不作限定。
[0032]在具体实现中，若车辆中设置有感知传感器(例如激光雷达、相机、毫米波雷达)，则可以通过感知传感器获取车辆行驶环境中的障碍物信息，分析障碍物信息来获取包含障碍物的外观、速度、加速度等特征的障碍物元素，而语义元素则可以通过分析表征车辆行驶环境的语义地图获取得到。
[0033]在一种优选的实现方式中，可以通过安装在车辆上的激光雷达传感器采集车辆行驶环境中包含障碍物的点云数据；将点云数据输入预设的目标检测网络中，得到由目标检测网络输出的障碍物元素；获取与点云数据匹配的语义地图，该语义地图可以根据车辆行驶环境中的路况实时更新，例如，若激光雷达采集到t时刻的第t帧点云数据时，则需要获取能够表征车辆在t时刻的行驶环境的标注有语义信息的地图作为与当前第t帧点云数据匹配的语义地图，该语义地图可以是标注有语义信息的三维点云本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种障碍物跟踪方法，其特征在于，包括：确定车辆行驶环境中的障碍物元素与语义元素；对所述障碍物元素与所述语义元素进行特征增强，得到障碍物的嵌入特征；对所述嵌入特征与车辆的历史轨迹进行特征关联，得到目标特征；将所述目标特征分别输入预设的关联网络和预设的轨迹预测网络中，得到由所述关联网络输出的所述障碍物与所述历史轨迹的匹配结果、由所述轨迹预测网络输出的所述障碍物的多组预测轨迹。2.根据权利要求1所述的方法，其特征在于，所述确定车辆行驶环境中的障碍物元素与语义元素，包括：采集车辆行驶环境中包含障碍物的点云数据；将所述点云数据输入预设的目标检测网络中，得到由所述目标检测网络输出的障碍物元素；获取与所述点云数据匹配的语义地图；从所述语义地图中选取在所述障碍物所在位置的预设范围内的语义元素。3.根据权利要求1所述的方法，其特征在于，所述对所述障碍物元素与所述语义元素进行特征增强，得到障碍物的嵌入特征，包括：通过预设的第一特征提取网络从所述障碍物元素与所述语义元素中提取维度统一的第一初始特征；基于所述第一初始特征构建第一特征矩阵；基于所述障碍物元素与所述语义元素的位置信息建立第一邻接矩阵；将所述第一特征矩阵和所述第一邻接矩阵输入预设的第一图神经网络中，得到由所述第一图神经网络输出的障碍物的嵌入特征。4.根据权利要求3所述的方法，其特征在于，所述基于所述障碍物元素与所述语义元素的位置信息建立第一邻接矩阵，包括：确定由多个所述障碍物元素与多个所述语义元素构成的元素集合；计算所述元素集合中各元素两两之间的距离；将所述距离与预设的距离阈值进行比较，基于比较的结果建立第一邻接矩阵。5.根据权利要求4所述的方法，其特征在于，所述将所述距离与预设的距离阈值进行比较，基于比较的结果建立第一邻接矩阵，包括：针对所述元素集合中的每一个元素，若该元素与其他元素之间的距离小于预设的距离阈值，则将第一邻接矩阵中与该距离对应位置的数字置为1；若该元素与其他元素之间的距离大于所述距离阈值，则将第一邻接矩阵中与该距离对应位置的数字置为0。6.根据权利要求4或5所述的方法，其特征在于，所述基于所述障碍物元素与所述语义元素的位置信息建立第一邻接矩阵，还包括：采用添加自环与归一化处理的方式优化所述第一邻接矩阵，得到优化后的第一邻接矩阵。7.根据权利要求6所述的方法...

【专利技术属性】
技术研发人员：蒋楠，葛琦，韩旭，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：