障碍物追踪方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，公开了一种障碍物追踪方法、装置、设备及存储介质，该方法包括：获取同一时间轴下的多帧鸟瞰图像；对多帧所述鸟瞰图像进行障碍物识别，得到各帧所述鸟瞰图像中障碍物的3d候选框；将各帧所述鸟瞰图像按照所述时间轴输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型为输入的鸟瞰图像的3d候选框分配追踪器编号；根据各帧所述鸟瞰图像中相同追踪器编号的3d候选框生成障碍物轨迹。本方法通过将多目标跟踪任务的多个步骤融合为单个模型，减少计算资源的使用，提高系统效率，提高自动驾驶或辅助驾驶过程中障碍物追踪的速度，并且使用鸟瞰图像的三维障碍物框作为模型输入，提高障碍物检测的精度。提高障碍物检测的精度。提高障碍物检测的精度。

【技术实现步骤摘要】
障碍物追踪方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能领域，尤其涉及一种障碍物追踪方法、装置、设备及存储介质。

技术介绍

[0002]汽车作为现代人类的交通工具，改变人们的生活方式，推动社会经济的发展和人类文化的进步，成为社会不可缺少的交通工具。为阻止交通出现的事故，减轻驾驶员的开车负担，辅助驾驶成为一种当今驾驶技术的普遍趋势。而基于视觉技术的驾驶系统已经成为智能交通系统的一个重要组成部分。
[0003]多目标跟踪问题(MOT，Multiple Classes Object Tracking)是视觉技术的经典问题。在事先不知道目标数量的情况下，需要对视频中的行人、汽车、动物等多个目标进行检测并赋予ID进行轨迹跟踪，现有技术多目标跟踪的主要步骤有对图像进行目标检测，并对检测到的目标进行特征提取，根据提取到的特征进行障碍物的相似度计算，并使用匈牙利算法对障碍物进行匹配关联，再根据关联情况对障碍物进行跟踪，由于这些步骤都是分开进行的，导致计算量较大，反应速度较慢，在车辆速度较快时，不能进行快速反映。

技术实现思路

[0004]本专利技术的主要目的在于解决现有的多目标跟踪问题解决方法每个步骤都是分开进行导致反应速度慢的技术问题。
[0005]本专利技术第一方面提供了一种障碍物追踪方法，包括：获取同一时间轴下的多帧鸟瞰图像；对多帧所述鸟瞰图像进行障碍物识别，得到各帧所述鸟瞰图像中障碍物的3d候选框；将各帧所述鸟瞰图像按照所述时间轴输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型为输入的鸟瞰图像的3d候选框分配追踪器编号；根据各帧所述鸟瞰图像中相同追踪器编号的3d候选框生成障碍物轨迹。
[0006]可选的，在本专利技术第一方面的第一种实现方式中，所述将各帧所述鸟瞰图像按照所述时间轴输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型为输入的鸟瞰图像的3d候选框分配追踪器编号包括：将各帧所述鸟瞰图输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型对输入的各帧所述鸟瞰图的3d候选框进行卷积操作，计算各3d候选框对应的外观特征；根据预设的自注意力机制和所述时间轴对各所述3d候选框以及对应的外观特征进行处理，生成历史帧追踪器并得到所述历史帧追踪器和各3d候选框的匹配关系；根据所述匹配关系，为各3d候选框分配对应的历史帧追踪器的追踪器编号。
[0007]可选的，在本专利技术第一方面的第二种实现方式中，所述将各帧所述鸟瞰图输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型对输入的各帧所述鸟瞰图的3d候选框进行卷积操作，计算各3d候选框对应的外观特征包括：将各帧所述鸟瞰图输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型截取所述鸟瞰图中所述3d候选框对应的候选框图像；通过所述障碍物跟踪模型中的卷积层对所述候选框图像进行编码处理，得到所述候选
框图像的编码特征；通过所述障碍物跟踪模型中的转置卷积层对所述编码特征进行解码，得到所述3d候选框对应的外观特征。
[0008]可选的，在本专利技术第一方面的第三种实现方式中，所述根据预设的自注意力机制和所述时间轴对各所述3d候选框以及对应的外观特征进行处理，生成历史帧追踪器并得到所述历史帧追踪器和各3d候选框的匹配关系包括：根据所述时间轴确定各帧鸟瞰图中的第一帧图像，并根据所述第一帧图像中的3d候选框生成历史帧追踪器以及所述历史帧追踪器的追踪器历史信息，其中，所述追踪器历史信息记录对应的历史帧追踪器与3d候选框的匹配关系；通过所述自注意力机制根据所述追踪器历史信息和所述外观特征，将除所述第一帧图像外的各帧鸟瞰图的3d候选框与所述第一帧图像的历史帧追踪器按照所述时间轴进行逐帧匹配；在每帧鸟瞰图的3d候选框与历史帧追踪器匹配完成后，根据匹配结果对所述追踪器历史信息进行更新，直至所有鸟瞰图的3d候选框与历史帧追踪器匹配完成。
[0009]可选的，在本专利技术第一方面的第四种实现方式中，所述在每帧鸟瞰图的3d候选框与历史帧追踪器匹配完成后，根据匹配结果对所述追踪器历史信息进行更新，直至所有鸟瞰图的3d候选框与历史帧追踪器匹配完成包括：在每帧鸟瞰图的3d候选框与历史帧追踪器匹配完成后，对当前帧匹配成功的历史帧追踪器的追踪器历史信息进行更新；判断当前帧是否存在未匹配到历史帧追踪器的3d候选框；若存在，则生成未匹配到历史帧追踪器的3d候选框的历史帧追踪器以及对应的追踪器历史信息；将当前帧鸟瞰图帧追踪器和对应的追踪器历史信息作为下一帧鸟瞰图的匹配输入，直至所有鸟瞰图的3d候选框与历史帧追踪器匹配完成。
[0010]可选的，在本专利技术第一方面的第五种实现方式中，在所述在每帧鸟瞰图的3d候选框与历史帧追踪器匹配完成后，对当前帧匹配成功的历史帧追踪器的追踪器历史信息进行更新之后，还包括：判断当前帧是否存在未匹配到3d候选框的历史帧追踪器；若是，则根据追踪器历史信息计算未匹配到3d候选框的历史帧追踪器的未匹配时长；若所述未匹配时长大于或等于预设时间阈值，则将未匹配到3d候选框的历史帧追踪器删除。
[0011]可选的，在本专利技术第一方面的第六种实现方式中，在所述获取同一时间轴下的多帧鸟瞰图像之前，还包括：获取另一时间轴下的多帧样本鸟瞰图，其中，所述样本鸟瞰图携带有障碍物的3d候选框以及3d候选框对应的编号标注；将多帧所述样本鸟瞰图输入预设的神经网络模型中，通过输入的样本鸟瞰图的3d候选框分配追踪器编号；根据样本鸟瞰图的3d候选框的编号标注和追踪器编号计算损失函数，得到损失函数值；判断所述损失函数值是否小于预设损失阈值；若否，则将所述损失函数值进行反向传播，更新所述神经网络模型的网络参数，直至得到的损失函数值小于预设阈值；若是，则根据所述神经网络模型的网络参数生成障碍物跟踪模型。
[0012]本专利技术第二方面提供了一种障碍物追踪装置，包括：获取模块，用于获取同一时间轴下的多帧鸟瞰图像；识别模块，用于对多帧所述鸟瞰图像进行障碍物识别，得到各帧所述鸟瞰图像中障碍物的3d候选框；编号分配模块，用于将各帧所述鸟瞰图像按照所述时间轴输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型为输入的鸟瞰图像的3d候选框分配追踪器编号；轨迹生成模块，用于根据各帧所述鸟瞰图像中相同追踪器编号的3d候选框生成障碍物轨迹。
[0013]可选的，在本专利技术第二方面的第一种实现方式中，所述编号分配模块具体包括：特
征计算单元，用于将各帧所述鸟瞰图输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型对输入的各帧所述鸟瞰图的3d候选框进行卷积操作，计算各3d候选框对应的外观特征；匹配单元，用于根据预设的自注意力机制和所述时间轴对各所述3d候选框以及对应的外观特征进行处理，生成历史帧追踪器并得到所述历史帧追踪器和各3d候选框的匹配关系；分配单元，用于根据所述匹配关系，为各3d候选框分配对应的历史帧追踪器的追踪器编号。
[0014]可选的，在本专利技术第二方面的第二种实现方式中，所述特征计算单元具体用于：将各帧所述鸟瞰图输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型截取所述鸟瞰图中所述3d候选框对应的候选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种障碍物跟踪方法，其特征在于，所述障碍物跟踪方法包括：获取同一时间轴下的多帧鸟瞰图像；对多帧所述鸟瞰图像进行障碍物识别，得到各帧所述鸟瞰图像中障碍物的3d候选框；将各帧所述鸟瞰图像按照所述时间轴输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型为输入的鸟瞰图像的3d候选框分配追踪器编号；根据各帧所述鸟瞰图像中相同追踪器编号的3d候选框生成障碍物轨迹。2.根据权利要求1所述的障碍物跟踪方法，其特征在于，所述将各帧所述鸟瞰图像按照所述时间轴输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型为输入的鸟瞰图像的3d候选框分配追踪器编号包括：将各帧所述鸟瞰图输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型对输入的各帧所述鸟瞰图的3d候选框进行卷积操作，计算各3d候选框对应的外观特征；根据预设的自注意力机制和所述时间轴对各所述3d候选框以及对应的外观特征进行处理，生成历史帧追踪器并得到所述历史帧追踪器和各3d候选框的匹配关系；根据所述匹配关系，为各3d候选框分配对应的历史帧追踪器的追踪器编号。3.根据权利要求2所述的障碍物跟踪方法，其特征在于，所述将各帧所述鸟瞰图输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型对输入的各帧所述鸟瞰图的3d候选框进行卷积操作，计算各3d候选框对应的外观特征包括：将各帧所述鸟瞰图输入预设的障碍物跟踪模型中，通过所述障碍物跟踪模型截取所述鸟瞰图中所述3d候选框对应的候选框图像；通过所述障碍物跟踪模型中的卷积层对所述候选框图像进行编码处理，得到所述候选框图像的编码特征；通过所述障碍物跟踪模型中的转置卷积层对所述编码特征进行解码，得到所述3d候选框对应的外观特征。4.根据权利要求3所述的障碍物跟踪方法，其特征在于，所述根据预设的自注意力机制和所述时间轴对各所述3d候选框以及对应的外观特征进行处理，生成历史帧追踪器并得到所述历史帧追踪器和各3d候选框的匹配关系包括：根据所述时间轴确定各帧鸟瞰图中的第一帧图像，并根据所述第一帧图像中的3d候选框生成历史帧追踪器以及所述历史帧追踪器的追踪器历史信息，其中，所述追踪器历史信息记录对应的历史帧追踪器与3d候选框的匹配关系；通过所述自注意力机制根据所述追踪器历史信息和所述外观特征，将除所述第一帧图像外的各帧鸟瞰图的3d候选框与所述第一帧图像的历史帧追踪器按照所述时间轴进行逐帧匹配；在每帧鸟瞰图的3d候选框与历史帧追踪器匹配完成后，根据匹配结果对所述追踪器历史信息进行更新，直至所有鸟瞰图的3d候选框与历史帧追踪器匹配完成。5.根据权利要求4所述的障碍物跟踪方法，其特征在于，所述在每帧鸟瞰图的3d候选框与历史帧追踪器匹配完成后，根据匹配结果对所述追踪器历史信息进行更新，直至所有鸟瞰图的3d候选框与历史帧追踪器匹配完成包括：在每...

【专利技术属性】
技术研发人员：袁行方，韩旭，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：