一种用于汽车的多相机目标匹配与跟踪方法及装置制造方法及图纸

本发明专利技术实施例公开一种用于汽车的多相机目标匹配与跟踪方法及装置。该方法中，通过对于每路当前视频帧图像，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的方式，对每路视频帧图像中的目标进行跟踪，并通过计算三维位置坐标之差以及外观相似性的方式，确定外观相似性较高且三维位置相近的两个目标为同一目标，达到对多路视频帧中的目标进行匹配的目的，又由于在进行多路目标匹配时，不仅考虑了三维位置还考虑了外观相似性，大大提高了多路目标匹配的准确度，因此，本发明专利技术实施例提供的用于汽车的多相机目标匹配与跟踪装置，能够对多相机目标进行跟踪且目标匹配准确度较高。

【技术实现步骤摘要】
一种用于汽车的多相机目标匹配与跟踪方法及装置
本专利技术涉及计算机视觉
，具体而言，涉及一种用于汽车的多相机目标匹配与跟踪方法及装置。
技术介绍
目前，为了实现无人车的360度的视觉感知，在无人车上安装有多个相机，相邻的两个相机的拍摄区域存在重叠区域。为了在多相机场景下实现自动驾驶，需要对安装在无人车上的多个相机采集的视频进行目标跟踪。由于多个相机可能拍摄到同一目标，那么还需要对多个相机拍摄到的同一目标进行匹配，由于如果匹配的准确度较低，则将严重影响无人驾驶。因此，目前亟需一种目标匹配准确度较高且可以对多相机目标进行跟踪的方法。
技术实现思路
本专利技术提供了一种用于汽车的多相机目标匹配与跟踪方法及装置，能够对多相机目标进行跟踪且目标匹配准确度较高。具体的技术方案如下。第一方面，本专利技术提供了一种用于汽车的多相机目标匹配与跟踪方法，包括：检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像；如果接收到多路当前视频帧图像，对于每路当前视频帧图像，根据预设全图目标本文档来自技高网...

【技术保护点】
1.一种用于汽车的多相机目标匹配与跟踪方法，其特征在于，包括：/n检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像；/n如果接收到多路当前视频帧图像，对于每路当前视频帧图像，根据预设全图目标检测模型对该路当前视频帧图像进行全图目标检测，得到该路当前视频帧图像的检出目标，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配，当该路当前视频帧图像的检出目标中存在与该路上一视频帧图像的检出目标不匹配的检出目标时，将不匹配的检出目标作为新目标；/n获取每路当前视频帧图像对应的投影矩阵，其中，所述投影矩阵表征该路当前视频帧图像的图像坐标系与所述汽车的汽车坐标系之间的...

【技术特征摘要】
1.一种用于汽车的多相机目标匹配与跟踪方法，其特征在于，包括：
检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像；
如果接收到多路当前视频帧图像，对于每路当前视频帧图像，根据预设全图目标检测模型对该路当前视频帧图像进行全图目标检测，得到该路当前视频帧图像的检出目标，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配，当该路当前视频帧图像的检出目标中存在与该路上一视频帧图像的检出目标不匹配的检出目标时，将不匹配的检出目标作为新目标；
获取每路当前视频帧图像对应的投影矩阵，其中，所述投影矩阵表征该路当前视频帧图像的图像坐标系与所述汽车的汽车坐标系之间的投影关系；
确定每路当前视频帧图像中的新目标的图像坐标，根据每路当前视频帧图像中的新目标的图像坐标以及每路当前视频帧图像对应的投影矩阵，计算出每路当前视频帧图像中的新目标在所述车辆坐标系下的三维位置坐标；
计算每两路当前视频帧图像中的新目标的三维位置坐标之差，将所述三维位置坐标之差中小于第一预设阈值的三维位置坐标之差对应的两个新目标作为候选对；
针对每对候选对，确定该对候选对的两个新目标的外观特征向量，基于两个新目标的外观特征向量计算该候选对的两个新目标之间的外观相似性，将所述外观相似性大于预设相似性阈值的候选对作为匹配对，建立所述匹配对中的两个新目标之间的对应关系；
将所述对应关系存入匹配信息中，返回执行所述检测是否接收到多个相机实时采集的所述汽车的周围环境的多路当前视频帧图像的步骤，其中，所述匹配信息中记录有各路视频帧图像的检出目标之间的对应关系。


2.如权利要求1所述的方法，其特征在于，所述将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的步骤，包括：
计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比；
根据预设外观特征向量提取模型提取该路当前视频帧图像的检出目标的外观特征向量；
基于该路当前视频帧图像的检出目标的外观特征向量，计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性；
根据所述交并比和所述外观相似性，对该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配。


3.如权利要求2所述的方法，其特征在于，所述计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比的步骤，包括：
基于该路当前视频帧图像的检出目标的位置确定该路当前视频帧图像的检出目标在该路当前视频帧图像中对应的矩形图像区域；
确定所述矩形图像区域与该路上一视频帧图像的检出目标对应的矩形图像区域之间的重叠区域以及相交区域；
计算所述重叠区域的面积与所述相交区域的面积的商，将所述商作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的交并比。


4.如权利要求2所述的方法，其特征在于，所述基于该路当前视频帧图像的检出目标的外观特征向量，计算该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性的步骤，包括：
计算该路当前视频帧图像的检出目标的外观特征向量与该路上一视频帧图像的检出目标的外观特征向量之间的余弦距离，将所述余弦距离作为该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标之间的外观相似性。


5.如权利要求2所述的方法，其特征在于，所述根据所述交并比和所述外观相似性，对该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的步骤，包括：
计算所述交并比与预设交并比权重的第一乘积；
计算所述外观相似性与预设外观权重的第二乘积；
计算第一乘积和第二乘积的和；
将所述和中大于第二预设阈值的和对应的该路当前视频帧图像的检出目标和该路上一视频帧图像的检出目标作为匹配的目标，将所述和中不大于所述第二预设阈值的和对应的该路当前视频帧图像的检出目标...

【专利技术属性】
技术研发人员：蔡振兴，
申请(专利权)人：初速度苏州科技有限公司，
类型：发明
国别省市：江苏;32