一种多相机目标检测跟踪方法、装置制造方法及图纸

本申请公开了一种多相机目标检测跟踪方法，该方法包括：获取至少两路以上来自不同相机的视频流图像数据，其中，每路视频流图像数据至少包括重叠区域的图像数据，获取所述视频流图像数据中重叠区域所在位置的视觉地图信息，将从每路视频流图像数据的每路图像帧中所提取的特征点信息转换至视觉地图中，以将每路图像帧特征点信息融合至同一视角下，得到同一视角下的融合信息，其中，每路图像帧中的每一图像帧具有同时性，基于所述融合信息，进行目标检测和跟踪。本申请无需先产生单相机轨迹再进行轨迹融合，解决了多个单相机轨迹进行融合时难以甄别和取舍的问题，既避免轨迹融合所带来的算力消耗，又提高了目标检测和跟踪的准确性和可靠性。性和可靠性。性和可靠性。

【技术实现步骤摘要】
一种多相机目标检测跟踪方法、装置


[0001]本专利技术涉及基于图像的目标检测领域，特别地，涉及一种多相机目标检测跟踪方法。

技术介绍

[0002]随着社会的不断进步，目标检测跟踪的应用范围越来越广。例如智慧城市或智慧路口、自动驾驶等应用场景，通常都需要对来自多相机的多路图像的信息进行融合，利用融合图像来进行目标检测跟踪。
[0003]目前目标检测跟踪方法，大多是基于目标检测结果，在视频流的连续帧中的每一帧准确定位出目标位置可理解为目标检测跟踪。多相机目标检测跟踪对来自每个相机的图像信息分别进行目标检测和跟踪，生成单相机的轨迹，然后将每个相机中的轨迹分别投影到同一视角视图中，例如，鸟瞰视角(BEV，Bird Eye View)的视图中，最终将所投影的各个轨迹融合成全局轨迹。
[0004]上述多相机目标检测跟踪方法，分步进行目标检测和跟踪的方式，使系统较为复杂，且占用通信资源；并且，单相机中的轨迹如果存在问题，当多个相机的轨迹在同一视角进行融合时，难以对单相机的轨迹进行甄别和取舍，导致难以获得正确的全局轨迹。

技术实现思路

[0005]本专利技术提供了一种多相机目标检测跟踪方法，以获得准确的全局轨迹。
[0006]本专利技术提供的一种多相机目标检测跟踪方法，该方法包括：
[0007]获取至少两路以上来自不同相机的视频流图像数据，其中，每路视频流图像数据至少包括重叠区域的图像数据，
[0008]获取所述视频流图像数据对应空间所在位置的视觉地图信息，
[0009]将从每路视频流图像数据的每路图像帧中所提取的特征点信息转换至视觉地图中，以将每路图像帧特征点信息融合至同一视角下，得到同一视角下的融合信息，其中，每路图像帧中的每一图像帧具有同时性，
[0010]基于所述融合信息，进行目标检测和跟踪。
[0011]较佳地，所述将从每路视频流图像数据的每路图像帧中所提取的特征点信息转换至视觉地图中，包括：
[0012]对于每路图像帧中的每一图像帧：
[0013]分别对该图像帧进行特征提取，得到该图像帧的特征点信息和/或特征图，
[0014]利用该图像帧所来源相机的投影矩阵，将该图像帧的特征点投影至视觉地图中，得到该图像帧的同一视角下的投影特征点信息，
[0015]将所述每路图像帧中所有图像帧的所述投影特征点信息，确定为所述融合信息，
[0016]其中，
[0017]投影矩阵用于表征相机图像中的像素点与视觉地图中的空间点之间映射关系的
投影矩阵；
[0018]所述基于所述融合信息，进行目标检测和跟踪，包括：
[0019]基于所述每路图像帧中所有图像帧的所述投影特征点信息，进行目标检测，得到所述每路图像帧中所有图像帧对应的同一视角下的目标检测结果，将该目前检测结果确定为所述每路图像帧的图像帧组的目标检测结果，
[0020]从各个图像帧组的目标检测结果中，获取目标轨迹数据，
[0021]其中，各个图像帧组的目标检测结果为：各个不同时间下的所述每路图像帧所有图像帧所对应的同一视角下的目标检测结果。
[0022]较佳地，所述从各个图像帧组的目标检测结果中，获取目标轨迹数据，包括：
[0023]对当前图像帧组的目标检测结果与历史图像帧组的目标检测结果的交集中的各个目标检测结果，进行标记，
[0024]从各图像帧组的所标记的目标检测结果中，获取世界坐标系下的目标轨迹数据。
[0025]较佳地，所述基于所述每路图像帧中所有图像帧的所述投影特征点信息，进行目标检测，包括：
[0026]基于所述投影特征点信息，对预先初始化的目标特征进行搜索，得到目标参考位置信息，
[0027]利用每路图像帧所来源相机的投影矩阵，将目标参考位置信息分别反投影至每路图像帧中，以确定目标参考位置在图像帧中的位置信息，
[0028]根据图像帧的位置信息，获取对应目标的特征，得到目标的每路特征，
[0029]融合目标的每路特征，得到目标的融合特征，
[0030]基于所述投影特征点信息，对所述融合特征进行搜索，得到所述目标检测结果；
[0031]其中，目标检测结果包括：同一视角下的全局位置信息、目标尺寸、以及置信度。
[0032]较佳地，所述基于所述投影特征点信息，对预先初始化的目标特征进行搜索，得到目标参考位置信息，包括：
[0033]将所述投影特征点信息、和预先初始化的目标检测向量输入至机器学习模型，得到各目标的参考位置信息，其中，目标检测向量包括两个以上目标的目标特征向量，
[0034]所述利用每路图像帧所来源相机的投影矩阵，将目标参考位置信息分别反投影至每路图像帧中，包括：
[0035]利用每路视频流图像所来源相机的投影矩阵，将各目标的参考位置信息分别反投影至每路图像帧对应的特征图中，以确定各目标的参考位置在特征图中的位置信息，
[0036]所述根据图像帧的位置信息，获取对应目标的特征，得到目标的每路特征，包括：
[0037]根据各目标特征图中的位置信息，获取各目标对应的特征。
[0038]较佳地，所述融合目标的每路特征，得到目标的融合特征，包括：
[0039]对每个目标，分别进行该目标的特征融合，得到该每个目标的融合特征，
[0040]所述基于所述投影特征点信息，对融合特征进行搜索，包括：
[0041]将每个目标的融合特征、和所述投影特征点信息输入至机器学习模型，得到所述目标检测结果。
[0042]较佳地，所述对每个目标，分别进行该目标的特征融合，包括：
[0043]对于每个目标：
[0044]基于每路特征图，融合各特征图中该目标的特征，得到第一融合特征，
[0045]基于每路特征图，融合各特征图中除同一目标之外的其他目标的特征，得到第二融合特征，
[0046]将第一融合特征和第二融合特征进行融合，得到该目标的融合特征；
[0047]该方法进一步包括：
[0048]按照设定的置信度阈值，对当前图像帧组的目标检测结果进行过滤，得到有效目标检测结果，
[0049]将所述有效目标检测结果增加至下一图像帧组的初始化目标特征集合中。
[0050]较佳地，所述对当前图像帧组的目标检测结果与历史图像帧组的目标检测结果的交集中的各个目标检测结果，进行标记，包括：
[0051]如果当前图像帧组的有效目标检测结果来自于初始化目标特征，则赋予该有效目标检测结果新的跟踪标识；
[0052]如果当前图像帧组的有效目标检测结果来自于上一图像帧组所加入的有效目标检测结果，则沿用上一图像帧所加入的有效目标检测结果的跟踪标识；
[0053]所述从各图像帧组所标记的目标检测结果中，获取世界坐标系下的目标轨迹数据，包括：
[0054]将从各图像帧组所标记的目标检测结果中具有相同跟踪标识的目标检测结果，确定为该目标检测结果的目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多相机目标检测跟踪方法，其特征在于，该方法包括：获取至少两路以上来自不同相机的视频流图像数据，其中，每路视频流图像数据至少包括重叠区域的图像数据，获取所述视频流图像数据对应空间所在位置的视觉地图信息，将从每路视频流图像数据的每路图像帧中所提取的特征点信息转换至视觉地图中，以将每路图像帧特征点信息融合至同一视角下，得到同一视角下的融合信息，其中，每路图像帧中的每一图像帧具有同时性，基于所述融合信息，进行目标检测和跟踪。2.如权利要求1所述的多相机目标检测跟踪方法，其特征在于，所述将从每路视频流图像数据的每路图像帧中所提取的特征点信息转换至视觉地图中，包括：对于每路图像帧中的每一图像帧：分别对该图像帧进行特征提取，得到该图像帧的特征点信息和/或特征图，利用该图像帧所来源相机的投影矩阵，将该图像帧的特征点投影至视觉地图中，得到该图像帧的同一视角下的投影特征点信息，将所述每路图像帧中所有图像帧的所述投影特征点信息，确定为所述融合信息，其中，投影矩阵用于表征相机图像中的像素点与视觉地图中的空间点之间映射关系的投影矩阵；所述基于所述融合信息，进行目标检测和跟踪，包括：基于所述每路图像帧中所有图像帧的所述投影特征点信息，进行目标检测，得到所述每路图像帧中所有图像帧对应的同一视角下的目标检测结果，将该目前检测结果确定为所述每路图像帧的图像帧组的目标检测结果，从各个图像帧组的目标检测结果中，获取目标轨迹数据，其中，各个图像帧组的目标检测结果为：各个不同时间下的所述每路图像帧所有图像帧所对应的同一视角下的目标检测结果。3.如权利要求2所述的多相机目标检测跟踪方法，其特征在于，所述从各个图像帧组的目标检测结果中，获取目标轨迹数据，包括：对当前图像帧组的目标检测结果与历史图像帧组的目标检测结果的交集中的各个目标检测结果，进行标记，从各图像帧组的所标记的目标检测结果中，获取世界坐标系下的目标轨迹数据。4.如权利要求2或3所述的多相机目标检测跟踪方法，其特征在于，所述基于所述每路图像帧中所有图像帧的所述投影特征点信息，进行目标检测，包括：基于所述投影特征点信息，对预先初始化的目标特征进行搜索，得到目标参考位置信息，利用每路图像帧所来源相机的投影矩阵，将目标参考位置信息分别反投影至每路图像帧中，以确定目标参考位置在图像帧中的位置信息，根据图像帧的位置信息，获取对应目标的特征，得到目标的每路特征，融合目标的每路特征，得到目标的融合特征，基于所述投影特征点信息，对所述融合特征进行搜索，得到所述目标检测结果；
其中，目标检测结果包括：同一视角下的全局位置信息、目标尺寸、以及置信度。5.如权利要求4所述的多相机目标检测跟踪方法，其特征在于，所述基于所述投影特征点信息，对预先初始化的目标特征进行搜索，得到目标参考位置信息，包括：将所述投影特征点信息、和预先初始化的目标检测向量输入至机器学习模型，得到各目标的参考位置信息，其中，目标检测向量包括两...

【专利技术属性】
技术研发人员：吴昊，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：