提取轨迹的方法和装置制造方法及图纸

本公开提供了一种提取轨迹的方法和装置，属于视频技术领域。所述方法包括：在确定待检测帧图像中包含的目标的轨迹时，可以获取待检测帧图像的第一类特征图和第二类特征图，并获取目标帧图像的第一类特征图和第二类特征图，然后根据待检测帧图像的第二类特征图，确定待检测帧图像中目标的检测框的位置，根据待检测帧图像的第一类特征图和第二类特征图、目标帧图像的第一类特征图和第二类特征图、目标帧图像中目标的轨迹框，确定目标帧图像中的目标映射到待检测帧图像中所在位置的预测框，最后根据确定出的检测框的位置和确定出的预测框的位置，确定待检测帧图像中包含的目标的轨迹。采用本公开，可以提高轨迹的提取效率。

【技术实现步骤摘要】
提取轨迹的方法和装置
本公开涉及视频
，特别涉及一种提取轨迹的方法和装置。
技术介绍
随着计算机技术的发展，目标轨迹检测在视频监控、汽车自动化驾驶、机器人视觉等方面均有广泛的应用，所以目标轨迹检测的准确性变的非常重要。相关技术中，在提取目标的轨迹时，一般是播放获取到的视频，工作人员通过观看视频，记录目标的轨迹。这样，在视频比较长时，由人工确定目标的轨迹，会花费较多的时间，从而导致轨迹的提取效率低。
技术实现思路
为了解决相关技术的问题，本公开实施例提供了一种提取轨迹的方法和装置。所述技术方案如下：第一方面，提供了一种提取轨迹的方法，所述方法包括：获取待检测帧图像的第一类特征图和第二类特征图，并获取目标帧图像的所述第一类特征图和所述第二类特征图，其中，目标帧图像在所述待检测帧图像之前且包含的目标在所述待检测帧图像与所述目标帧图像之间的帧图像中未检测到，所述第一类特征图包括浅层特征，所述第二类特征图包括深层特征；根据所述待检测帧图像的第二类特征图，确定所述待检测帧图像中目标的检测框的位置；根据所述待检测帧图像的第一类特征图和第二类特征图、所述目标帧图像的所述第一类特征图和所述第二类特征图、所述目标帧图像中目标的轨迹框，确定所述目标帧图像中的目标映射到所述待检测帧图像中所在位置的预测框；根据确定出的检测框的位置和确定出的预测框的位置，确定所述待检测帧图像中包含的目标的轨迹。可选的，所述根据确定出的检测框的位置和确定出的预测框的位置，确定所述待检测帧图像中包含的目标的轨迹，包括：对于每个检测框，根据所述检测框的位置和各预测框的位置，确定所述检测框与各预测框的交并比IOU；根据确定出的IOU，确定所述待检测帧图像中检测框对应的标识；根据所述待检测帧图像中检测框对应的标识和检测框的位置，确定所述待检测帧图像中包含的目标的轨迹。可选的，所述根据所述待检测帧图像中检测框对应的标识和检测框的位置，确定所述待检测帧图像中包含的目标的轨迹，包括：如果所述待检测帧图像中的目标检测框对应的标识是已建立的目标轨迹对应的标识，则将所述目标检测框的位置添加至所述目标轨迹中，如果所述待检测帧图像中的目标检测框对应的标识不是已建立的任一轨迹对应的标识，则以所述目标检测框对应的标识新建一条轨迹，并将所述目标检测框的位置添加至新建的轨迹中。可选的，获取所述待检测帧图像中每个检测框的表观特征图，并获取所述目标帧图像中每个轨迹框的表观特征图；确定所述待检测帧图像的表观特征图和所述目标帧图像的表观特征图的相似度矩阵；所述根据确定出的IOU，确定所述待检测帧图像中检测框对应的标识，包括：根据确定出的IOU与所述相似度矩阵，确定代价矩阵；根据所述代价矩阵，进行匈牙利匹配，确定所述待检测帧图像中检测框对应的标识。可选的，所述根据所述代价矩阵，进行匈牙利匹配，确定所述待检测帧图像中检测框对应的标识，包括：确定所述代价矩阵中每一行的数值中的最小值，根据所述代价矩阵中每一行的数值中的最小值，确定所述待检测帧图像中检测框对应的标识。可选的，所述获取所述待检测帧图像中每个检测框的表观特征图，包括：对所述待检测帧图像的第一类特征图和所述待检测帧图像的检测框进行ROIPooling处理，得到所述待检测帧图像中的目标所在区域的特征图；根据所述待检测帧图像中的目标所在区域的特征图，确定所述待检测帧图像每个检测框的表观特征图。可选的，所述获取所述目标帧图像中每个轨迹框的表观特征图，包括：对所述目标帧图像的第一类特征图和所述目标帧图像的轨迹框进行ROIPooling处理，得到所述目标帧图像中的目标所在区域的特征图；根据所述目标帧图像中的目标所在区域的特征图，确定所述目标帧图像每个轨迹框的表观特征图。可选的，所述根据确定出的IOU与所述相似度矩阵，确定代价矩阵，包括：将所述相似度矩阵和确定出的IOU相加或者加权相乘，得到目标矩阵；将矩阵元素为1的矩阵与所述目标矩阵相减，得到代价矩阵。可选的，所述根据所述待检测帧图像的第二类特征图，确定所述待检测帧图像中目标的检测框的位置，包括：根据所述待检测帧图像的第二类特征图，确定所述待检测帧图像中目标的检测框的位置，以及分别对应的置信度；使用非极大值抑制方法删除冗余的检测框的位置，并剔除置信度小于第一预设阈值的检测框，将剩余的检测框的位置确定为所述待检测帧图像中目标的检测框的位置。可选的，所述方法还包括：根据所述待检测帧图像的第二类特征图，确定所述待检测帧图像中目标的检测框对应的类别。这样，可以确定出检测框中包括的目标的类别。可选的，所述根据所述待检测帧图像的第一类特征图和第二类特征图、所述目标帧图像的所述第一类特征图和所述第二类特征图、所述目标帧图像中目标的轨迹框，确定所述目标帧图像中的目标映射到所述待检测帧图像中所在位置的预测框，包括：确定所述待检测帧图像的第一类特征图和所述目标帧图像的第一类特征图的第一相关图，并确定所述待检测帧图像的第二类特征图和所述目标帧图像的第二类特征图的第二相关图；将所述第一相关图、所述第二相关图和所述待检测帧图像的第二类特征图和所述目标帧图像的第二类特征图进行合并；将所述目标帧图像中目标的轨迹框与合并后的特征图进行ROIPooling处理，得到所述待检测帧图像中目标所在区域的特征图；根据所述待检测帧图像中目标所在区域的特征图，确定所述目标帧图像中的目标映射到所述待检测帧图像中所在位置的预测框。可选的，所述确定所述待检测帧图像中目标的预测框的位置之后，还包括：对于所述待检测帧图像之前，所述所有目标中最后一次出现的每个目标的轨迹，确定所述目标的轨迹的轨迹置信度为：strk＝max(1-log(1+α·Ltrk),0)·1(Ldet≥2)，其中，Ldet表示所述待检测帧图像之前与所述目标匹配成功的检测框的数目，Ltrk表示自所述目标最后一次与检测框匹配成功的时刻到当前时间时刻的时间间隔内帧的数目，α为一个预设参数；将确定出的轨迹置信度按照从高到低的顺序进行排序，删除轨迹置信度低于第二预设阈值的目标的轨迹对应的目标所在的预测框。这样，可以使确定出的预测框更准确。第二方面，提供了一种提取轨迹的装置，所述装置包括：获取模块，用于获取待检测帧图像的第一类特征图和第二类特征图，并获取目标帧图像的所述第一类特征图和所述第二类特征图，其中，目标帧图像在所述待检测帧图像之前且包含的目标在所述待检测帧图像与所述目标帧图像之间的帧图像中未检测到，所述第一类特征图包括浅层特征，所述第二类特征图包括深层特征；确定模块，用于根据所述待检测帧图像的第二类特征图，确定所述待检测帧图像中目标的检测框的位置；根据所述待检测帧图像的第一类特征图和第二类特征图、所述目标帧图像的所述第一类特征图和本文档来自技高网...

【技术保护点】
1.一种提取轨迹的方法，其特征在于，所述方法包括：/n获取待检测帧图像的第一类特征图和第二类特征图，并获取目标帧图像的所述第一类特征图和所述第二类特征图，其中，所述目标帧图像在所述待检测帧图像之前且包含的目标在所述待检测帧图像与所述目标帧图像之间的帧图像中未检测到，所述第一类特征图包括浅层特征，所述第二类特征图包括深层特征；/n根据所述待检测帧图像的第二类特征图，确定所述待检测帧图像中目标的检测框的位置；/n根据所述待检测帧图像的第一类特征图和第二类特征图、所述目标帧图像的所述第一类特征图和所述第二类特征图、所述目标帧图像中目标的轨迹框，确定所述目标帧图像中的目标映射到所述待检测帧图像中所在位置的预测框；/n根据确定出的检测框的位置和确定出的预测框的位置，确定所述待检测帧图像中包含的目标的轨迹。/n

【技术特征摘要】
1.一种提取轨迹的方法，其特征在于，所述方法包括：
获取待检测帧图像的第一类特征图和第二类特征图，并获取目标帧图像的所述第一类特征图和所述第二类特征图，其中，所述目标帧图像在所述待检测帧图像之前且包含的目标在所述待检测帧图像与所述目标帧图像之间的帧图像中未检测到，所述第一类特征图包括浅层特征，所述第二类特征图包括深层特征；
根据所述待检测帧图像的第二类特征图，确定所述待检测帧图像中目标的检测框的位置；
根据所述待检测帧图像的第一类特征图和第二类特征图、所述目标帧图像的所述第一类特征图和所述第二类特征图、所述目标帧图像中目标的轨迹框，确定所述目标帧图像中的目标映射到所述待检测帧图像中所在位置的预测框；
根据确定出的检测框的位置和确定出的预测框的位置，确定所述待检测帧图像中包含的目标的轨迹。


2.根据权利要求1所述的方法，其特征在于，所述根据确定出的检测框的位置和确定出的预测框的位置，确定所述待检测帧图像中包含的目标的轨迹，包括：
对于每个检测框，根据所述检测框的位置和各预测框的位置，确定所述检测框与各预测框的交并比IOU；
根据确定出的IOU，确定所述待检测帧图像中检测框对应的标识；
根据所述待检测帧图像中检测框对应的标识和检测框的位置，确定所述待检测帧图像中包含的目标的轨迹。


3.根据权利要求2所述的方法，其特征在于，所述根据所述待检测帧图像中检测框对应的标识和检测框的位置，确定所述待检测帧图像中包含的目标的轨迹，包括：
如果所述待检测帧图像中的目标检测框对应的标识是已建立的目标轨迹对应的标识，则将所述目标检测框的位置添加至所述目标轨迹中，如果所述待检测帧图像中的目标检测框对应的标识不是已建立的任一轨迹对应的标识，则以所述目标检测框对应的标识新建一条轨迹，并将所述目标检测框的位置添加至新建的轨迹中。


4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述待检测帧图像中每个检测框的表观特征图，并获取所述目标帧图像中每个轨迹框的表观特征图；
确定所述待检测帧图像的表观特征图和所述目标帧图像的表观特征图的相似度矩阵；
所述根据确定出的IOU，确定所述待检测帧图像中检测框对应的标识，包括：
根据确定出的IOU与所述相似度矩阵，确定代价矩阵；
根据所述代价矩阵，进行匈牙利匹配，确定所述待检测帧图像中检测框对应的标识。


5.根据权利要求4所述的方法，其特征在于，所述根据所述代价矩阵，进行匈牙利匹配，确定所述待检测帧图像中检测框对应的标识，包括：
确定所述代价矩阵中每一行的数值中的最小值，根据所述代价矩阵中每一行的数值中的最小值，确定所述待检测帧图像中检测框对应的标识。


6.根据权利要求4所述的方法，其特征在于，所述获取所述待检测帧图像中每个检测框的表观特征图，包括：
对所述待检测帧图像的第一类特征图和所述待检测帧图像的检测框进行ROIPooling处理，得到所述待检测帧图像中的目标所在区域的特征图；
根据所述待检测帧图像中的目标所在区域的特征图，确定所述待检测帧图像每个检测框的表观特征图。


7.根据权利要求4所述的方法，其特征在于，所述获取所述目标帧图像中每个轨迹框的表观特征图，包括：
对所述目标帧图像的第一类特征图和所述目标帧图像的轨迹框进行ROIPooling处理，得到所述目标帧图像中的目标所在区域的特征图；
根据所述目标帧图像中的目标所在区域的特征图，确定所述目标帧图像每个轨迹框的表观特征图。


8.根据权利要求4所述的方法，其特征在于，所述根据确定出的IOU与所述相似度矩阵，确定代价矩阵，包括：
将所述相似度矩阵和确定出的IOU相加或者加权相乘，得到目标矩阵；
将矩阵元素为1的矩阵与所述目标矩阵相减，得到代价矩阵。


9.根据权利要求1至8任一所述的方法，其特征在于，所述根据所述待检测帧图像的第二类特征图，确定所述待检测帧图像中目标的检测框的位置，包括：
根据所述待检测帧图像的第二类特征图，确定所述待检测帧图像中目标的检测框的位置，以及分别对应的置信度；
使用非极大值抑制方法删除冗余的检测框的位置，并剔除置信度小于第一预设阈值的检测框，将剩余的检测框的位置确定为所述待检测帧图像中目标的检测框的位置。


10.根据权利要求1至8任一所述的方法，其特征在于，所述方法还包括：
根据所述待检测帧图像的第二类特征图，确定所述待检测帧图像中目标的检测框对应的类别。


11.根据权利要求1至8任一所述的方法，其特征在于，所述根据所述待检测帧图像的第一类特征图和第二类特征图、所述目标帧图像的所述第一类特征图和所述第二类特征图、所述目标帧图像中目标的轨迹框，确定所述目标帧图像中的目标映射到所述待检测帧图像中所在位置的预测框，包括：
确定所述待检测帧图像的第一类特征图和所述目标帧图像的第一类特征图的第一相关图，并确定所述待检测帧图像的第二类特征图和所述目标帧图像的第二类特征图的第二相关图；
将所述第一相关图、所述第二相关图和所述待检测帧图像的第二类特征图和所述目标帧图像的第二类特征图进行合并；
将所述目标帧图像中目标的轨迹框与合并后的特征图进行ROIPooling处理，得到所述待检测帧图像中目标所在区域的特征图；
根据所述待检测帧图像中目标所在区域的特征图，确定所述目标帧图像中的目标映射到所述待检测帧图像中所在位置的预测框。


12.根据权利要求1至8任一所述的方法，其特征在于，所述确定所述待检测帧图像中目标的预测框的位置之后，还包括：
对于所述待检测帧图像之前，所述所有目标中最后一次出现的每个目标的轨迹，确定所述目标的轨迹的轨迹置信度为：strk＝max(1-log(1+α·Ltrk),0)·1(Ldet≥2)，其...

【专利技术属性】
技术研发人员：王辉，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33