目标跟踪方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请公开一种目标跟踪方法、装置、电子设备及计算机可读存储介质，涉及图像处理技术领域。具体方案为：对当前帧图像进行目标检测，得到目标检测框的第一信息，该第一信息表示第一位置和第一尺寸；利用卡尔曼滤波进行目标跟踪，得到当前帧图像中的目标跟踪框的第二信息，该第二信息表示第二位置和第二尺寸；对卡尔曼滤波中的预测误差协方差矩阵进行容错修正，得到修正后的协方差矩阵；根据第一信息、第二信息以及修正后的协方差矩阵，计算当前帧图像中的目标检测框和目标跟踪框之间的马氏距离；根据该马氏距离，对当前帧图像中的目标检测框和目标跟踪框进行关联匹配。根据本申请中方案，可以增强目标在不同运动状态下进行跟踪的鲁棒性。

【技术实现步骤摘要】
目标跟踪方法、装置、电子设备及计算机可读存储介质
本申请涉及计算机领域，尤其涉及图像处理

技术介绍
现有技术中，对于实时视频流中的目标跟踪，可首先利用检测器提取当前帧图像中所有目标检测框，然后将所有目标检测框与已有轨迹进行关联匹配，以得到目标在当前帧图像下新的轨迹。但是如果目标的运动状态发生急剧变化，比如出现长时间静止后突然运动、在移动过程中突然静止、移动速度发生明显变化等情况，则会导致目标的检测框和已有轨迹位置无法成功匹配，导致跟踪失效。
技术实现思路
本申请实施例提供一种目标跟踪方法、装置、电子设备及计算机可读存储介质，以解决目前当跟踪目标的运动状态发生急剧变化时容易导致跟踪失效的问题。为了解决上述技术问题，本申请是这样实现的：第一方面，本申请实施例提供了一种目标跟踪方法，包括：对当前帧图像进行目标检测，得到所述当前帧图像中的目标检测框的第一信息，所述第一信息用于表示第一位置和第一尺寸；利用卡尔曼滤波进行目标跟踪，得到所述当前帧图像中的目标跟踪框的第二信息，所述第二信息用于表示第二位置和第二尺寸；对卡尔曼滤波中的预测误差协方差矩阵进行容错修正，得到修正后的协方差矩阵；根据所述第一信息、所述第二信息以及所述修正后的协方差矩阵，计算所述当前帧图像中的目标检测框和目标跟踪框之间的马氏距离；根据所述马氏距离，对所述当前帧图像中的目标检测框和目标跟踪框进行关联匹配。这样，可以基于容错修正后的预测误差协方差矩阵来计算目标检测框和目标跟踪框之间的马氏距离，从而即使在目标运动状态发生急剧变化的情况下，该马氏距离也可维持在比较合理的范围内，从而在根据该马氏距离对当前帧图像中的目标检测框和目标跟踪框进行关联匹配时，可以增强目标在不同运动状态下进行跟踪的鲁棒性。第二方面，本申请实施例提供了一种目标跟踪装置，包括：检测模块，用于对当前帧图像进行目标检测，得到所述当前帧图像中的目标检测框的第一信息，所述第一信息用于表示第一位置和第一尺寸；跟踪模块，用于利用卡尔曼滤波进行目标跟踪，得到所述当前帧图像中的目标跟踪框的第二信息，所述第二信息用于表示第二位置和第二尺寸；修正模块，用于对卡尔曼滤波中的预测误差协方差矩阵进行容错修正，得到修正后的协方差矩阵；第一计算模块，用于根据所述第一信息、所述第二信息以及所述修正后的协方差矩阵，计算所述当前帧图像中的目标检测框和目标跟踪框之间的马氏距离；匹配模块，用于根据所述马氏距离，对所述当前帧图像中的目标检测框和目标跟踪框进行关联匹配。第三方面，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的目标跟踪方法。第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的目标跟踪方法。上述申请中的一个实施例具有如下优点或有益效果：可以基于容错修正后的预测误差协方差矩阵来计算目标检测框和目标跟踪框之间的马氏距离，从而即使在目标运动状态发生急剧变化的情况下，该马氏距离也可维持在比较合理的范围内，从而在根据该马氏距离对当前帧图像中的目标检测框和目标跟踪框进行关联匹配时，可以增强目标在不同运动状态下进行跟踪的鲁棒性。因为采用了对当前帧图像进行目标检测，得到所述当前帧图像中的目标检测框的第一信息，所述第一信息用于表示第一位置和第一尺寸；利用卡尔曼滤波进行目标跟踪，得到所述当前帧图像中的目标跟踪框的第二信息，所述第二信息用于表示第二位置和第二尺寸；对卡尔曼滤波中的预测误差协方差矩阵进行容错修正，得到修正后的协方差矩阵；根据所述第一信息、所述第二信息以及所述修正后的协方差矩阵，计算所述当前帧图像中的目标检测框和目标跟踪框之间的马氏距离；根据所述马氏距离，对所述当前帧图像中的目标检测框和目标跟踪框进行关联匹配的技术手段，所以克服了目前当跟踪目标的运动状态发生急剧变化时容易导致跟踪失效的技术问题，进而达到增强目标在不同运动状态下进行跟踪的鲁棒性的技术效果。上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请实施例的目标跟踪方法的流程图；图2是本申请具体实例中目标跟踪过程的流程图；图3是用来实现本申请实施例的目标跟踪方法的跟踪装置的框图；图4是用来实现本申请实施例的目标跟踪方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。请参见图1，图1是本申请实施例提供的一种目标跟踪方法的流程图，该方法应用于电子设备，如图1所示，该方法包括如下步骤：步骤101：对当前帧图像进行目标检测，得到所述当前帧图像中的目标检测框的第一信息。本实施例中，该第一信息用于表示第一位置和第一尺寸，即表示对应目标检测框所包含目标的位置信息(如坐标信息)和尺寸信息。比如，该第一信息可以表示为(x,y,w,h)，其中x表示目标检测框左上角的横坐标，y表示目标检测框左上角的纵坐标，w表示目标检测框的宽度，h表示目标检测框的高度；进一步的该x、y、w和h可以均以像素为单位，对应一个目标在图像中的区域。可选的，上述对当前帧图像进行目标检测的过程可以包括：将当前帧图像输入到目标检测模型(或称为目标检测器)中，得到所述当前帧图像中的目标检测框的第一信息。可理解的，经过目标检测得到的目标检测框的数量可为多个，即经过目标检测可得到一系列目标检测框，每个目标检测框包含对应目标的坐标信息和尺寸信息。上述目标检测模型可以选用现有基于深度学习的方法训练得到，可以为以下任意一种：SSD(直接多目标检测，SingleShotMultiBoxDetector)模型、RefineDet(精细直接多目标检测，Single-ShotRefinementNe本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，其特征在于，包括：/n对当前帧图像进行目标检测，得到所述当前帧图像中的目标检测框的第一信息，所述第一信息用于表示第一位置和第一尺寸；/n利用卡尔曼滤波进行目标跟踪，得到所述当前帧图像中的目标跟踪框的第二信息，所述第二信息用于表示第二位置和第二尺寸；/n对卡尔曼滤波中的预测误差协方差矩阵进行容错修正，得到修正后的协方差矩阵；/n根据所述第一信息、所述第二信息以及所述修正后的协方差矩阵，计算所述当前帧图像中的目标检测框和目标跟踪框之间的马氏距离；/n根据所述马氏距离，对所述当前帧图像中的目标检测框和目标跟踪框进行关联匹配。/n

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：
对当前帧图像进行目标检测，得到所述当前帧图像中的目标检测框的第一信息，所述第一信息用于表示第一位置和第一尺寸；
利用卡尔曼滤波进行目标跟踪，得到所述当前帧图像中的目标跟踪框的第二信息，所述第二信息用于表示第二位置和第二尺寸；
对卡尔曼滤波中的预测误差协方差矩阵进行容错修正，得到修正后的协方差矩阵；
根据所述第一信息、所述第二信息以及所述修正后的协方差矩阵，计算所述当前帧图像中的目标检测框和目标跟踪框之间的马氏距离；
根据所述马氏距离，对所述当前帧图像中的目标检测框和目标跟踪框进行关联匹配。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第一信息、所述第二信息以及所述修正后的协方差矩阵，计算所述当前帧图像中的目标检测框和目标跟踪框之间的马氏距离，包括：
利用如下公式，计算所述当前帧图像中的目标检测框和目标跟踪框之间的马氏距离：



其中，X表示所述第一信息，μ表示所述第二信息，Σ表示所述卡尔曼滤波中的预测误差协方差矩阵，(∑+αE)表示所述修正后的协方差矩阵，α为大于0的预设系数，E表示单位矩阵。


3.根据权利要求1所述的方法，其特征在于，所述根据所述马氏距离，对所述当前帧图像中的目标检测框和目标跟踪框进行关联匹配，包括：
当所述马氏距离小于或等于预设阈值时，确定对应的目标检测框和目标跟踪框之间匹配；或者，当所述马氏距离大于所述预设阈值时，确定对应的目标检测框和目标跟踪框之间不匹配。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述当前帧图像的拓扑关系矩阵MT1，和获取所述当前帧图像的上一帧图像的拓扑关系矩阵MT2；
将所述MT1和所述MT2进行逐元素相乘，得到拓扑变化矩阵M0；
利用所述M0，对所述当前帧图像中的目标检测框的匹配结果进行修正处理；
其中，所述MT1中第i行第j列的值表示，所述当前帧图像中第i个目标与第j个目标的前后关系；所述MT2中第i行第j列的值表示，所述上一帧图像中第i个目标与第j个目标的前后关系；所述M0中第i行第j列的值表示相比于所述上一帧图像，所述当前帧图像中的第i个目标与第j个目标的前后关系是否发生了变化。


5.根据权利要求1所述的方法，其特征在于，所述计算所述当前帧图像中的目标检测框和目标跟踪框之间的马氏距离之后，所述方法还包括：
根据所述马氏距离，计算距离相似度矩阵MD；其中，所述MD中第i行第j列的值表示，所述当前帧图像中第i个目标跟踪框与第j个目标检测框之间的距离相似度；
计算外观深度特征相似度矩阵MA；其中，所述MA中第i行第j列的值表示，第i个目标跟踪框对应的上一帧图像中外观深度特征与第j个目标检测框的外观深度特征的余弦相似度；
根据所述MD和所述MA，确定相似度匹配矩阵；
所述根据所述马氏距离，对所述当前帧图像中的目标检测框和目标跟踪框进行关联匹配，包括：
根据所述相似度匹配矩阵，对所述当前帧图像中的目标检测框和目标跟踪框进行关联匹配。


6.一种目标跟踪装置，其特征在于，包括：
检测模块，用于对当前帧图像进行目标检测，得到所述当前帧图像中的目标检测框的第一信息，所述第一信息用于表示第...

【专利技术属性】
技术研发人员：苏翔博，袁宇辰，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11