多目标跟踪方法和装置制造方法及图纸

本申请提供一种多目标跟踪方法和装置；方法包括：对当前帧图像进行特征提取，当前目标的初步特征；根据前若干帧图像，获取前帧目标的运动信息，并分别预测第一预测位置；并对初步特征进行增强；对增强特征进行对象识别，得到位置识别信息和特征识别信息；提取轨迹信息，确定前帧目标的位置信息和特征信息；根据位置信息，为每个目标对象分别预测得到第二预测位置；对于每个当前目标，将其与全部的轨迹信息分别组合，得到若干匹配组；将每个匹配组包括的当前目标的位置识别信息、特征识别信息与该匹配组包括的轨迹信息确定出的第二预测位置、特征信息分别进行匹配，得到位置匹配度和特征匹配度，并计算联合匹配度，得到多目标跟踪识别结果。跟踪识别结果。跟踪识别结果。

【技术实现步骤摘要】
多目标跟踪方法和装置


[0001]本申请的实施例涉及机器学习
，尤其涉及一种多目标跟踪方法和装置。

技术介绍

[0002]在实现对多目标连续跟踪的技术中，往往依靠连续帧之间像素的差异，或单纯利用目标之间的特征差异进行跟踪，不仅跟踪效率不高，其跟踪的准确性也极其不稳定。
[0003]基于此，需要一种能够实现稳定，快捷实现多目标跟踪的方案。

技术实现思路

[0004]有鉴于此，本申请的目的在于提出一种多目标跟踪方法和装置。
[0005]基于上述目的，本申请提供了多目标跟踪方法，包括：
[0006]对包括有至少一个当前目标的当前帧图像进行特征提取，得到当前帧图像对应的初步特征；
[0007]根据当前帧图像的前若干帧图像，获取每个前帧目标分别对应的运动信息，并为每个前帧目标分别预测得到第一预测位置；
[0008]根据第一预测位置对初步特征进行增强，得到增强特征；对增强特征进行对象识别，得到每个当前目标分别对应的位置识别信息和特征识别信息；
[0009]提取每个前帧目标的轨迹信息，对于每个前帧目标，确定其在当前帧时刻的前一帧图像中的位置信息和特征信息；根据位置信息，为每个目标对象分别预测得到第二预测位置；
[0010]对于每个当前目标，将其与全部的轨迹信息分别组合，得到若干匹配组；
[0011]对于每个匹配组，将该匹配组包括的当前目标的位置识别信息、特征识别信息与该匹配组包括的轨迹信息确定出的第二预测位置、特征信息分别进行匹配，得到位置匹配度和特征匹配度，并根据位置匹配度和特征匹配度得到联合匹配度；
[0012]根据若干匹配组及其分别对应的联合匹配度，得到多目标跟踪识别结果。
[0013]基于同一专利技术构思，本申请还提供了一种多目标跟踪装置，包括：特征提取与位置跟踪模块、图像增强与检测模块、位置与特征匹配模块和联合匹配跟踪模块；
[0014]初步特征提取模块，被配置为：对包括有至少一个当前目标的当前帧图像进行特征提取，得到当前帧图像对应的初步特征；
[0015]第一预测模块，被配置为：根据当前帧图像的前若干帧图像，获取每个前帧目标分别对应的运动信息，并为每个前帧目标分别预测得到第一预测位置；
[0016]对象识别模块，被配置为：根据第一预测位置对初步特征进行增强，得到增强特征；对增强特征进行对象识别，得到每个当前目标分别对应的位置识别信息和特征识别信息；
[0017]第二预测模块，被配置为：提取每个前帧目标的轨迹信息，对于每个前帧目标，确定其在当前帧时刻的前一帧图像中的位置信息和特征信息；根据位置信息，为每个目标对
象分别预测得到第二预测位置；
[0018]位置与特征匹配模块模块，被配置为：对于每个当前目标，将其与全部的轨迹信息分别组合，得到若干匹配组；以及
[0019]对于每个匹配组，将该匹配组包括的当前目标的位置识别信息、特征识别信息与该匹配组包括的轨迹信息确定出的第二预测位置、特征信息分别进行匹配，得到位置匹配度和特征匹配度，并根据位置匹配度和特征匹配度得到联合匹配度；
[0020]联合匹配模块，被配置为：根据若干匹配组及其分别对应的联合匹配度，得到多目标跟踪识别结果。
[0021]从上面所述可以看出，本申请提供的多目标跟踪方法和装置，基于前帧的轨迹信息对当前帧时刻的位置进行预测，实现了对当前帧目标在特征识别上的加强，并综合考虑了位置概率、偏移预测、长宽预测和目标特征，来进行当前目标的检测，并联合了当前目标与前帧目标之间的位置与特征的匹配，使得对当前目标与前帧目标在轨迹上的匹配更加准确，从而实现准确对多个目标进行追踪。
附图说明
[0022]为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本申请实施例的多目标跟踪方法的流程图；
[0024]图2为本申请实施例的多目标跟踪装置模块示意图；
[0025]图3为本申请实施例的多目标跟踪方法的逻辑架构图；
[0026]图4为本申请实施例的多目标跟踪的增强特征流程图；
[0027]图5为本申请实施例的多目标跟踪的当前目标的信息检测流程图；
[0028]图6为本申请实施例的多目标跟踪的匹配方法流程图；
[0029]图7为本申请实施例的多目标跟踪的未成功匹配的当前目标处理流程图。
具体实施方式
[0030]为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
[0031]需要说明的是，除非另外定义，本申请的实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请的实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0032]如
技术介绍
部分所述，相关的多目标跟踪方法还难以满足实际场景的需要。
[0033]申请人在实现本申请的过程中发现，相关的多目标跟踪方法存在的主要问题在
于：往往单纯依靠特征对目标进行区分，以实现目标的跟踪。依靠目标检测算法提取目标的语义特征，通过对比不同目标间的特征相似性来区分不同目标，能够有效的对行人进行跟踪。但是在养殖动物的场景下，同一种类，不同的动物目标间的特征十分相似，且对于同一个目标，由于其体态体位等因素导致其不同时段的特征差异大，单纯的动物外观特征不足以支持将不同的动物个体准确识别出来并对个体间进行区分，因此单纯利用目标特征进行检测与跟踪在养殖动物场景下存在一定的漏检误检以及编号匹配出错的现象，对最终的跟踪效果产生不利的影响。
[0034]可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。
[0035]以下，通过具体的实施例，并结合图3来详细说明本申请的技术方法。
[0036]参考图1，本申请一个实施例的多目标跟踪方法，包括以下步骤：
[0037]步骤S101、对包括有至少一个当前目标的当前帧图像进行特征提取，得到所述当前帧图像对应的初步特征。
[0038]在本申请中，可以将养殖场对所养殖羊群的跟踪作为选取的实施例，并利用影像监控设备作为图像数据的采集装置，该采集装置连接有存储图像数据的数据库，其中，数据库将采集装置所采集的图像数据以帧的形式进行存储，并且数据库连接有卷积神经网络和卷积长短期记忆网络。
[0039]进一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多目标跟踪识别方法，其特征在于，包括：对包括有至少一个当前目标的当前帧图像进行特征提取，得到所述当前帧图像对应的初步特征；根据所述当前帧图像的前若干帧图像，获取每个所述前帧目标分别对应的运动信息，并为每个前帧目标分别预测得到第一预测位置；根据所述第一预测位置对所述初步特征进行增强，得到增强特征；对所述增强特征进行对象识别，得到每个所述当前目标分别对应的位置识别信息和特征识别信息；提取每个所述前帧目标的轨迹信息，对于每个所述前帧目标，确定其在当前帧时刻的前一帧图像中的位置信息和特征信息；根据所述位置信息，为每个所述目标对象分别预测得到第二预测位置；对于每个所述当前目标，将其与全部的所述轨迹信息分别组合，得到若干匹配组；对于每个所述匹配组，将该匹配组包括的所述当前目标的所述位置识别信息、所述特征识别信息与该匹配组包括的轨迹信息确定出的所述第二预测位置、特征信息分别进行匹配，得到位置匹配度和特征匹配度，并根据所述位置匹配度和所述特征匹配度得到联合匹配度；根据若干所述匹配组及其分别对应的所述联合匹配度，得到多目标跟踪识别结果。2.根据权利要求1所述的方法，还包括：响应于确定在所述多目标跟踪识别结果中仍存在未成功匹配的所述当前目标和所述轨迹信息，调取所述前帧目标中非激活状态的轨迹信息；计算未成功匹配的所述当前目标和非激活状态的所述轨迹信息之间的特征匹配度；响应于该所述特征匹配度大于等于预设的特征匹配度阈值，确定匹配成功，并将成功匹配的非激活状态的所述轨迹信息更新为激活状态；响应于确定所述轨迹信息保持非激活状态的时间超过预设的时间阈值，将该所述轨迹信息删除；其中，将所述非激活状态的轨迹信息定义为：所述前一帧图像与该所述轨迹信息未成功匹配；将所述激活状态的轨迹信息定义为：所述前一帧图像与该所述轨迹信息成功匹配。3.根据权利要求1所述的方法，还包括：响应于确定不具备前若干帧图像，不进行所述第一预测位置的预测；并将所述初步特征输入卷积神经网络，得到每个所述当前目标分别对应的的所述位置识别信息和特征识别信息；所述前若干帧图像包括：符合预定数目的前若干帧连续图像。4.根据权利要求3所述的方法，其特征在于，所述为每个前帧目标分别预测得到第一预测位置，包括：提取每个所述前帧目标在每帧图像中的位置矩阵，并将所述位置矩阵在时间维度上进行拼接，得到所述前帧目标的历史位置矩阵；利用所述历史位置矩阵，通过卷积长短期记忆网络，得到所述前帧目标在前若干帧图像中的所述运动信息；利用所述运动信息，通过所述卷积神经网络和所述卷积长短期记忆网络，预测每个所
述前帧目标在当前帧时刻的位置，并采取结构相似性损失函数的监督训练，得到第一预测位置。5.根据权利要求1所述的方法，其特征在于，根据所述第一预测位置对所述初步特征进行增强，包括：利用所述初步特征和所述第一预测位置构建如下的增强公式，计算所述增强特征：其中，F
′
t
表示所述增强特征，F
t
表示所述初步特征，P
t
表示所述第一预测位置。6.根据权利要求1或3所述的方法，其特征在于，所述得到每个所述当前目标分别对应的位置识别信息和特征识别信息，包括：将所述增强特征或所述初步特征输入所述卷积神经网络的位置预测网络层，得到所述位置概率矩阵；将所述增强特征或所述初步特征输入所述卷积神经网络的偏移预测网络层，得到所述偏移预测矩阵；将所述增强特征或所述初步特征输入所述卷积神经网络的长宽预测网络层，得到所述长宽预测矩阵；将所述增强特征或所述初步特征输入所述卷积神经网络的特征提取网络层，得到所述目标特征矩阵，作为所述特征识别信息；利用所述位置概率矩阵和所述偏移预测矩阵，得到所述当前目标的位置向量；利用所述位置向量和所述长宽预测矩阵，构成所述位置识别信息；其中，对于所述位置概率矩阵中的每一个位置，响应于该...

【专利技术属性】
技术研发人员：贺志强，牛凯，范方舟，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：