一种目标跟踪方法、目标跟踪装置及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种目标跟踪方法、目标跟踪装置及计算机可读存储介质，目标跟踪方法包括：获取目标视频流，目标视频流包括多帧图像；确定图像中人员与检测嵌入模型的匹配性，并从检测嵌入模型中获取图像中人员的匹配头肩数据，头肩数据包括头肩位置信息和头肩外观特征信息；判断图像是否为第一帧图像，如是，则将第一帧图像的人员头肩数据初始化为初始跟踪数据；若否，对上一帧图像的头肩数据进行预测操作并获取当前帧图像的跟踪预测数据，确定当前帧图像的跟踪预测数据与损失矩阵cost

【技术实现步骤摘要】
一种目标跟踪方法、目标跟踪装置及计算机可读存储介质
本专利技术涉及计算机视觉
，尤其是涉及一种基于视频流且适用于电力线路施工现场人员跟踪的目标跟踪方法、实现这种方法的目标跟踪装置以及计算机可读存储介质。
技术介绍
随着信息化时代的高速发展，计算机视觉在各个领域越来越凸显其重要性。计算机视觉技术在很多场景下发挥着重要的角色，大致包含目标检测、图像分割、目标跟踪、分类识别和重识别等多个领域，其中目标跟踪作为一个重要的研究领域，越来越多的研究者投入到其中。在电力线路施工现场应用中，电力线路施工现场人员姿态多变，经常存在施工人员相互遮挡、被障碍物遮挡和姿态变化等情况，遮挡会让目标的外观丢失很多特征信息，并且导致漏检率增高。现有电力线路施工现场人员跟踪是采用对整个人体信息特征进行跟踪，极大降低人员跟踪精度，而且目标识别准确率低，实时效率低下。
技术实现思路
本专利技术的第一目的是提供一种目标识别精确度高、鲁棒性高且实时高效的目标跟踪方法。本专利技术的第二目的是提供一种实现上述目标跟踪方法的目标跟踪装置。本专利技术的第三目的是提供一种实现上述目标跟踪方法的计算机可读存储介质。为了实现本专利技术的第一目的，本专利技术提供一种目标跟踪方法，包括：获取目标视频流，目标视频流包括多帧图像；确定图像中人员与检测嵌入模型的匹配性，并从检测嵌入模型中获取图像中人员的匹配头肩数据，头肩数据包括头肩位置信息和头肩外观特征信息；判断图像是否为第一帧图像，如是，则将第一帧图像的人员头肩数据初始化为初始跟踪数据；若否，对上一帧图像的头肩数据进行预测操作并获取当前帧图像的跟踪预测数据，确定当前帧图像的跟踪预测数据与损失矩阵costi,j的匹配性，并将匹配结果进行更新操作获取当前帧图像的实时跟踪结果；损失矩阵costi,j＝ε·l(1)i,j(ai,bj)+(1-ε)·l(2)i,j(pi,qj)，ε为权重系数，0<ε<1，l(1)i,j(ai,bj)＝min{1-CosSim(ai,bj)}，ai和bj分别是当前帧图像的第i个人员和上一帧图像的第j个人员的头肩外观特征信息，ai和bj从检测嵌入模型中获取；pi和qj分别是当前帧图像的第i个人员和上一帧图像的第j个人员的头肩位置信息，pi和qj从检测嵌入模型中获取。由上述方案可见，本专利技术目标跟踪方法利用头肩位置信息和头肩外观特征信息共同组成损失矩阵costi,j用于跟踪相似度匹配，此损失矩阵costi,j中的元素代表当前帧图像的待跟踪头肩数据和上一帧图像的已跟踪头肩数据之间的差异，由它们之间的外观匹配程度和运动位置距离进行加权求和组成，从而提高目标识别的精确度，鲁棒性更高。同时，本专利技术目标跟踪方法应用在电力线路施工现场对人员进行跟踪，电力线路施工现场人员工作时会经常发生互相遮挡和姿态变化，如果采用对整个人体进行跟踪，会极大降低人员跟踪精度，而选择施工人员的头肩部位作为跟踪目标，相比于以整个人体作为跟踪目标来说，头肩目标不易形变和遮挡，鲁棒性更高，可提高跟踪精确度。而且，本专利技术目标跟踪方法采用检测嵌入模型构建头肩跟踪数据系统，从而提高跟踪方法的实时性，实时高效，更具备工程实际应用价值。一个优选的方案是，头肩位置信息包括四个参数(x,y,w,h)，x和y代表头肩的中心坐标，w和h分别代表头肩的宽度和高度，pi和qj分别是头肩位置信息中的一个元素。更进一步的方案是，构建头肩跟踪数据集，并对头肩跟踪数据集进行训练得到检测嵌入模型。更进一步的方案是，在构建头肩跟踪数据集时，通过DarkLabel工具对头肩跟踪数据集的头肩数据进行身份信息标注，并利用具有身份信息的头肩跟踪数据集进行训练得到检测嵌入模型。更进一步的方案是，将具有身份信息的头肩跟踪数据集放入深度卷积神经网络中进行训练得到检测嵌入模型。更进一步的方案是，深度卷积神经网络包括分类分支、回归分支和外观特征分支，分类分支输出头肩的类别概率，回归分支输出头肩的位置信息，外观特征分支输出头肩的外观特征信息。更进一步的方案是，将具有身份信息的头肩跟踪数据集进行外观特征分支训练时，在外观特征分支中添加一个全连接层且使用交叉熵损失函数进行训练，外观特征分支训练完成后，去掉全连接层。进一步的方案是，判断图像是否为第一帧图像，若否，对上一帧图像的头肩数据通过卡尔曼滤波进行预测操作并获取当前帧图像的跟踪预测数据，确定当前帧图像的跟踪预测数据与损失矩阵costi,j的匹配性，并将匹配结果通过卡尔曼滤波进行更新操作获取当前帧图像的实时跟踪结果。为了实现本专利技术的第二目的，本专利技术提供一种目标跟踪装置，包括壳体，壳体内设置有电路板，电路板上设置有处理器及存储器，存储器存储有计算机程序，计算机程序被处理器执行时实现上述目标跟踪方法的各个步骤。为了实现本专利技术的第三目的，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述目标跟踪方法的各个步骤。附图说明图1是本专利技术目标跟踪方法实施例的流程图。图2是本专利技术目标跟踪方法实施例中深度卷积神经网络的结构图。图3是本专利技术目标跟踪方法实施例中ConvolutionalSet模块的结构图。图4是本专利技术目标跟踪方法实施例中Convolutional模块的结构图。图5是本专利技术目标跟踪方法实施例中深度卷积神经网络输出端的示意图。以下结合附图及实施例对本专利技术作进一步说明。具体实施方式目标跟踪方法实施例：本专利技术的目标跟踪方法应用在电力线路施工现场对人员进行跟踪，参见图1，目标跟踪方法的具体实施步骤如下。首先执行步骤S1，构建头肩跟踪数据集。具体地，在电力线路施工现场收集被跟踪人员的头肩图片集，从而构建头肩跟踪数据集，并通过DarkLabel工具对头肩图片集进行身份信息标注，即给每个头肩图片集对象赋予单独的身份信息,不同人员的头肩图片集的身份信息不同。其中，头肩跟踪数据集的格式与多目标跟踪公开数据集MOT16的格式一致。在电力线路施工现场，人员工作时会经常发生互相遮挡和姿态变化的情况，如果采用对整个人体进行跟踪，会极大降低人员跟踪精度，而选择施工人员的头肩部位作为跟踪目标，相比于以整个人体作为跟踪目标来说，头肩目标不易形变和遮挡，鲁棒性更高，可提高系统的检测与跟踪精度。随后执行步骤S2，对头肩跟踪数据集进行训练得到检测嵌入模型。具体地，将具有身份信息的头肩跟踪数据集放入深度卷积神经网络中进行训练得到检测嵌入模型，检测嵌入模型内具有每个跟踪人员的头肩数据，该头肩数据包括头肩位置信息和头肩外观特征信息。参见图2至图5，本实施例深度卷积神经网络的主干网络使用Darknet-53，Conv2d代表图像卷积操作，1×1和3×3代表卷积核的大小，网络中UpSampling和Concat分别代表上采样和特征拼接。本实施例深度卷积神经网络具有三个尺度的输出端，分别为分类分支、回归分支和外观特征本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，其特征在于，包括：/n获取目标视频流，所述目标视频流包括多帧图像；/n确定所述图像中人员与检测嵌入模型的匹配性，并从所述检测嵌入模型中获取所述图像中人员的匹配头肩数据，所述头肩数据包括头肩位置信息和头肩外观特征信息；/n判断所述图像是否为第一帧图像，如是，则将所述第一帧图像的人员头肩数据初始化为初始跟踪数据；若否，对上一帧图像的头肩数据进行预测操作并获取当前帧图像的跟踪预测数据，确定当前帧图像的跟踪预测数据与损失矩阵cost

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：
获取目标视频流，所述目标视频流包括多帧图像；
确定所述图像中人员与检测嵌入模型的匹配性，并从所述检测嵌入模型中获取所述图像中人员的匹配头肩数据，所述头肩数据包括头肩位置信息和头肩外观特征信息；
判断所述图像是否为第一帧图像，如是，则将所述第一帧图像的人员头肩数据初始化为初始跟踪数据；若否，对上一帧图像的头肩数据进行预测操作并获取当前帧图像的跟踪预测数据，确定当前帧图像的跟踪预测数据与损失矩阵costi,j的匹配性，并将匹配结果进行更新操作获取所述当前帧图像的实时跟踪结果；
所述损失矩阵costi,j＝ε·l(1)i,j(ai,bj)+(1-ε)·l(2)i,j(pi,qj)，ε为权重系数，0<ε<1，l(1)i,j(ai,bj)＝min{1-CosSim(ai,bj)}，
ai和bj分别是当前帧图像的第i个人员和上一帧图像的第j个人员的头肩外观特征信息，ai和bj从所述检测嵌入模型中获取；
pi和qj分别是当前帧图像的第i个人员和上一帧图像的第j个人员的头肩位置信息，pi和qj从所述检测嵌入模型中获取。


2.根据权利要求1所述的目标跟踪方法，其特征在于：
所述头肩位置信息包括四个参数(x,y,w,h)，x和y代表头肩的中心坐标，w和h分别代表头肩的宽度和高度；
pi和qj分别是所述头肩位置信息中的一个元素。


3.根据权利要求1所述的目标跟踪方法，其特征在于：
构建头肩跟踪数据集，并对所述头肩跟踪数据集进行训练得到所述检测嵌入模型。


4.根据权利要求3所述的目标跟踪方法，其特征在于：
在构建所述头肩跟踪数据集时，通过DarkLabel工具对所述...

【专利技术属性】
技术研发人员：张树琪，吴玉香，张海松，
申请(专利权)人：珠海市金锐电力科技有限公司，
类型：发明
国别省市：广东;44