一种基于图像的行人轨迹跟踪方法和装置制造方法及图纸

本申请公开了一种基于图像的行人轨迹跟踪方法和装置,涉及图像处理技术领域，该方法根据视频数据的当前帧图像中各个行人目标的运动信息预测其下一帧图像中的预测位置，并通过训练后的第一人工神经网络模型识别下一帧图像中的各个行人目标的实际位置，如果实际位置距离预测位置太远，则判断该实际位置对应的是一个新增行人目标，并为其赋予新的行人标识。可见，本方法不仅能够实时跟踪当前帧图像中各个行人目标，还能及时处理视频当前帧图像出现的新增行人目标，使得多目标跟踪更加准确。确。确。

【技术实现步骤摘要】
一种基于图像的行人轨迹跟踪方法和装置


[0001]本申请涉及图像处理
，特别涉及一种基于图像的行人轨迹跟踪方法和装置。

技术介绍

[0002]视觉行人目标跟踪是计算机视觉中的一个重要研究方向，有着广泛的应用，如：视频监控，人机交互， 无人驾驶等。
[0003]目标跟踪指的是对视频序列中的目标状态进行持续推断的过程，任务是在视频的每一帧对目标进行定位，然后关联起来形成行人运动轨迹。目标跟踪可以分为单目标跟踪和多目标跟踪，相比于单目标跟踪而言，多目标跟踪问题更为复杂，因为不仅仅需要对每个目标进行有效的跟踪，同时还需要解决画面中目标数量实时变换的问题。
[0004]多目标跟踪问题虽然具有很大的挑战性，但在很多的场景下都有着巨大的应用需求，特别是多行人跟踪的实际应用价值和应用前景尤为突出。因此，如何合理且准确地进行多目标跟踪是一个亟待解决的问题。
[0005]公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现思路

[0006]本专利技术的目的在于提供一种一种基于图像的行人轨迹跟踪方法和装置，不仅能够实时跟踪当前帧图像中各个行人目标，还能及时处理视频当前帧图像出现的新增行人目标，使得多目标跟踪更加准确。
[0007]第一方面，本申请提供一种基于图像的行人轨迹跟踪方法，其包括：S1，获取视频数据的当前帧图像，所述当前帧图像包含至少一个行人目标，每个所述行人目标对应唯一的行人标识。
[0008]S2，根据所述当前帧图像中各个所述行人目标的当前位置和运动信息，预测下一帧图像中各个所述行人目标的所在位置为预测位置。
[0009]S3，通过训练后的第一人工神经网络模型识别所述下一帧图像中的各个所述行人目标，获取所述下一帧图像中各个所述行人目标的实际位置。
[0010]S4，将所述实际位置与任意所述预测位置的距离大于阈值的所述行人目标作为新增行人目标，为所述新增行人目标赋予新的行人标识。
[0011]其中，步骤S1至S4为默认顺序，但是步骤S1至S4中的任意步骤顺序可以根据实际情况调换。
[0012]可以理解，本申请公开了一种基于图像的行人轨迹跟踪方法和装置，该方法根据视频数据的当前帧图像中各个行人目标的运动信息预测其下一帧图像中的预测位置，并通过训练后的第一人工神经网络模型识别下一帧图像中的各个行人目标的实际位置，如果实际位置距离预测位置太远，则判断该实际位置对应的是一个新增行人目标，并为其赋予新
的行人标识。可见，本方法不仅能够实时跟踪当前帧图像中各个行人目标，还能及时处理视频当前帧图像出现的新增行人目标，使得多目标跟踪更加准确。
[0013]在本申请可选的实施例中，步骤S1之前，所述方法还包括：通过训练后的第一人工神经网络模型识别所述视频数据的初始帧图像中的各个行人目标；依次为各个所述行人目标赋予唯一的行人标识。
[0014]在本申请可选的实施例中，步骤S2包括：S21，获取所述当前帧图像中各个所述行人目标的运动信息，所述运动信息包括运动速度和运动角度；S22，通过训练后的第一人工神经网络模型识别所述当前帧图像中的各个所述行人目标，获取所述当前帧图像中各个所述行人目标的当前位置；S23，根据下式计算下一帧图像中各个所述行人目标的所在位置为预测位置：；其中，代表三维空间中的所述预测位置的坐标；代表三维空间中的所述当前位置的坐标；代表所述运动速度，代表三维空间中的所述运动角度对应的角坐标。
[0015]其中，步骤S21至S23为默认顺序，但是步骤S21至S23中的任意步骤顺序可以根据实际情况调换。
[0016]在本申请可选的实施例中，步骤S22包括：S221，通过各级卷积操作提取当前帧图像中的图像特征，得到当前帧图像特征图；S222，利用候选区域生成网络RPN技术在所述当前帧图像特征图上生成各个第一目标识别框；S223，计算所述第一目标识别框中内容的分类结果；S224，将所述分类结果为行人目标对应的所述第一目标识别框的中心位置作为所述当前位置。
[0017]其中，步骤S221至S224为默认顺序，但是步骤S221至S224中的任意步骤顺序可以根据实际情况调换。
[0018]在本申请实施例中，获得当前帧图像后，可利用卷积神经网络CNN技术提取该当前帧图像的图像特征，得到该当前帧图像特征图Feature Map，再利用候选区域生成网络(Region Proposal Network,RPN)技术在上述当前帧图像特征图上生成至少一个第一目标识别框。
[0019]在本申请可选的实施例中，步骤S3包括：S31，通过各级卷积操作提取下一帧图像中的图像特征，得到下一帧图像特征图；S32，利用候选区域生成网络RPN技术在所述下一帧图像特征图上生成各个第二目标识别框；S33，计算所述第二目标识别框中内容的分类结果；S34，将所述分类结果为行人目标对应的所述第二目标识别框的中心位置作为所
述实际位置。
[0020]其中，步骤S31至S34为默认顺序，但是步骤S31至S34中的任意步骤顺序可以根据实际情况调换。
[0021]在本申请实施例中，获得下一帧图像后，可利用卷积神经网络CNN技术提取该下一帧图像的图像特征，得到该下一帧图像特征图Feature Map，再利用候选区域生成网络(Region Proposal Network,RPN)技术在上述下一帧图像特征图上生成至少一个第二目标识别框。
[0022]在本申请可选的实施例中，步骤S223和/或步骤S33，包括：利用第一概率函数计算所述第一目标识别框和/或所述第二目标识别框中内容的分类预测概率；所述第一概率函数如下式所示：;其中，是第i个所述第一目标识别框和/或所述第二目标识别框的分类变量，为所述特征图，为所述第一目标识别框和/或所述第二目标识别框，是各项连乘的运算符号，是所述所述第一目标识别框和/或所述第二目标识别框的集合；利用方程解得所述第一目标识别框和/或所述第二目标识别框中内容的分类结果。
[0023]在本申请实施例中，在步骤S2之前，所述方法还包括：S01，通过各级卷积操作提取原始训练图像集中各个原始训练图像中的图像特征，得到原始训练图像特征图；S02，利用候选区域生成网络RPN技术在所述原始训练图像特征图上生成至少一个目标识别区域；S03，将所述目标识别区域从对应的所述原始训练图像中分隔出来，形成处理图像；S04，选取至少两个所述处理图像粘贴于固定尺寸的掩膜版上，形成待训练图像；S05，通过所述待训练图像对所述第一人工神经网络模型进行训练。
[0024]其中，步骤S01至S05为默认顺序，但是步骤S1至S5中的任意步骤顺序可以根据实际情况调换。
[0025]可以理解，选取至少两个分别含有目标识别区域的所述处理图像进行拼接形成待训练图像，将待训练图像输入第一人工神经网络模型，相当于一下子至少两张原始训练图像进行学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像的行人轨迹跟踪方法，其特征在于，包括：获取视频数据的当前帧图像，所述当前帧图像包含至少一个行人目标，每个所述行人目标对应唯一的行人标识；根据所述当前帧图像中各个所述行人目标的当前位置和运动信息，预测下一帧图像中各个所述行人目标的所在位置为预测位置；通过训练后的第一人工神经网络模型识别所述下一帧图像中的各个所述行人目标，获取所述下一帧图像中各个所述行人目标的实际位置；以及将所述实际位置与任意所述预测位置的距离大于阈值的所述行人目标作为新增行人目标，为所述新增行人目标赋予新的行人标识。2.根据权利要求1所述的基于图像的行人轨迹跟踪方法，其特征在于，在所述获取视频数据的当前帧图像，所述当前帧图像包含至少一个行人目标，每个所述行人目标对应唯一的行人标识之前，所述方法还包括：通过训练后的第一人工神经网络模型识别所述视频数据的初始帧图像中的各个行人目标；依次为各个所述行人目标赋予唯一的行人标识。3.根据权利要求1所述的基于图像的行人轨迹跟踪方法，其特征在于，所述根据所述当前帧图像中各个所述行人目标的当前位置和运动信息，预测下一帧图像中各个所述行人目标的所在位置为预测位置，包括：获取所述当前帧图像中各个所述行人目标的运动信息，所述运动信息包括运动速度和运动角度；通过训练后的第一人工神经网络模型识别所述当前帧图像中的各个所述行人目标，获取所述当前帧图像中各个所述行人目标的当前位置；根据下式计算下一帧图像中各个所述行人目标的所在位置为预测位置：；其中，代表三维空间中的所述预测位置的坐标；代表三维空间中的所述当前位置的坐标；代表所述运动速度，代表三维空间中的所述运动角度对应的角坐标。4.根据权利要求2所述的基于图像的行人轨迹跟踪方法，其特征在于，所述通过训练后的第一人工神经网络模型识别所述当前帧图像中的各个所述行人目标，获取所述当前帧图像中各个所述行人目标的当前位置，包括：通过各级卷积操作提取当前帧图像中的图像特征，得到当前帧图像特征图；利用候选区域生成网络RPN技术在所述当前帧图像特征图上生成各个第一目标识别框；计算所述第一目标识别框中内容的分类结果；将所述分类结果为行人目标对应的所述第一目标识别框的中心位置作为所述当前位置。
5.根据权利要求1所述的基于图像的行人轨迹跟踪方法，其特征在于，所述通过训练后的第一人工神经网络模型识别所述下一帧图像中的各个所述行人目标，获取所述下...

【专利技术属性】
技术研发人员：刘建国，
申请(专利权)人：威海市博华医疗设备有限公司，
类型：发明
国别省市：