运动物体跟踪方法、系统、装置及计算机可读存储介质制造方法及图纸

一种运动物体跟踪方法、系统、设备及计算可读存储介质，其中方法包括：基于卷积神经网络对当前帧图像进行物体检测，获取图像中物体的边缘信息及对应的物体分类；根据物体分类识别出图像中的运动物体，采用多路径回归算法根据运动物体的边缘信息计算得到运动物体的位置信息；判断已跟踪列表中是否存在与运动物体相匹配的待跟踪物体；若是，则更新已跟踪列表中对应的待跟踪物体的边缘信息及位置信息；若否，则将运动物体作为新的待跟踪物体添加到已跟踪列表中；根据当前待跟踪物体的边缘信息及位置信息采用递归神经网络模型预测下一帧图像中待跟踪物体的边缘信息及位置信息。本发明专利技术实施例提高了图像特征提取的泛化性及运动物体轨迹预测的精度。体轨迹预测的精度。体轨迹预测的精度。

Moving object tracking method, system, device and computer readable storage medium

【技术实现步骤摘要】
运动物体跟踪方法、系统、装置及计算机可读存储介质


[0001]本专利技术实施例涉及物体跟踪
，特别涉及一种运动物体跟踪方法、系统、装置及计算机可读存储介质。

技术介绍

[0002]随着视频分析技术的发展，运动物体跟踪技术在视频监控、智能分析、导航等多个领域得到广泛应用。目前，视频分析技术中的运动物体跟踪方法一般采用基于机器学习的方式进行图像提取特征及运动轨迹预测，需要应用先验知识(图像特征提取及运动轨迹预测过程中需要人工干预，应用到人的先前经验)，导致提取的特征不具有很好的泛化性以及预测轨迹与实际轨迹存在很大的偏差的缺陷。

技术实现思路

[0003]有鉴于此，本专利技术实施例的目的在于提供一种运动物体跟踪方法、系统、设备及计算机可读存储介质，以解决现有的运动物体跟踪方法存在有提取的特征不具有很好的泛化性以及预测轨迹与实际轨迹存在很大的偏差的问题。
[0004]本专利技术实施例解决上述技术问题所采用的技术方案如下：
[0005]根据本专利技术实施例的第一方面，提供一种运动物体跟踪方法，该方法包括：
[0006]基于卷积神经网络对当前帧图像进行物体检测，获取所述当前帧图像中物体的边缘信息及对应的物体分类；
[0007]根据所述物体分类识别出所述当前帧图像中的运动物体，采用多路径回归算法根据所述运动物体的边缘信息计算得到所述运动物体的位置信息；
[0008]判断已跟踪列表中是否存在与所述运动物体相匹配的待跟踪物体；
[0009]若在所述已跟踪列表中查询到与所述运动物体相匹配的待跟踪物体，则更新所述已跟踪列表中对应的待跟踪物体的边缘信息及位置信息；
[0010]若在所述已跟踪物体列表中未查询到与所述运动物体相匹配的待跟踪物体，则将所述运动物体作为新的待跟踪物体添加到已跟踪列表中；
[0011]根据所述已跟踪列表中所述待跟踪物体的边缘信息及位置信息采用递归神经网络模型预测下一帧图像中所述待跟踪物体的边缘信息及位置信息。
[0012]其中，所述基于卷积神经网络对当前帧图像进行物体检测，获取所述当前帧图像中物体的边缘信息及对应的物体分类包括：
[0013]采用卷积神经网络对所述当前帧图像进行前向运算，获取所述当前帧图像中物体的不同维度的高维特征；
[0014]对所述物体的不同维度的高维特征进行回归得到所述物体的边缘信息和对应的物体分类。
[0015]其中，所述基于卷积神经网络对当前帧图像进行物体检测，获取所述当前帧图像中物体的边缘信息及对应的物体分类之前还包括：
[0016]根据图像采集装置的参数信息确定畸变校正模型，利用所述畸变校正模型对所述当前帧图像进行去畸变处理。
[0017]其中，采用多路径回归算法根据所述运动物体的边缘信息计算得到所述物体的位置信息包括：
[0018]根据所述物体的边缘信息结合所述图像采集装置的参数信息计算得到所述物体相对所述图像采集装置的角度；
[0019]根据所述物体与地面的临接点及图像采集装置离地面的高度、图像采集装置的焦距及姿态，计算得到所述物体的中心到所述图像采集装置的距离。
[0020]其中，判断已跟踪列表中是否存在与所述运动物体相匹配的待跟踪物体包括：
[0021]根据所述当前帧图像中运动物体的边缘信息将所述当前帧图像拆分为多个运动物体区域图像；
[0022]采用预先通过三元损失训练生成的所述运动物体的图像特征的神经网络模型将与其对应的所述运动物体区域图像编码为128维的第一向量；
[0023]采用预先通过三元损失训练生成的所述运动物体的图像特征的神经网络模型将所述已跟踪列表中的待跟踪物体的图像编码为128维的第二向量；
[0024]计算所述第一向量和所述第二向量之间的欧式距离；
[0025]若所述所述欧式距离小于或等于预设阈值，则说明所述运动物体和所述待跟踪物体为同一物体；
[0026]若所述欧式距离大于所述预设阈值，则说明所述运动物体和所述待跟踪物体不是同一物体。
[0027]根据本专利技术实施例的第二方面，提供一种运动物体跟踪系统，包括：
[0028]物体检测单元，用于基于卷积神经网络对当前帧图像进行物体检测，获取所述当前帧图像中物体的边缘信息及对应的物体分类；
[0029]3D信息回归单元，用于根据所述物体分类识别出所述当前帧图像中的运动物体，采用多路径回归算法根据所述运动物体的边缘信息计算得到所述运动物体的位置信息；
[0030]物体跟踪单元，用于判断已跟踪列表中是否存在与所述运动物体相匹配的待跟踪物体；若在所述已跟踪列表中查询到与所述运动物体相匹配的待跟踪物体，则更新所述已跟踪列表中对应的待跟踪物体的边缘信息及位置信息；若在所述已跟踪物体列表中未查询到与所述运动物体相匹配的待跟踪物体，则将所述运动物体作为新的待跟踪物体添加到已跟踪列表中；
[0031]运动轨迹预测单元，用于根据所述已跟踪列表中所述待跟踪物体的边缘信息及位置信息采用递归神经网络模型预测下一帧图像中所述待跟踪物体的边缘信息及位置信息。
[0032]其中，所述物体检测单元具体用于：
[0033]采用卷积神经网络对所述当前帧图像进行前向运算，获取所述当前帧图像中物体的不同维度的高维特征；
[0034]对所述物体的不同维度的高维特征进行回归得到所述物体的边缘信息和对应的物体分类。
[0035]其中，所述运动物体跟踪系统还包括：
[0036]畸变校正单元，用于根据图像采集装置的参数信息确定畸变校正模型，利用所述
畸变校正模型对所述当前帧图像进行去畸变处理。
[0037]其中，所述3D信息回归单元具体用于：
[0038]根据所述物体的边缘信息结合所述图像采集装置的参数信息计算得到所述物体相对所述图像采集装置的角度；
[0039]根据所述物体与地面的临接点及图像采集装置离地面的高度、图像采集装置的焦距及姿态，计算得到所述物体的中心到所述图像采集装置的距离。
[0040]其中，所述物体跟踪单元具体用于：
[0041]根据所述当前帧图像中运动物体的边缘信息将所述当前帧图像拆分为多个运动物体区域图像；
[0042]采用预先通过三元损失训练生成的所述运动物体的图像特征的神经网络模型将与其对应的所述运动物体区域图像编码为128维的第一向量；
[0043]采用预先通过三元损失训练生成的所述运动物体的图像特征的神经网络模型将所述已跟踪列表中的待跟踪物体的图像编码为128维的第二向量；
[0044]计算所述第一向量和所述第二向量之间的欧式距离；
[0045]若所述所述欧式距离小于或等于预设阈值，则说明所述运动物体和所述待跟踪物体为同一物体；
[0046]若所述欧式距离大于所述预设阈值，则说明所述运动物体和所述待跟踪物体不是同一物体。
[0047]根据本专利技术实施例的第三方面，提供一种运动物体跟踪设备，包括：存储器、处理器及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运动物体跟踪方法，其特征在于，包括：基于卷积神经网络对当前帧图像进行物体检测，获取所述当前帧图像中物体的边缘信息及对应的物体分类；根据所述物体分类识别出所述当前帧图像中的运动物体，采用多路径回归算法根据所述运动物体的边缘信息计算得到所述运动物体的位置信息；判断已跟踪列表中是否存在与所述运动物体相匹配的待跟踪物体；若在所述已跟踪列表中查询到与所述运动物体相匹配的待跟踪物体，则更新所述已跟踪列表中对应的待跟踪物体的边缘信息及位置信息；若在所述已跟踪物体列表中未查询到与所述运动物体相匹配的待跟踪物体，则将所述运动物体作为新的待跟踪物体添加到已跟踪列表中；根据所述已跟踪列表中所述待跟踪物体的边缘信息及位置信息采用递归神经网络模型预测下一帧图像中所述待跟踪物体的边缘信息及位置信息。2.如权利要求1所述的运动物体跟踪方法，其特征在于，所述基于卷积神经网络对当前帧图像进行物体检测，获取所述当前帧图像中物体的边缘信息及对应的物体分类包括：采用卷积神经网络对所述当前帧图像进行前向运算，获取所述当前帧图像中物体的不同维度的高维特征；对所述物体的不同维度的高维特征进行回归得到所述物体的边缘信息和对应的物体分类。3.如权利要求1所述的运动物体跟踪方法，其特征在于，所述基于卷积神经网络对当前帧图像进行物体检测，获取所述当前帧图像中物体的边缘信息及对应的物体分类之前还包括：根据图像采集装置的参数信息确定畸变校正模型，利用所述畸变校正模型对所述当前帧图像进行去畸变处理。4.如权利要求1所述的运动物体跟踪方法，其特征在于，采用多路径回归算法根据所述运动物体的边缘信息计算得到所述物体的位置信息包括：根据所述物体的边缘信息结合所述图像采集装置的参数信息计算得到所述物体相对所述图像采集装置的角度；根据所述物体与地面的临接点及图像采集装置离地面的高度、图像采集装置的焦距及姿态，计算得到所述物体的中心到所述图像采集装置的距离。5.如权利要求1所述的运动物体跟踪方法，其特征在于，判断已跟踪列表中是否存在与所述运动物体相匹配的待跟踪物体包括：根据所述当前帧图像中运动物体的边缘信息将所述当前帧图像拆分为多个运动物体区域图像；采用预先通过三元损失训练生成的所述运动物体的图像特征的神经网络模型将与其对应的所述运动物体区域图像编码为128维的第一向量；采用预先通过三元损失训练生成的所述运动物体的图像特征的神经网络模型将所述已跟踪列表中的待跟踪物体的图像编码为128维的第二向量；计算所述第一向量和所述第二向量之间的欧式距离；若所述所述欧式距离小于或等于预设阈值，则说明所述运动物体和所述待跟踪物体为
同一物体；若所述欧式距离大于所述预设阈值，则说明所述运动物体和所述待跟踪物体不是同一物体。6.一种运动物体跟踪系统，其特征在于，包括：物体检测单元，用于基于卷积神经网络对当前帧图像进行物体检测，获取所述当前帧...

【专利技术属性】
技术研发人员：郑清江，刘俊斌，
申请(专利权)人：炬星科技深圳有限公司，
类型：发明
国别省市：