基于光流估计的视频跟踪方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种基于光流估计的视频跟踪方法、装置、设备及存储介质，其中，该方法包括：首先将视频中相邻两帧的图像，即第一帧图像和第二帧图像首先输入稠密光流预测网络中，得到第一帧图像的第一预测图像，并将第一预测图像、第一帧图像和第二帧图像输入稀疏光流预测网络中，得到目标预测图像作为第二帧图像的跟踪结果。通过稠密光流预测网络可以实现对第一帧图像中跟踪对象发生的明显变化进行跟踪，再通过稀疏光流预测网络对第一预测图像进行精细的微调和校正，提高了光流预测的准确性，并且根据稠密光流预测网络和稀疏光流预测网络预测到的光流对第一帧图像上的跟踪标识进行相应的形变，提高了视频跟踪的准确性与可靠性。性。性。

【技术实现步骤摘要】
基于光流估计的视频跟踪方法、装置、设备及存储介质


[0001]本申请涉及视频跟踪
，具体而言，涉及一种基于光流估计的视频跟踪方法、装置、设备及存储介质。

技术介绍

[0002]光流估计利用图像序列中像素的变化以及相邻帧之间的相关性，来找到上一帧跟当前帧的像素点之间存在的对应关系，从而计算出相邻帧之间像素点的运动信息。光流估计有许多应用，如动作识别、自动驾驶、视频编辑、视频跟踪等。
[0003]近年来，卷积神经网络((Convolutional Neural Networks,CNN))在很大程度上促进了计算机视觉领域的发展，针对光流估计问题，目前也提出了多种光流CNN模型，这些方法可以通过训练网络直接预测光流。
[0004]但是，利用现有的光流CNN模型进行光流估计时，针对快速移动的物体进行光流预测的准确度较低，因此基于光流进行视频跟踪的可靠性也难以保证。

技术实现思路

[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种基于光流估计的视频跟踪方法、装置、设备及存储介质，以解决现有技术中视频跟踪的可靠性难以保证的问题。
[0006]为实现上述目的，本申请采用的技术方案如下：
[0007]第一方面，本申请提供了一种基于光流估计的视频跟踪方法，所述方法包括：
[0008]获取第一帧图像和第二帧图像，所述第一帧图像为所述第二帧图像的前一个帧图像，所述第一帧图像中包括：跟踪对象以及依附在所述跟踪对象上的跟踪标识；
[0009]将所述第一帧图像和所述第二帧图像输入稠密光流预测网络中，预测所述第一帧图像和所述第二帧图像的稠密光流信息，并根据所述稠密光流信息得到所述第一帧图像的第一预测图像，所述第一预测图像中包括：所述跟踪对象以及依附在所述跟踪对象上的所述跟踪标识的第一形变标识；
[0010]将所述第一预测图像、所述第一帧图像和所述第二帧图像输入稀疏光流预测网络中，预测所述第一帧图像和所述第二帧图像的稀疏光流信息，并基于所述稀疏光流信息和所述第一预测图像预测得到所述第一帧图像的目标预测图像，将所述目标预测图像作为所述第二帧图像的跟踪结果，所述目标预测图像中包括：所述跟踪对象以及依附在所述跟踪对象上的所述跟踪标识的目标形变标识。
[0011]可选的，所述稠密光流预测网络中包括：依次连接的多个稠密光流预测子网络；
[0012]所述将所述第一帧图像和所述第二帧图像输入稠密光流预测网络中，预测所述第一帧图像和所述第二帧图像的稠密光流信息，并根据所述稠密光流信息得到所述第一帧图像的第一预测图像，包括：
[0013]将所述第一帧图像和所述第二帧图像输入首个稠密光流预测子网络中，预测所述第一帧图像和所述第二帧图像的初始稠密光流信息；
[0014]根据所述初始稠密光流信息以及所述第一帧图像，得到所述首个稠密光流预测子网络的初始预测图像；
[0015]将所述初始预测图像以及所述第二帧图像输入所述首个稠密光流预测子网络的后一稠密光流预测子网络中，并由所述首个稠密光流预测子网络后的各稠密光流预测子网络依次进行预测处理，得到所述第一帧图像和所述第二帧图像的稠密光流信息；
[0016]根据所述稠密光流信息得到所述第一帧图像的第一预测图像。
[0017]可选的，所述根据所述初始稠密光流信息以及所述第一帧图像，得到所述首个稠密光流预测子网络的初始预测图像，包括：
[0018]对所述初始稠密光流信息以及所述第一帧图像进行插值运算，得到所述首个稠密光流预测子网络的初始预测图像。
[0019]可选的，所述对所述初始稠密光流信息以及所述第一帧图像进行插值运算，得到所述首个稠密光流预测子网络的初始预测图像，包括：
[0020]根据所述初始稠密光流信息对所述第一帧图像进行插值计算，确定所述第一帧图像中各像素点的形变后位置；
[0021]将各像素点移动到对应的形变后位置，得到所述初始预测图像。
[0022]可选的，所述将所述第一预测图像、所述第一帧图像和所述第二帧图像输入稀疏光流预测网络中，预测所述第一帧图像和所述第二帧图像的稀疏光流信息，并基于所述稀疏光流信息和所述第一预测图像预测得到所述第一帧图像的目标预测图像，包括：
[0023]将所述第一预测图像、所述第一帧图像和所述第二帧图像输入稀疏光流预测网络中，由所述稀疏光流预测网络根据所述第一帧图像和所述第二帧图像预测得到所述稀疏光流信息；
[0024]根据所述稀疏光流信息对所述第一预测图像进行插值处理，得到所述第一帧图像的目标预测图像。
[0025]可选的，所述由所述稀疏光流预测网络根据所述第一帧图像和所述第二帧图像预测得到所述稀疏光流信息，包括：
[0026]由所述稀疏光流预测网络对所述第一帧图像和所述第二帧图像进行特征点检测，得到所述第一帧图像中的多个第一特征点和各所述第一特征点在所述第二帧图像中对应的第二特征点，并根据各所述第一特征点和各第二特征点的距离确定所述稀疏光流信息。
[0027]可选的，所述将所述第一帧图像和所述第二帧图像输入稠密光流预测网络中之前，包括：
[0028]获取预先标注的第一样本图像和预先标注的第二样本图像，其中，所述第一样本图像和所述第二样本图像中分别标注有跟踪对象以及对应的跟踪标识；
[0029]将所述第一样本图像和所述第二样本图像输入初始稠密光流预测网络中，得到所述第一样本图像的第一预测样本图像；
[0030]将所述第一预测样本图像、所述第一样本图像和所述第二样本图像输入初始稀疏光流预测网络中，得到所述样本图像的目标预测样本图像；
[0031]根据所述目标预测样本图像和所述第二样本图像确定损失值，并根据所述损失值对所述初始稠密光流预测网络和所述初始稀疏光流预测网络进行迭代修正，得到所述稠密光流预测网络和所述稀疏光流预测网络。
[0032]第二方面，本申请提供了一种基于光流估计的视频跟踪装置，所述装置包括：
[0033]获取模块，用于：获取第一帧图像和第二帧图像，所述第一帧图像为所述第二帧图像的前一个帧图像，所述第一帧图像中包括：跟踪对象以及依附在所述跟踪对象上的跟踪标识；
[0034]稠密光流预测模块，用于：将所述第一帧图像和所述第二帧图像输入稠密光流预测网络中，预测所述第一帧图像和所述第二帧图像的稠密光流信息，并根据所述稠密光流信息得到所述第一帧图像的第一预测图像，所述第一预测图像中包括：所述跟踪对象以及依附在所述跟踪对象上的所述跟踪标识的第一形变标识；
[0035]稀疏光流预测模块，用于：将所述第一预测图像、所述第一帧图像和所述第二帧图像输入稀疏光流预测网络中，预测所述第一帧图像和所述第二帧图像的稀疏光流信息，并基于所述稀疏光流信息和所述第一预测图像预测得到所述第一帧图像的目标预测图像，将所述目标预测图像作为所述第二帧图像的跟踪结果，所述目标预测图像中包括：所述跟踪对象以及依附在所述跟踪对象上的所述跟踪标识的目标形变标识。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光流估计的视频跟踪方法，其特征在于，包括：获取第一帧图像和第二帧图像，所述第一帧图像为所述第二帧图像的前一个帧图像，所述第一帧图像中包括：跟踪对象以及依附在所述跟踪对象上的跟踪标识；将所述第一帧图像和所述第二帧图像输入稠密光流预测网络中，预测所述第一帧图像和所述第二帧图像的稠密光流信息，并根据所述稠密光流信息得到所述第一帧图像的第一预测图像，所述第一预测图像中包括：所述跟踪对象以及依附在所述跟踪对象上的所述跟踪标识的第一形变标识；将所述第一预测图像、所述第一帧图像和所述第二帧图像输入稀疏光流预测网络中，预测所述第一帧图像和所述第二帧图像的稀疏光流信息，并基于所述稀疏光流信息和所述第一预测图像预测得到所述第一帧图像的目标预测图像，将所述目标预测图像作为所述第二帧图像的跟踪结果，所述目标预测图像中包括：所述跟踪对象以及依附在所述跟踪对象上的所述跟踪标识的目标形变标识。2.根据权利要求1所述的方法，其特征在于，所述稠密光流预测网络中包括：依次连接的多个稠密光流预测子网络；所述将所述第一帧图像和所述第二帧图像输入稠密光流预测网络中，预测所述第一帧图像和所述第二帧图像的稠密光流信息，并根据所述稠密光流信息得到所述第一帧图像的第一预测图像，包括：将所述第一帧图像和所述第二帧图像输入首个稠密光流预测子网络中，预测所述第一帧图像和所述第二帧图像的初始稠密光流信息；根据所述初始稠密光流信息以及所述第一帧图像，得到所述首个稠密光流预测子网络的初始预测图像；将所述初始预测图像以及所述第二帧图像输入所述首个稠密光流预测子网络的后一稠密光流预测子网络中，并由所述首个稠密光流预测子网络后的各稠密光流预测子网络依次进行预测处理，得到所述第一帧图像和所述第二帧图像的稠密光流信息；根据所述稠密光流信息得到所述第一帧图像的第一预测图像。3.根据权利要求2所述的方法，其特征在于，所述根据所述初始稠密光流信息以及所述第一帧图像，得到所述首个稠密光流预测子网络的初始预测图像，包括：对所述初始稠密光流信息以及所述第一帧图像进行插值运算，得到所述首个稠密光流预测子网络的初始预测图像。4.根据权利要求3所述的方法，其特征在于，所述对所述初始稠密光流信息以及所述第一帧图像进行插值运算，得到所述首个稠密光流预测子网络的初始预测图像，包括：根据所述初始稠密光流信息对所述第一帧图像进行插值计算，确定所述第一帧图像中各像素点的形变后位置；将各像素点移动到对应的形变后位置，得到所述初始预测图像。5.根据权利要求1所述的方法，其特征在于，所述将所述第一预测图像、所述第一帧图像和所述第二帧图像输入稀疏光流预测网络中，预测所述第一帧图像和所述第二帧图像的稀疏光流信息，并基于所述稀疏光流信息和所述第一预测图像预测得到所述第一帧图像的目标预测图像，包括：将所述第一预测图像、所述第一帧图像和所述第二帧图像输入稀疏光流预测网络中，
由所述稀疏光流预测网络根据所述第一帧图像和所述第...

【专利技术属性】
技术研发人员：饶怡，李骈臻，刘洛麒，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：