目标跟随模型的训练方法技术

本申请公开了一种目标跟随模型的训练方法

【技术实现步骤摘要】
目标跟随模型的训练方法、装置、设备及存储介质


[0001]本申请实施例涉及人工智能
，特别涉及一种目标跟随模型的训练方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]随着人工智能技术的发展，其在
VOT(Video Object Tracking
，视频目标跟随
)
领域的研究和应用也越来越多
。
[0003]在相关技术中，通过带有目标的整体的标注信息的视频帧序列，训练得到可用于对视频中的目标进行跟随的目标跟随模型
。
然而，在实际应用场景中，目标或背景都可能处于运动状态，目标会存在残影
、
拖尾
、
模糊
、
阴影
、
背景干扰
、
遮挡等问题，目标影像往往不具有清晰
、
明确的目标边缘，从而导致相关技术得到的目标跟随模型的跟随准确性不高
。

技术实现思路

[0004]本申请实施例提供了一种目标跟随模型的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种目标跟随模型的训练方法，其特征在于，所述目标跟随模型包括热力图生成网络和框生成网络，所述方法包括：获取第一图像样本序列和第二图像样本序列；其中，所述第一图像样本序列包括按照时间排序的带有目标对应的第一标注结果的多个第一图像样本，所述第二图像样本序列包括按照时间排序的带有所述目标的主体对应的第二标注结果的多个第二图像样本；基于所述第一图像样本序列中的目标第一图像样本和剩余第一图像样本，获取所述热力图生成网络对应的第一训练损失；其中，所述第一训练损失用于表征所述热力图生成网络对应的第一输出结果和所述第一标注结果之间的差异，所述目标第一图像样本用于指示所述目标跟随模型的跟随目标，所述第一输出结果用于表征所述目标的预测分布；基于所述第二图像样本序列中的目标第二图像样本和剩余第二图像样本，获取所述框生成网络对应的第二训练损失；其中，所述第二训练损失用于表征所述框生成网络对应的第二输出结果和所述第二标注结果之间的差异，所述目标第二图像样本用于指示所述目标跟随模型的跟随目标的主体，所述第二输出结果用于表征所述目标的主体的预测分布；基于所述第一训练损失和所述第二训练损失，对所述目标跟随模型进行训练，得到训练完成的目标跟随模型；其中，所述训练完成的目标跟随模型用于对所述目标的主体进行跟随
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述第二图像样本序列中的目标第二图像样本和剩余第二图像样本，获取所述框生成网络对应的第二训练损失，包括：对于每一个所述剩余第二图像样本，通过所述热力图生成网络，基于所述目标第二图像样本和所述剩余第二图像样本，获取所述剩余第二图像样本对应的第一输出结果；通过所述框生成网络基于所述剩余第二图像样本对应的第一输出结果，获取所述剩余第二图像样本对应的第二输出结果；基于所述剩余第二图像样本对应的第二输出结果和第二标注结果之间的差异，获取所述剩余第二图像样本对应的第二训练损失；基于各个所述剩余第二图像样本分别对应的第二训练损失，获取所述框生成网络对应的第二训练损失
。3.
根据权利要求2所述的方法，其特征在于，所述框生成网络对应的第二输出结果为包围所述目标的主体的预测边界框，所述预测边界框对应有预测水平位置
、
预测垂直位置
、
预测宽
、
预测高和预测角度，所述预测边界框对应的预测角度为所述预测边界框与水平坐标轴之间的预测夹角；所述基于所述剩余第二图像样本对应的第二输出结果和第二标注结果之间的差异，获取所述剩余第二图像样本对应的第二训练损失，包括：基于所述剩余第二图像样本对应的预测边界框所对应的预测水平位置，与所述剩余第二图像样本对应的第二标注结果所对应的真实水平位置之间的差异，获取所述剩余第二图像样本对应的水平位置损失；基于所述剩余第二图像样本对应的预测边界框所对应的预测垂直位置，与所述剩余第二图像样本对应的第二标注结果所对应的真实垂直位置之间的差异，获取所述剩余第二图像样本对应的垂直位置损失；基于所述剩余第二图像样本对应的预测边界框所对应的预测宽，与所述剩余第二图像
样本对应的第二标注结果所对应的真实宽之间的差异，获取所述剩余第二图像样本对应的宽损失；基于所述剩余第二图像样本对应的预测边界框所对应的预测高，与所述剩余第二图像样本对应的第二标注结果所对应的真实高之间的差异，获取所述剩余第二图像样本对应的高损失；基于所述剩余第二图像样本对应的预测边界框所对应的预测角度，与所述剩余第二图像样本对应的第二标注结果所对应的真实角度之间的差异，获取所述剩余第二图像样本对应的角度损失；对所述水平位置损失
、
垂直位置损失
、
宽损失
、
高损失和角度损失进行求和，获取所述剩余第二图像样本对应的第二训练损失
。4.
根据权利要求1所述的方法，其特征在于，所述热力图生成网络对应的第一输出结果为所述目标对应的热力图，所述热力图中的每个值用于表征对应像素属于所述目标的可能性；所述基于所述第一图像样本序列中的...

【专利技术属性】
技术研发人员：刘苏航，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：