目标跟踪分割模型的训练方法和目标跟踪分割方法及装置制造方法及图纸

本公开关于一种目标跟踪分割模型的训练方法和目标跟踪分割方法及装置。训练方法包括：获取图像样本数据，每个图像样本数据包括目标图像、跟踪图像以及目标掩膜图像，目标图像是指包括将被跟踪的目标的图像，跟踪图像是指将被执行跟踪目标的图像，目标掩膜图像是指预先标记好的目标真值的掩膜图像；将目标图像和跟踪图像输入目标跟踪分割模型，得到不同分辨率的多个特征图；分别对多个特征图中的每个特征图执行处理，产生分辨率相同的多个目标前景概率图；将多个目标前景概率图执行融合，产生最终目标前景概率图；基于每个目标前景概率图与目标掩膜图像，确定损失函数，得到多个损失函数；根据多个损失函数来调整目标跟踪分割模型的参数。

【技术实现步骤摘要】
目标跟踪分割模型的训练方法和目标跟踪分割方法及装置
本公开涉及视频
，更具体地说，涉及一种目标跟踪分割模型的训练方法和装置以及目标跟踪分割方法和装置。
技术介绍
目标跟踪与分割是图像处理领域里的重要技术之一，被广泛应用于图片/视频编辑、影视制作和自动监控等领域。目标跟踪技术是指给定某视频序列初始帧中的目标物体的大小和位置，在后续帧中预测该目标物体的大小和位置。目标跟踪与分割技术是在目标跟踪技术之上，在后续帧的预测中给出目标物体的像素级别的分割结果。传统的目标跟踪算法只能给出后续帧中目标物体的位置和大小，主要是基于相关滤波的方法，该系列方法跟踪效果较好，且高效。随着深度学习的发展，深度神经网络被应用于目标跟踪以及目标跟踪分割中，从深度网络提取的高层语义特征能够从复杂场景中更准确辨别目标物体和背景，从而极大的提升了目标跟踪与分割的效果，基于深度学习的目标跟踪与分割技术也因此成为主流的技术之一。然而，基于深度学习的目标跟踪与分割技术取得了较好的目标跟踪的效果，但目标分割结果的边缘不够精细，甚至存在大量的过分割问题，导致目标物体的分割效果较差。
技术实现思路
本公开提供一种目标跟踪分割模型的训练方法和装置以及目标跟踪分割方法和装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。根据本公开实施例的第一方面，提供一种目标跟踪分割模型的训练方法，包括：获取图像样本数据，其中，每个图像样本数据包括目标图像、跟踪图像以及目标掩膜图像，其中，所述目标图像是指包括将被跟踪的目标的图像，所述跟踪图像是指将被执行跟踪所述目标的图像，所述目标掩膜图像是指预先标记好的目标真值的掩膜图像；将所述目标图像和所述跟踪图像输入所述目标跟踪分割模型，得到不同分辨率的多个特征图，其中，所述目标跟踪分割模型为SiamMask模型；分别对所述多个特征图中的每个特征图执行处理，产生分辨率相同的多个目标前景概率图；将所述多个目标前景概率图执行融合，产生最终目标前景概率图；基于所述多个目标前景概率图和所述最终目标前景概率图中的每个目标前景概率图与所述目标掩膜图像，确定损失函数，从而得到多个损失函数；根据所述多个损失函数来调整所述目标跟踪分割模型的参数，以对所述目标跟踪分割模型进行训练。可选地，所述目标跟踪分割模型可包括ResNet-50层、深度可分离卷积的互相关操作层，其中，所述目标图像和所述跟踪图像经过所述ResNet-50层和所述深度可分离卷积的互相关操作层，产生多个候选窗响应特征；其中，所述多个特征图可基于所述多个候选窗响应特征中的第一候选窗响应特征以及所述目标图像通过所述ResNet-50层产生的不同中间阶段特征图而产生。可选地，第一候选窗响应特征可通过以下操作选择：对所述多个候选窗响应特征中的每个候选窗响应特征执行目标背景分类，获得每个候选窗响应特征是否是目标区域特征的置信度分数；选择置信度分数最高的候选窗响应特征作为第一候选窗响应特征。可选地，所述多个特征图可包括第一分辨率特征图、第二分辨率特征图、第三分辨率特征图和第四分辨率特征图；其中，第一分辨率特征图是对第一候选窗响应特征执行反卷积而得到的特征图；第二分辨率特征图是对第一分辨率特征图和所述目标图像通过所述ResNet-50层产生的第三阶段特征图执行融合而得到的特征图，其中，第一分辨率特征图和第三阶段特征图的分辨率相同；第三分辨率特征图是对第二分辨率特征图和所述目标图像通过所述ResNet-50层产生的第二阶段特征图执行融合而得到的特征图，其中，第二分辨率特征图和第二阶段特征图的分辨率相同；第四分辨率特征图是对第三分辨率特征图和所述目标图像通过所述ResNet-50层产生的第一阶段特征图执行融合而得到的特征图，其中，第三分辨率特征图和第一阶段特征图的分辨率相同；其中，第一分辨率特征图、第二分辨率特征图、第三分辨率特征图和第四分辨率特征图的分辨率依次增大，第四分辨率特征图和所述目标掩膜图像的分辨率相同。可选地，所述分别对所述多个特征图中的每个特征图执行处理，产生分辨率相同的多个目标前景概率图，可包括：对所述多个特征图中的每个特征图执行卷积、Sigmoid激活和上采样中的至少一个，获得与所述目标掩膜图像具有相同分辨率的目标前景概率图。可选地，所述将所述多个目标前景概率图执行融合，产生最终目标前景概率图，可包括：对所述多个目标前景概率图执行拼接，卷积和Sigmoid激活，获得所述最终目标前景概率图。可选地，针对每个目标前景概率图可采用相同类型的损失函数，所述损失函数为二元交叉熵损失函数或二元逻辑回归损失函数。可选地，所述损失函数可被表示为：其中，n表示候选窗响应特征的数量；yn∈{±1}，表示所述多个候选窗响应特征中的第n个候选窗响应特征的二元标签，+1表示是目标区域，-1表示不是目标区域；w和h分别表示所述目标掩膜图像的宽和高；i和j表示所述目标掩膜图像内的像素位置(i，j)；为所述目标掩膜图像中像素(i，j)对应的标签，其值为1或0，1表示是目标像素，0表示不是目标像素；表示基于第n个候选窗响应特征预测出的目标前景概率图中像素(i，j)的值，其值范围为[0,1]，表示是目标像素的概率。根据本公开实施例的第二方面，提供一种目标跟踪分割方法，包括：获取待跟踪的目标图像和跟踪图像，其中，所述目标图像是指包括待跟踪的目标的图像，所述跟踪图像是指将被执行跟踪所述目标的图像；将所述目标图像和所述跟踪图像输入目标跟踪分割模型，得到不同分辨率的多个特征图，其中，所述目标跟踪分割模型为SiamMask模型；分别对所述多个特征图中的每个特征图执行处理，产生分辨率相同的多个目标前景概率图；将所述多个目标前景概率图执行融合，产生最终目标前景概率图；基于所述最终目标前景概率图和所述跟踪图像，获得目标跟踪分割结果。可选地，所述目标跟踪分割模型可包括ResNet-50层、深度可分离卷积的互相关操作层，其中，所述目标图像和所述跟踪图像经过所述ResNet-50层和所述深度可分离卷积的互相关操作层，产生多个候选窗响应特征；其中，所述多个特征图可基于所述多个候选窗响应特征中的第一候选窗响应特征以及所述目标图像通过所述ResNet-50层产生的不同中间阶段特征图而产生。可选地，第一候选窗响应特征可通过以下操作选择：对所述多个候选窗响应特征中的每个候选窗响应特征执行目标背景分类，获得每个候选窗响应特征是否是目标区域特征的置信度分数；选择置信度分数最高的候选窗响应特征作为第一候选窗响应特征。可选地，所述多个特征图可包括第一分辨率特征图、第二分辨率特征图、第三分辨率特征图和第四分辨率特征图；其中，第一分辨率特征图是对第一候选窗响应特征执行反卷积而得到的特征图；第二分辨率特征图是对第一分辨率特征图和所述目标图像通过所述ResNet-50层产生的第三阶段特征图执行融合而得到的特征图，其中，第一分辨率特征图和第三阶段特征图的分辨率相同；第三分辨率特征图是对第二分辨率特征图和所述目标图像通过所述ResNet-50层产生的第二阶段特征图执行融合本文档来自技高网...

【技术保护点】
1.一种目标跟踪分割模型的训练方法，其特征在于，包括：/n获取图像样本数据，其中，每个图像样本数据包括目标图像、跟踪图像以及目标掩膜图像，其中，所述目标图像是指包括将被跟踪的目标的图像，所述跟踪图像是指将被执行跟踪所述目标的图像，所述目标掩膜图像是指预先标记好的目标真值的掩膜图像；/n将所述目标图像和所述跟踪图像输入所述目标跟踪分割模型，得到不同分辨率的多个特征图，其中，所述目标跟踪分割模型为SiamMask模型；/n分别对所述多个特征图中的每个特征图执行处理，产生分辨率相同的多个目标前景概率图；/n将所述多个目标前景概率图执行融合，产生最终目标前景概率图；/n基于所述多个目标前景概率图和所述最终目标前景概率图中的每个目标前景概率图与所述目标掩膜图像，确定损失函数，从而得到多个损失函数；/n根据所述多个损失函数来调整所述目标跟踪分割模型的参数，以对所述目标跟踪分割模型进行训练。/n

【技术特征摘要】
1.一种目标跟踪分割模型的训练方法，其特征在于，包括：
获取图像样本数据，其中，每个图像样本数据包括目标图像、跟踪图像以及目标掩膜图像，其中，所述目标图像是指包括将被跟踪的目标的图像，所述跟踪图像是指将被执行跟踪所述目标的图像，所述目标掩膜图像是指预先标记好的目标真值的掩膜图像；
将所述目标图像和所述跟踪图像输入所述目标跟踪分割模型，得到不同分辨率的多个特征图，其中，所述目标跟踪分割模型为SiamMask模型；
分别对所述多个特征图中的每个特征图执行处理，产生分辨率相同的多个目标前景概率图；
将所述多个目标前景概率图执行融合，产生最终目标前景概率图；
基于所述多个目标前景概率图和所述最终目标前景概率图中的每个目标前景概率图与所述目标掩膜图像，确定损失函数，从而得到多个损失函数；
根据所述多个损失函数来调整所述目标跟踪分割模型的参数，以对所述目标跟踪分割模型进行训练。


2.如权利要求1所述的训练方法，其特征在于，所述目标跟踪分割模型包括ResNet-50层、深度可分离卷积的互相关操作层，其中，所述目标图像和所述跟踪图像经过所述ResNet-50层和所述深度可分离卷积的互相关操作层，产生多个候选窗响应特征；
其中，所述多个特征图是基于所述多个候选窗响应特征中的第一候选窗响应特征以及所述目标图像通过所述ResNet-50层产生的不同中间阶段特征图而产生的。


3.如权利要求2所述的训练方法，其特征在于，第一候选窗响应特征是通过以下操作选择的：
对所述多个候选窗响应特征中的每个候选窗响应特征执行目标背景分类，获得每个候选窗响应特征是否是目标区域特征的置信度分数；
选择置信度分数最高的候选窗响应特征作为第一候选窗响应特征。


4.如权利要求2所述的训练方法，其特征在于，所述多个特征图包括第一分辨率特征图、第二分辨率特征图、第三分辨率特征图和第四分辨率特征图；
其中，第一分辨率特征图是对第一候选窗响应特征执行反卷积而得到的特征图；
第二分辨率特征图是对第一分辨率特征图和所述目标图像通过所述ResNet-50层产生的第三阶段特征图执行融合而得到的特征图，其中，第一分辨率特征图和第三阶段特征图的分辨率相同；
第三分辨率特征图是对第二分辨率特征图和所述目标图像通过所述ResNet-50层产生的第二阶段特征图执行融合而得到的特征图，其中，第二分辨率特征图和第二阶段特征图的分辨率相同；
第四分辨率特征图是对第三分辨率特征图和所述目标图像通过所述ResNet-50层产生的第一阶段特征图执行融合而得到的特征图，其中，第三分辨率特征图和第一阶段特征图的分辨率相同；
其中，第一分辨率特征图、第二分辨率特征图、第三分辨率特征图和第四分辨率特征图的分辨率依次增大，第四分辨率特征图和所述目标掩膜图像的分辨率相同。


5.一种目标跟踪分割方法，其特征在于，包括：
获取待跟踪的目标图像和跟踪图像，其中，所述目标图像是指包括待跟踪的目标的图像，所述跟踪图像是指将被执行跟踪所述目标的图像；
将所述目标图像和所述跟踪图像输入目标跟踪分割模型，得到不...

【专利技术属性】
技术研发人员：王伟农，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11