本公开关于一种目标分割模型的训练方法及装置和目标分割方法及装置。所述训练方法包括：获取图像样本数据，每个图像样本数据包括目标图像和跟踪图像，跟踪图像具有目标的真实分割标签，目标的真实分割标签包括所述目标的轮廓的极坐标的真实值；将目标图像和跟踪图像输入目标跟踪模型，获得第一特征图，其中，目标跟踪模型为Ocean模型；将第一特征图输入目标分割模型，获得目标的轮廓的极坐标的估计值；基于目标的轮廓的极坐标的估计值和目标的轮廓的极坐标的真实值计算用于所述目标分割模型的损失函数；基于用于所述目标跟踪模型的损失函数以及用于所述目标分割模型的损失函数来对目标跟踪模型和目标分割模型进行联合训练。练。练。
【技术实现步骤摘要】
目标分割模型的训练方法及装置和目标分割方法及装置
[0001]本公开涉及视频
，更具体地说，涉及一种目标跟踪分割模型的训练方法和装置以及目标跟踪分割方法和装置。
技术介绍
[0002]目标跟踪与分割是图像处理领域里的重要技术之一，被广泛应用于图片/视频编辑、影视制作和自动监控等领域。目标跟踪技术是指给定某视频序列初始帧中的目标物体的大小和位置，在后续帧中预测该目标物体的大小和位置。目标跟踪与分割技术是在目标跟踪技术之上，在后续帧的预测中给出目标物体的像素级别的分割结果。传统的目标跟踪算法只能给出后续帧中目标物体的位置和大小，主要是基于相关滤波的方法，该系列方法跟踪效果较好，且高效。随着深度学习的发展，深度神经网络被应用于目标跟踪以及目标跟踪分割中，从深度网络提取的高层语义特征能够从复杂场景中更准确辨别目标物体和背景，从而极大的提升了目标跟踪与分割的效果，基于深度学习的目标跟踪与分割技术也因此成为主流的技术之一。然而，由于运行终端计算力的限制，基于深度学习的目标跟踪和分割技术也面临着速度性能上的挑战。
技术实现思路
[0003]本公开提供一种目标分割模型的训练方法和装置以及目标分割方法和装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。
[0004]根据本公开实施例的第一方面，提供一种目标分割模型的训练方法，包括：获取图像样本数据，其中，每个图像样本数据包括目标图像和跟踪图像，其中，所述目标图像是指包括待跟踪目标的图像，所述跟踪图像是指包括将被执行跟踪的所述目标的图像，并具有所述目标的真实分割标签，其中，所述目标的真实分割标签包括所述目标的轮廓的极坐标的真实值；将所述目标图像和所述跟踪图像输入目标跟踪模型，获得第一特征图，其中，所述目标跟踪模型为Ocean模型；将第一特征图输入目标分割模型，获得所述目标的轮廓的极坐标的估计值；基于所述目标的轮廓的极坐标的估计值和所述目标的轮廓的极坐标的真实值计算用于所述目标分割模型的损失函数；基于用于所述目标跟踪模型的损失函数以及用于所述目标分割模型的损失函数来对所述目标跟踪模型和所述目标分割模型进行联合训练。
[0005]可选地，所述目标的轮廓的极坐标的真实值可通过将所述目标的轮廓的x
‑
y坐标系的真实值执行x
‑
y坐标系至极坐标系的转换而得到的。
[0006]可选地，第一特征图可以是所述目标图像和所述跟踪图像经过所述目标跟踪模型的特征提取模块和特征组合模块后得到的特征图。
[0007]可选地，所述目标的轮廓的极坐标可包括所述目标的轮廓上的预定数量n个点的极坐标。
[0008]可选地，所述目标分割模型可以是由预定数量的卷积层组成的极坐标系轮廓建模
回归模型，其中，最后一个卷积层的通道数为n。
[0009]可选地，用于所述目标分割模型的损失函数可被表示为：
[0010][0011]其中，
[0012]其中，Polar IoU Loss表示所述损失函数，i表示所述目标的轮廓上的预定数量n个点的遍历标记，d
i
表示所述目标的轮廓上的第i个点的真实极径长度，表示所述目标的轮廓上的第i个点的估计极径长度。
[0013]根据本公开实施例的第二方面，提供一种目标分割方法，包括：获取待跟踪的目标图像和跟踪图像，其中，所述目标图像是指包括待跟踪目标的图像，所述跟踪图像是指包括将被执行跟踪的所述目标的图像；将所述目标图像和所述跟踪图像输入目标跟踪模型，获得第一特征图，其中，所述目标跟踪模型为Ocean模型；将第一特征图输入目标分割模型，获得所述待跟踪的目标的轮廓的极坐标的估计值；基于所述跟踪图像和所述待跟踪的目标的轮廓的极坐标的估计值，获得目标分割结果。
[0014]可选地，第一特征图可以是所述目标图像和所述跟踪图像经过所述目标跟踪模型的特征提取模块和特征组合模块后得到的特征图。
[0015]可选地，所述待跟踪的目标的轮廓的极坐标可包括所述待跟踪的目标的轮廓上的预定数量n个点的极坐标。
[0016]可选地，所述目标分割模型可以是由预定数量的卷积层组成的极坐标系轮廓建模回归模型，其中，最后一个卷积层的通道数为n。
[0017]可选地，基于所述跟踪图像和所述待跟踪的目标的轮廓的极坐标的估计值，获得目标分割结果，可包括：根据所述待跟踪的目标的轮廓上的n个点的极坐标的估计值，在所述跟踪图像中找到所述待跟踪的目标的轮廓的n个点，并将这n个点连接并将联通区域内的区域作为目标分割结果。
[0018]可选地，所述目标分割模型可通过根据本公开的目标分割模型的训练方法训练得到的。
[0019]根据本公开实施例的第三方面，提供一种目标分割模型的训练装置，包括：样本获取单元，被配置为：获取图像样本数据，其中，每个图像样本数据包括目标图像和跟踪图像，其中，所述目标图像是指包括待跟踪目标的图像，所述跟踪图像是指包括将被执行跟踪的所述目标的图像，并具有所述目标的真实分割标签，其中，所述目标的真实分割标签包括所述目标的轮廓的极坐标的真实值；特征图获取单元，被配置为：将所述目标图像和所述跟踪图像输入目标跟踪模型，获得第一特征图，其中，所述目标跟踪模型为Ocean模型；极坐标估计单元，被配置为：将第一特征图输入目标分割模型，获得所述目标的轮廓的极坐标的估计值；损失计算单元，被配置为：基于所述目标的轮廓的极坐标的估计值和所述目标的轮廓的极坐标的真实值计算用于所述目标分割模型的损失函数；模型训练单元，被配置为：基于用于所述目标跟踪模型的损失函数以及用于所述目标分割模型的损失函数来对所述目标跟踪模型和所述目标分割模型进行联合训练。
[0020]可选地，所述目标的轮廓的极坐标的真实值可通过将所述目标的轮廓的x
‑
y坐标
系的真实值执行x
‑
y坐标系至极坐标系的转换而得到。
[0021]可选地，第一特征图可以是所述目标图像和所述跟踪图像经过所述目标跟踪模型的特征提取模块和特征组合模块后得到的特征图。
[0022]可选地，所述目标的轮廓的极坐标可包括所述目标的轮廓上的预定数量n个点的极坐标。
[0023]可选地，所述目标分割模型可以是由预定数量的卷积层组成的极坐标系轮廓建模回归模型，其中，最后一个卷积层的通道数为n。
[0024]可选地，用于所述目标分割模型的损失函数可被表示为：
[0025][0026]其中，
[0027]其中，Polar IoU Loss表示所述损失函数，i表示所述目标的轮廓上的预定数量n个点的遍历标记，d
i
表示所述目标的轮廓上的第i个点的真实极径长度，表示所述目标的轮廓上的第i个点的估计极径长度。
[0028]根据本公开实施例的第四方面，提供一种目标分割装置，包括：图像获取单元，被配置为：获取待跟踪的目标图像和跟踪图像，其中，所述目标图像是指包括待跟踪目标的图像，所述跟踪图像是指包括将被执行跟踪的所述目标的图像；特征图获取本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种目标分割模型的训练方法，其特征在于，包括：获取图像样本数据，其中，每个图像样本数据包括目标图像和跟踪图像，其中，所述目标图像是指包括待跟踪目标的图像，所述跟踪图像是指包括将被执行跟踪的所述目标的图像，并具有所述目标的真实分割标签，其中，所述目标的真实分割标签包括所述目标的轮廓的极坐标的真实值；将所述目标图像和所述跟踪图像输入目标跟踪模型，获得第一特征图，其中，所述目标跟踪模型为Ocean模型；将第一特征图输入目标分割模型，获得所述目标的轮廓的极坐标的估计值；基于所述目标的轮廓的极坐标的估计值和所述目标的轮廓的极坐标的真实值计算用于所述目标分割模型的损失函数；基于用于所述目标跟踪模型的损失函数以及用于所述目标分割模型的损失函数来对所述目标跟踪模型和所述目标分割模型进行联合训练。2.如权利要求1所述的训练方法，其特征在于，所述目标的轮廓的极坐标的真实值是通过将所述目标的轮廓的x
‑
y坐标系的真实值执行x
‑
y坐标系至极坐标系的转换而得到的。3.如权利要求1所述的训练方法，其特征在于，第一特征图是所述目标图像和所述跟踪图像经过所述目标跟踪模型的特征提取模块和特征组合模块后得到的特征图。4.如权利要求1所述的训练方法，其特征在于，所述目标的轮廓的极坐标包括所述目标的轮廓上的预定数量n个点的极坐标。5.一种目标分割方法，其特征在于，包括：获取待跟踪的目标图像和跟踪图像，其中，所述目标图像是指包括待跟踪目标的图像，所述跟踪图像是指包括将被执行跟踪的所述目标的图像；将所述目标图像和所述跟踪图像输入目标跟踪模型，获得第一特征图，其中，所述目标跟踪模型为Ocean模型；将第一特征图输入目标分割模型，获得所述待跟踪的目标的轮廓的极坐标的估计值；基于所述跟踪图像和所述待跟踪的目标的轮廓的极坐标的估计值，获得目标分割结果。6.一种目标分割模型的训练装置，其特征在于，包括：样本获取单元，被配置为：获取图像样本数据，其中，每个图像样本数据包括目标图像和跟踪图像，其中，所述目标图像是指包括待跟踪目标的图像，所述跟踪图像是指包括将被执行跟踪的所述目...
【专利技术属性】
技术研发人员：王伟农，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。