【技术实现步骤摘要】
一种视频语义分割方法、装置及存储介质
本文涉及移动终端数据处理
，尤其涉及一种视频语义分割方法、装置及存储介质。
技术介绍
随着深度学习技术的发展，语义分割技术在各个数据集上取得了很大的突破，然而视频语义分割仍然是一个十分具有挑战性的任务。语义分割任务要求给图像上的每一个像素赋予一个带有语义的标签，视频语义分割任务是要求给视频中的每一帧图像上的每一个像素赋予一个带有语义的标签。相比于单张图像，视频数据本身有很强的帧冗余性和不确定性，如果把视频直接单帧地送入图像分割的模型中，会导致分割结果很不稳定。近期，很多研究人员利用视频之间的时序信息来提高图像分割的精度。但是，很多论文或模型使用的测试数据默认视频第一帧的掩码是事先人为标注好的，并在此基础上得到视频的分割结果，在实际工业应用中，视频的第一帧图像的掩码是未知的。
技术实现思路
为克服相关技术中存在的问题，本文提供了一种视频语义分割方法、装置及介质。根据本公开实施例的第一方面，提供一种视频语义分割方法，包括：确定...
【技术保护点】
1.一种视频语义分割方法，其特征在于，包括：/n确定样本视频中每帧样本图像的参考掩码矩阵；/n使用多个训练样本对，对视频语义分割模型进行训练直至训练成功；其中，每个训练样本对包括M组样本输入数据和一个目标掩码矩阵，每组样本输入数据包括一个样本图像和一个掩码矩阵；所述多个训练样本对包括第一类训练样本对和第二类训练样本对，每个第一类训练样本对的M组样本输入数据中第一组样本输入数据包括第一图像和第一掩码矩阵，第二组样本输入数据包括第二图像和第二掩码矩阵，第一图像和第二图像不同，并且第一掩码矩阵和第二掩码矩阵均是第二图像对应的参考掩码矩阵，目标掩码矩阵是第一图像对应的参考掩码矩阵；...
【技术特征摘要】
1.一种视频语义分割方法，其特征在于，包括：
确定样本视频中每帧样本图像的参考掩码矩阵；
使用多个训练样本对，对视频语义分割模型进行训练直至训练成功；其中，每个训练样本对包括M组样本输入数据和一个目标掩码矩阵，每组样本输入数据包括一个样本图像和一个掩码矩阵；所述多个训练样本对包括第一类训练样本对和第二类训练样本对，每个第一类训练样本对的M组样本输入数据中第一组样本输入数据包括第一图像和第一掩码矩阵，第二组样本输入数据包括第二图像和第二掩码矩阵，第一图像和第二图像不同，并且第一掩码矩阵和第二掩码矩阵均是第二图像对应的参考掩码矩阵，目标掩码矩阵是第一图像对应的参考掩码矩阵；每个第二类训练样本对中的M组样本输入数据均包括相同的样本图像和全零掩码矩阵，目标掩码矩阵是所述相同的样本图像对应的参考掩码矩阵；M是大于1的整数；
根据训练后的视频语义分割模型确定待处理视频的第一帧图像的预测掩码矩阵；
根据待处理视频的第一帧图像的预测掩码矩阵确定其它帧图像的预测掩码矩阵；
根据待处理视频的各帧图像的预测掩码矩阵对待处理视频进行语义分割。
2.如权利要求1所述的方法，其特征在于，
M大于2时，每个第一类训练样本对中的M组样本输入数据中除第一组样本输入数据和第二组样本输入数据之外的其它组样本输入数据包括一样本图像和对应的参考掩码矩阵。
3.如权利要求1所述的方法，其特征在于，
所述第二类训练样本对包含的训练样本对的数量，占所述第二类训练样本对包含的训练样本对的数量与所述第一类训练样本对包含的训练样本对的数量之和的比例，是设定概率。
4.如权利要求1所述的方法，其特征在于，
所述使用多个训练样本对，对视频语义分割模型进行训练直至训练成功，包括：循环执行以下过程直至对视频语义分割模型训练成功；
以设定概率确定待构建的训练样本对中的掩码矩阵是否设置为全零掩码矩阵；
如果是，从所述样本视频中随机选择一个样本图像，根据选择出的样本图像和全零掩码矩阵，构建一个第二类训练样本对；
如果否，从所述样本视频中选择M个样本图像，确定M个样本图像中每个样本图像对应的参考掩码矩阵，根据选择出的M个样本图像和对应的参考掩码矩阵，构建一个第一类训练样本对；
使用构建出的训练样本对，对视频语义分割模型进行训练。
5.如权利要求1所述的方法，其特征在于，
所述使用多个训练样本对，对视频语义分割模型进行训练直至训练成功，包括：
循环执行以下过程直至对视频语义分割模型训练成功；
从所述样本视频中选择M个样本图像；
以设定概率确定待构建的训练样本对中的掩码矩阵是否设置为全零掩码矩阵；
如果是，从所述M个样本图像中选择一个样本图像，根据选择出的样本图像和全零掩码矩阵，构建一个第二类训练样本对；
如果否，确定所述M个样本图像中每个图像帧对应的参考掩码矩阵，根据选择出的M个样本图像和对应的参考掩码矩阵，构建一个第一类训练样本对；
使用构建出的训练样本对，对视频语义分割模型进行训练。
6.如权利要求1所述的方法，其特征在于，
所述使用多个训练样本对，对视频语义分割模型进行训练直至训练成功，包括：
以设定概率确定所述第一类训练样本对包含的训练样本对的数量与所述第二类训练样本对包含的训练样本对的数量的比例，根据所述比例确定所述第一类训练样本对和所述第二类训练样本对；
使用确定出的多个训练样本对，对视频语义分割模型进行训练直至训练成功。
7.如权利要求1所述的方法，其特征在于，
所述根据训练后的视频语义分割模型确定待处理视频的第一帧图像的预测掩码矩阵，包括：
构建M对相同的输入数据，每对输入数据均包括待处理视频的第一帧图像和全零掩码矩阵；
将所述M对输入数据依次输入所述训练后的视频语义分割模型，将所述训练后的视频语义分割模型的输出结果作为待处理视频的第一帧图像的预测掩码矩阵。
8.如权利要求1所述的方法，其特征在于，
所述根据待处理视频的第一帧图像的预测掩码矩阵确定其它帧图像的预测掩码矩阵，包括：M为2时，根据待处理视频的第i-1帧图像的预测掩码矩阵确定待处理视频的第i帧图像的预测掩码矩阵，i是大于或等于2的整数；
M为2时，所述根据待处理视频的第i-1帧图像的预测掩码矩阵确定待处理视频的第i帧图像的预测掩码矩阵，包括：
构建2对输入数据，第1对输入数据包括待处理视频的第i帧图像以及第i-1帧图像对应的预测掩码矩阵，第2对输入数据包括待处理视频的第i-1帧图像以及第i-1帧图像对应的预测掩码矩阵，将所述2对输入数据输入至训练后的视频语义分割模型，获得输出结果，将所述输出结果作为所述第i帧图像的预测掩码矩阵。
9.如权利要求1所述的方法，其特征在于，
所述根据待处理视频的第一帧图像的预测掩码矩阵确定其它帧图像的预测掩码矩阵，包括：
M大于2时，根据待处理视频的第一帧图像的预测掩码矩阵确定待处理视频的第N帧图像的预测掩码矩阵，N大于或等于2并且小于M；
根据待处理视频的前M-1帧图像的预测掩码矩阵确定待处理视频的第M帧图像的预测掩码矩阵；
根据待处理视频的前P-1帧图像的预测掩码矩阵确定待处理视频的第P帧图像的预测掩码矩阵，P是大于M的整数。
10.如权利要求9所述的方法，其特征在于，
所述根据待处理视频的第一帧图像的预测掩码矩阵确定待处理视频的第N帧图像的预测掩码矩阵，包括：
构建M对输入数据，前2对输入数据中，第1对输入数据包括待处理视频的第N帧图像以及第N-1帧图像的预测掩码矩阵，第2对输入数据包括待处理视频的第N-1帧图像以及第N-1帧图像的预测掩码矩阵，第3至第M对输入数据中，均包括待处理视频的第N-1帧图像以及第N-1帧图像的预测掩码矩阵；
所述根据待处理视频的前M-1帧图像的预测掩码矩阵确定待处理视频的第M帧图像的预测掩码矩阵，包括：
构建M对输入数据，前2对输入数据中，第1对输入数据包括待处理视频的第M帧图像以及第M-1帧图像的预测掩码矩阵，第2对输入数据包括待处理视频的第M-1帧图像以及第M-1帧图像的预测掩码矩阵，第3至第M对输入数据中的第j对输入数据包括待处理视频的第M-j+1帧图像以及第M-j+1帧图像的预测掩码矩阵,j是大于或等于3并且小于或等于M的整数；
所述根据待处理视频的前P-1帧图像的预测掩码矩阵确定待处理视频的第P帧图像的预测掩码矩阵，包括：
构建M对输入数据，前2对输入数据中，第1对输入数据包括待处理视频的第P帧图像以及第P-1帧图像的预测掩码矩阵，第2对输入数据包括待处理视频的第P-1帧图像以及第P-1帧图像的预测掩码矩阵，第3至第M对输入数据中的第k对输入数据包括待处理视频的第P-k+1帧图像以及第P-k+1帧图像的预测掩码矩阵,k是大于或等于3并且小于或等于M的整数。
11.一种视频语义分割装置，其特征在于，包括：
第一确定模块，被配置为确定样本视频中每个样本图像的参考掩码矩阵；
训练模块，被配置为使用多个训练样本对，对视频语义分割模型进行训练直至训练成功；其中，每个训练样本对包括M组样本输入数据和一个目标掩码矩阵，每组样本输入数据包括一个样本图像和一个掩码矩阵；所述多个训练样本对包括第一类...
【专利技术属性】
技术研发人员：国显达，张宸鸣，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。