一种视频处理方法、装置和计算机可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种视频处理方法、装置和计算机可读存储介质；本发明专利技术实施例在获取待处理视频，并在待处理视频中筛选出当前需要处理的目标视频帧后，对目标视频帧进行视觉特征提取，得到目标视频帧的图像特征，然后，在图像特征中提取出目标视频帧中至少一个候选实例的实例特征，并根据实例特征，确定候选实例对应的实例权重，然后，在图像特征中提取出实例位置特征，并根据实例位置特征和实例权重，在目标视频帧中对候选实例进行分割，以在候选实例中筛选出目标实例，然后，在图像特征中提取出目标实例的跟踪特征，并根据跟踪特征对目标实例进行跟踪；该方案可以提升视频处理的准确性。确性。确性。

【技术实现步骤摘要】
一种视频处理方法、装置和计算机可读存储介质


[0001]本专利技术涉及通信
，具体涉及一种视频处理方法、装置和计算机可读存储介质。

技术介绍

[0002]近年来，随着互联网技术的飞速发展，对视频的处理方式也越来越多。在视频处理中，往往需要进行视频实例分割处理，所谓视频实例分割处理是指从视频序列中分离出对象实例，并进行跟踪。现有的视频处理方法主要是通过在视频帧中识别出可能存在实例的目标区域，在该目标区域内分割出实例，并进行跟踪。
[0003]在对现有技术的研究和实践过程中，本专利技术的专利技术人发现现有的视频处理方法往往比较依赖于识别出的目标区域，而直接识别出的目标区域往往精度不高，当目标区域的识别存在误差时，就会使得分割出的实例也往往存在误差，因此，导致视频处理的准确性不足。

技术实现思路

[0004]本专利技术实施例提供一种视频处理方法、装置和计算机可读存储介质，可以提高视频处理的准确性。
[0005]一种视频处理方法，包括：
[0006]获取待处理视频，并在所述待处理视频中筛选出当前需要处理的目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：获取待处理视频，并在所述待处理视频中筛选出当前需要处理的目标视频帧；对所述目标视频帧进行视觉特征提取，得到所述目标视频帧的图像特征；在所述图像特征中提取出所述目标视频帧中至少一个候选实例的实例特征，并根据所述实例特征，确定所述候选实例对应的实例权重，所述实例权重用于指示所述候选实例在所述目标视频帧中每一像素位置的权重；在所述图像特征中提取出实例位置特征，并根据所述实例位置特征和实例权重，在所述目标视频帧中对所述候选实例进行分割，以在所述候选实例中筛选出目标实例；在所述图像特征中提取出所述目标实例的跟踪特征，并根据所述跟踪特征对所述目标实例进行跟踪。2.根据权利要求1所述的视频处理方法，其特征在于，所述根据所述实例特征，确定所述候选实例对应的实例权重，包括：获取所述目标视频帧对应的预设卷积核；将所述实例特征添加至所述预设卷积核，得到所述候选实例对应的目标卷积核；根据所述目标卷积核，确定所述候选实例对应的实例权重。3.根据权利要求1所述的视频处理方法，其特征在于，所述在所述图像特征中提取出实例位置特征，包括：采用训练后视频处理模型的实例分割网络在所述图像特征中提取出所述候选实例的掩膜特征；将所述掩膜特征进行融合，并将融合后掩膜特征与预设坐标特征进行拼接，得到所述目标视频帧对应的实例位置特征。4.根据权利要求3所述的视频处理方法，其特征在于，所述根据所述实例位置特征和实例权重，在所述目标视频帧中对所述候选实例进行分割，以在所述候选实例中筛选出目标实例，包括：将所述实例权重作为所述候选实例的卷积参数，并基于所述卷积参数，对所述实例位置特征进行卷积处理，得到所述候选实例在所述目标视频帧中的实例分割值；当所述实例分割值超过预设分割阈值时，将所述候选实例作为所述目标视频帧中真实存在的目标实例。5.根据权利要求3所述的视频处理方法，其特征在于，所述采用训练后视频处理模型的实例分割网络在所述图像特征中提取出所述候选实例的掩膜特征之前，还包括：获取视频帧样本对，所述视频帧样本对包括目标视频帧样本和与所述目标视频帧样本相邻的参考视频帧样本，所述视频帧样本对包括标注实例的实例帧；采用预设视频处理模型分别预测所述目标视频帧样本和参考视频帧样本的预测实例和所述预测实例对应的样本跟踪特征；根据所述标注实例、预测实例和样本跟踪特征对所述预设视频处理模型进行收敛，得到所述训练后视频处理模型。6.根据权利要求5所述的视频处理方法，其特征在于，所述根据所述标注实例、预测实例和样本跟踪特征对所述预设视频处理模型进行收敛，得到所述训练后视频处理模型，包括：
获取所述预测实例对应的位置信息，并根据位置信息，确定所述视频帧样本对的位置损失信息；根据所述标注实例和预测实例，确定所述视频帧样本对的实例损失信息；基于所述样本跟踪特征，确定所述视频帧样本对的跟踪损失信息；将所述位置损失信息、实例损失信息和跟踪损失信息进行融合，并基于融合后损失信息对预设视频处理模型进行收敛，得到所述训练后视频处理模型。7.根据权利要求6所述的视频处理方法，其特征在于，所述预测实例包括预测目标实例和预测参考实例，所述根据所述标注实例和预测实例，确定所述视频帧样本对的实例损失信息，包括：根据预测目标实例和预测参考实例，确定所述视频帧样本对的卷积核损失信息；基于标注实例和预测实例，确定所述视频帧样本对的分割损失信息；将所述卷积核损失信息和分割损失信息进行融合，得到所述视频帧样本对的实例损失信息。8.根据权利要求7所述的视频处理方法，其特征在于，所述根据预测目标实例和预测参考实例，确定所述视频帧样本对的卷积核损失信息，包括：根据所述样本跟踪特征，在预测参考实例中筛选出与所述预测目标实例相似的目标预测参考实例；获取所述预测目标实例对应的目标卷积核和所述目标预测参考实例对应的参考卷积核；计算所述目标卷积核与参考卷积核之间的距离，得到卷积核距离；根据所述卷积核距离，确定所述视频帧样本对的卷积核损失信息。...

【专利技术属性】
技术研发人员：顾章轩，蒋正锴，彭瑾龙，王亚彪，汪铖杰，李季檩，黄飞跃，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：