视频处理方法技术

本申请涉及一种视频处理方法

【技术实现步骤摘要】
视频处理方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种视频处理方法
、
装置
、
计算机设备
、
存储介质和计算机程序产品
。

技术介绍

[0002]随着计算机技术的发展，视频在人工智能的众多场景中得到广泛应用，怎样对视频进行描述和表达成为重要的问题
。
传统技术中，从视频中提取视频特征，并根据视频特征对视频进行处理
。
但是，通过专利技术人的实践发现，从视频中提取的视频特征不能准确且全面的描述和表达视频，导致基于该视频特征对视频进行处理的准确性低
。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种能够提高准确性的视频处理方法
、
装置
、
计算机设备
、
计算机可读存储介质和计算机程序产品
。
[0004]第一方面，本申请提供了一种视频处理方法
。
所述方法包括：
[0005]通过视频处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视频处理方法，其特征在于，所述方法包括：通过视频处理模型，依次对视频集的视频帧和媒体信息进行编码，并对编码所得的视频特征和媒体特征进行融合，得到多模态的第一融合特征；所述视频帧包含被掩膜处理的图像块，所述媒体信息包含被掩膜处理的子媒体信息；基于所述第一融合特征，对被掩膜处理的所述图像块和所述子媒体信息进行重构，得到重构图像块和重构子媒体信息；根据所述重构图像块和所述图像块确定第一失真损失，根据所述重构子媒体信息与所述子媒体信息确定第二失真损失，以及根据所述视频特征和所述媒体特征确定对比学习损失；基于所述第一失真损失
、
所述第二失真损失和所述对比学习损失，对所述视频处理模型进行参数调整，直至所述视频处理模型收敛；通过收敛的所述视频处理模型提取目标视频的多模态的第二融合特征，并基于所述第二融合特征进行视频相似性处理
。2.
根据权利要求1所述的方法，其特征在于，所述通过视频处理模型，依次对视频集的视频帧和媒体信息进行编码包括：通过所述视频处理模型的视频编码器，依次对所述视频集的视频帧进行视频编码，得到视频特征；通过所述视频处理模型的媒体编码器，依次对所述视频集的媒体信息进行媒体编码，得到媒体特征
。3.
根据权利要求2所述的方法，其特征在于，所述通过所述视频处理模型的视频编码器，依次对所述视频集的视频帧进行视频编码，得到视频特征包括：获取所述视频帧对应的视频帧尺寸；根据所述视频帧尺寸对所述视频集内各视频的视频帧进行分块，得到各所述视频对应的图像块序列；分别将各所述视频对应的图像块序列与分类标志进行拼接，得到各所述视频对应的拼接图像信息；通过所述视频处理模型的视频编码器，分别对各所述视频对应的拼接图像信息进行视频编码，得到各所述视频对应的全局视频特征和局部视频特征
。4.
根据权利要求3所述的方法，其特征在于，所述分别将各所述视频对应的图像块序列与分类标志进行拼接包括：对各所述视频对应的图像块序列中的至少一个图像块进行掩膜处理，得到各所述视频对应的处理后图像块序列；分别将各所述视频对应的处理后图像块序列和分类标志进行拼接
。5.
根据权利要求2至4任一项所述的方法，其特征在于，所述通过所述视频处理模型的媒体编码器，依次对所述视频集的媒体信息进行媒体编码，得到媒体特征包括：依次对各所述视频对应的媒体信息中的至少一个子媒体信息进行掩膜处理，得到各所述视频对应的处理后媒体信息；分别将各所述视频对应的处理后媒体信息和分类标志进行拼接，得到各所述视频对应的拼接媒体信息；
通过所述视频处理模型的媒体编码器，依次对各所述视频对应的拼接媒体信息进行媒体编码，得到全局媒体特征和局部媒体特征
。6.
根据权利要求5所述的方法，其特征在于，所述视频集包括
n
个视频；所述根据所述视频特征和所述媒体特征确定对比学习损失包括：根据第
i
个视频对应的全局视频特征以及所述
n
个视频的媒体信息对应的媒体特征确定第
i
正向对比损失，对
i
进行自增处理，返回执行所述根据第
i
个视频对应的全局视频特征以及所述
n
个视频的媒体信息对应的媒体特征确定第
i
正向对比损失的步骤，直至得到所述
n
个视频对应的正向对比损失和值；根据第
i
个视频对应的全局媒体特征以及所述
n
个视频的视频帧对应的视频特征确定第
i
反向对比损失，对
i
进行自增处理，返回执行所述根据第
i
个视频对应的全局媒体特征以及所述
n
个视频的视频帧对应的视频特征确定第
i
反向对比损失的步骤，直至得到所述
n
个视频对应的反向对比损失和值；基于所述正向对比损失和值与所述反向对比损失和值，确定对比学习损失；其中，
n
为大于或等于2的正整数，
i
为正整数，且
1≤i≤n。7.
根据权利要求6所述的方法，其特征在于，所述根据第
i
个视频对应的全局视频特征以及所述
n
个视频的媒体信息对应的媒体特征确定第
i
正向对比损失包括：在所述
n
个视频的媒体信息中，分别确定第
i
个视频对应的第一媒体信息与第二媒体信息；所述第一媒体信息是与所述第
i
个视频相匹配的媒体信息，所述第二媒体信息是与所述第
i
个视频不匹配的媒体信息；根据所述第
i
个视频对应的全局视频特征
、
所述第一媒体信息对应的媒体特征与所述第二媒体信息对应的媒体特征，确定第
i
正向对比损失
。8.
根据权利要求6所述的方法，其特征在于，所述根据第
i
个视频对应的全局媒体特征以及所述
n
个视频的视频帧对应的视频特征确定第
i
反向对比损失包括：在所述
n
个视频...

【专利技术属性】
技术研发人员：谭颖韬，汪翔，黄珊，朱优松，陈盈盈，王金桥，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：