特征融合方法及装置、视频抖动消除方法及装置制造方法及图纸

本公开关于一种特征融合方法及装置、视频抖动消除方法及装置。该方法包括：基于待处理视频中当前图像帧的特征和至少一个参考图像帧的特征，获取至少一个第一相似度信息，其中，至少一个参考图像帧是待处理视频中在当前图像帧前面的预定个数的图像帧，至少一个第一相似度信息是当前图像帧分别与至少一个参考图像帧的相似度信息；基于至少一个参考图像帧的特征和至少一个第一相似度信息，得到至少一个参考图像帧分别与当前图像帧对齐后的特征；基于对齐后的特征和当前图像帧的特征，得到当前图像帧的融合后的特征。图像帧的融合后的特征。图像帧的融合后的特征。

【技术实现步骤摘要】
特征融合方法及装置、视频抖动消除方法及装置


[0001]本公开涉及视频处理领域，尤其涉及一种特征融合方法及装置、视频抖动消除方法及装置。

技术介绍

[0002]视频是日常生活接触比较多的信息，随着深度学习的发展，用户希望可以通过深度学习理解视频里的内容，比如这个视频里面有多少人、人移动的轨迹等信息。但在一些复杂场景里，视频中相似的两个图像帧会得到差别很大的结果，比如两个图像帧肉眼看上去是差不多的图片，前一个图像帧可以检测到人的肢体，后一个图像帧就突然检测不到了，这种现象称为“抖动”现象，抖动现象会严重影响用户观感和其他量化指标。
[0003]为了解决上述问题，学术界在图像算法的基础上提出“时序特征融合方法”进行处理，比如使用了一些rnn/non local等方法，这些时序特征融合方法可以很好缓解抖动问题，但是这些方法仅在学术数据集上有用，在真实场景就会遇到很多问题，主要是因为真实场景很多数据都没在学术数据集上出现过，导致算法效果不好，需要使用真实场景的数据重新训练这些模型才行。然而这个训练过程需要标注很多真实场景的视频数据，尤其针对需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征融合方法，其特征在于，包括：基于待处理视频中当前图像帧的特征和至少一个参考图像帧的特征，获取至少一个第一相似度信息，其中，所述至少一个参考图像帧是所述待处理视频中在所述当前图像帧前面的预定个数的图像帧，所述至少一个第一相似度信息是所述当前图像帧分别与所述至少一个参考图像帧的相似度信息；基于所述至少一个参考图像帧的特征和所述至少一个第一相似度信息，得到所述至少一个参考图像帧分别与所述当前图像帧对齐后的特征；基于所述对齐后的特征和所述当前图像帧的特征，得到所述当前图像帧的融合后的特征。2.如权利要求1所述的特征融合方法，其特征在于，所述基于所述对齐后的特征和所述当前图像帧的特征，得到所述当前图像帧的融合后的特征，包括：将所述对齐后的特征和所述当前图像帧的特征，分别与所述当前图像帧的特征进行点乘，得到至少两个第二相似度信息；将所述对齐后的特征和所述当前图像帧的特征，分别与所述至少两个第二相似度信息中对应的第二相似度信息进行相乘处理，得到至少两个乘积；对所述至少两个乘积进行求和，得到所述当前图像帧的融合后的特征。3.如权利要求2所述的特征融合方法，其特征在于，所述将所述对齐后的特征和所述当前图像帧的特征，分别与所述至少两个第二相似度信息中对应的第二相似度信息进行相乘处理，得到至少两个乘积，包括：对所述至少两个第二相似度信息进行归一化处理，得到至少两个归一化处理后的第二相似度信息；将所述对齐后的特征和所述当前图像帧，分别与所述至少两个归一化处理后的第二相似度信息中对应的第二相似度信息进行相乘处理，得到至少两个乘积。4.如权利要求1所述的特征融合方法，其特征在于，所述基于所述对齐后的特征和所述当前图像帧的特征，得到所述当前图像帧的融合后的特征，包括：基于所述对齐后的特征和所述当前图像帧的特征的平均值，得到所述当前图像帧的融合后的特征。5.一种视频抖动消除方法，其特征在于，包括：将待处理视频输入到视频处理模型，得到所述视频处理模型中除输出层以外的任一层输出的所述待处理视频中当前图像帧的特征和至少一个参考图像帧的特征，其中，所述至少一个参考图像帧是所述待处理视频中在所述当前图像帧前面的预定个数的图像帧；通过如权利要求1至4中任一项所述的特征融合方法对所述当前图像帧的...

【专利技术属性】
技术研发人员：黄钊金，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：