System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 视频数据处理方法、设备及存储介质技术_技高网

视频数据处理方法、设备及存储介质技术

技术编号:40311799 阅读:4 留言:0更新日期:2024-02-07 20:54
本申请实施例提供一种视频数据处理方法、设备及存储介质。在本申请实施例中,针对原始视频数据进行下采样,在低分辨率尺度下提取全局特征,可以降低全局特征的计算复杂度;为了避免细节信息的丢失,针对原始视频数据进行网格化抽样,基于抽样后的视频帧进行细节特征提取,将提取的细节特征作为全局特征的补充;将全局特征和细节特征进行有效的融合,充分利用全局特征和细节特征之间的互补性;基于融合后的特征进行视频质量的评估,即能降低视频质量评估的计算复杂度,又能提高视频质量评估的准确性。

【技术实现步骤摘要】

本申请涉及视频处理,尤其涉及一种视频数据处理方法、设备及存储介质


技术介绍

1、随着内容社交平台的发展,越来越多的用户生成内容(ugc)视频被产生和分享。这些ugc视频包括个人日常生活、旅行经历、创意作品等各种类型。然而,由于ugc视频的产生方式和上传流程的多样性,往往难以获得对应的参考视频用于质量评估。

2、在这种情况下,无参考视频质量评估的意义就显得尤为重要。无参考视频质量评估方式通过提取原始视频的特征,如图像清晰度等来判断视频的质量,更加客观和准确。然而,现有方法在处理较高分辨率视频时,模型的计算复杂度较高,算力资源消耗较大。


技术实现思路

1、本申请的多个方面提供一种视频数据处理方法、设备及存储介质,用以降低模型的计算复杂度。

2、本申请实施例提供一种视频数据处理方法,包括:获取原始视频数据,原始视频数据包括多个原始视频帧;对多个原始视频帧分别下采样以得到多个第一目标视频帧,对多个第一目标视频帧进行特征提取,以得到多个原始视频帧的全局特征;对多个原始视频帧分别网格化抽样得到多个第二目标视频帧,对多个第二目标视频帧进行细节特征提取,以得到多个原始视频帧的细节特征;对多个原始视频帧的全局特征和细节特征进行特征融合,以得到多个原始视频帧对应的目标融合特征;根据多个原始视频帧对应的目标融合特征,生成原始视频数据的质量数据。

3、本申请实施例还提供一种电子设备,包括:存储器和处理器;存储器,用于存储计算机程序;处理器,与存储器耦合,用于执行计算机程序,以实现本申请实施例提供的视频数据处理方法中的各步骤。

4、本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,当计算机程序被处理器执行时,致使处理器实现本申请实施例提供的视频数据处理方法中的各步骤。

5、在本申请实施例中,针对原始视频数据进行下采样,在低分辨率尺度下提取全局特征,可以降低全局特征的计算复杂度;为了避免细节信息的丢失,针对原始视频数据进行网格化抽样,基于抽样后的视频帧进行细节特征提取,将提取的细节特征作为全局特征的补充;将全局特征和细节特征进行有效的融合,充分利用全局特征和细节特征之间的互补性;基于融合后的特征进行视频质量的评估,即能降低视频质量评估的计算复杂度,又能提高视频质量评估的准确性。

本文档来自技高网...

【技术保护点】

1.一种视频数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对所述多个原始视频帧分别下采样以得到多个第一目标视频帧,包括:

3.根据权利要求1所述的方法,其特征在于,对所述多个原始视频帧分别网格化抽样得到多个第二目标视频帧,包括:

4.根据权利要求3所述的方法,其特征在于,从所述多个图像区域中分别抽取图像块,包括:

5.根据权利要求1-4任一项所述的方法,其特征在于,还包括:

6.根据权利要求1-4任一项所述的方法,其特征在于,对所述多个原始视频帧的全局特征和细节特征进行特征融合,以得到所述多个原始视频帧对应的目标融合特征,包括:

7.根据权利要求6所述的方法,其特征在于,基于交叉注意力机制,对所述多个原始视频帧的全局特征和细节特征进行特征融合,以得到所述多个原始视频帧对应的目标融合特征,包括:

8.根据权利要求7所述的方法,其特征在于,根据所述查询矩阵和所述键矩阵,生成所述原始视频帧对应的交叉注意力权重,包括:

9.根据权利要求7所述的方法,其特征在于,根据所述交叉注意力权重矩阵和所述值矩阵,生成所述原始视频帧的细节缺失特征,包括:

10.根据权利要求7所述的方法,其特征在于,将所述细节缺失特征与所述全局特征进行融合,以得到所述原始视频帧对应的目标融合特征,包括:

11.根据权利要求10所述的方法,其特征在于,根据所述多个原始视频帧对应的目标融合特征,生成所述原始视频数据的质量数据,包括:

12.根据权利要求11所述的方法,其特征在于,根据所述多个原始视频帧对应的目标融合特征,获取多个融合特征对,包括:

13.根据权利要求11所述的方法,其特征在于,根据所述多个时空融合特征,生成所述原始视频数据的质量数据,包括:

14.一种电子设备,其特征在于,包括:存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,与所述存储器耦合,用于执行所述计算机程序,以实现权利要求1-13中任一项所述方法中的步骤。

15.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序被处理器执行时,致使所述处理器实现权利要求1-13中任一项所述方法中的步骤。

...

【技术特征摘要】

1.一种视频数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对所述多个原始视频帧分别下采样以得到多个第一目标视频帧,包括:

3.根据权利要求1所述的方法,其特征在于,对所述多个原始视频帧分别网格化抽样得到多个第二目标视频帧,包括:

4.根据权利要求3所述的方法,其特征在于,从所述多个图像区域中分别抽取图像块,包括:

5.根据权利要求1-4任一项所述的方法,其特征在于,还包括:

6.根据权利要求1-4任一项所述的方法,其特征在于,对所述多个原始视频帧的全局特征和细节特征进行特征融合,以得到所述多个原始视频帧对应的目标融合特征,包括:

7.根据权利要求6所述的方法,其特征在于,基于交叉注意力机制,对所述多个原始视频帧的全局特征和细节特征进行特征融合,以得到所述多个原始视频帧对应的目标融合特征,包括:

8.根据权利要求7所述的方法,其特征在于,根据所述查询矩阵和所述键矩阵,生成所述原始视频帧对应的交叉注意力权重,包括:

9.根据权利要求7所述的方法,其特征在于...

【专利技术属性】
技术研发人员:吴伟胡术明李凯陈颖刘旭余刚
申请(专利权)人:淘宝中国软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1