视频处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供了一种视频处理方法、装置、电子设备及存储介质，该方法包括：获取目标视频；每隔预设时间对目标视频进行抽帧，得到多个视频帧；通过对每个视频帧进行特征提取，得到多个视频帧特征，以及按照多个视频帧对应的时序提取目标视频中的音频数据对应的多个音频频谱特征；通过对每一预设时间对应的视频帧特征和音频频谱特征进行融合学习，生成目标视频在每个预设时间处对应的场景语义特征；根据场景语义特征对目标视频进行场景分割。本发明专利技术通过融合学习目标视频的视频帧特征和音频频谱特征，更加精细地掌握目标视频的场景语义特征，根据场景语义特征对视频进行场景分割，提高了目标视频场景分割的准确率。目标视频场景分割的准确率。目标视频场景分割的准确率。

【技术实现步骤摘要】
视频处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及大数据处理领域，具体而言，涉及一种视频处理方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，在社交网络领域，短视频是当下最火的社交手段和信息的传播方法；短视频的镜头分割在社交网络领域应用较为广泛。当前，短视频镜头的分割大多主要在意的是视觉上的视角和场景的变化，比如，通过计算视频帧图像之间的相似度，进行短视频分割，而多个不同的镜头才可能构成一个有意义的视频段，仅凭帧图像的视觉变化或场景变化进行的视频分割准确率较低。

技术实现思路

[0003]为了解决上述技术问题或者至少部分地解决上述技术问题，本专利技术提供了一种视频处理方法、装置、电子设备及存储介质。
[0004]第一方面，本专利技术提供了一种视频处理方法，所述方法包括：获取目标视频，其中，所述目标视频为待进行场景分割的短视频；每隔预设时间对所述目标视频进行抽帧，得到多个视频帧；通过对每个视频帧进行特征提取，得到多个视频帧特征，以及按照所述多个视频帧对应的时序提取所述目标视频中的音频数据对应的多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：获取目标视频，其中，所述目标视频为待进行场景分割的短视频；每隔预设时间对所述目标视频进行抽帧，得到多个视频帧；通过对每个视频帧进行特征提取，得到多个视频帧特征，以及按照所述多个视频帧对应的时序提取所述目标视频中的音频数据对应的多个音频频谱特征；通过对每一预设时间对应的视频帧特征和音频频谱特征进行融合学习，生成所述目标视频在每个预设时间处对应的场景语义特征；根据所述场景语义特征对所述目标视频进行场景分割。2.根据权利要求1所述的方法，其特征在于，所述按照所述多个视频帧对应的时序提取所述目标视频中的音频数据对应的多个音频频谱特征包括：抽取所述目标视频中的音频数据，并将所述音频数据转换成音频频谱图；按照所述多个视频帧对应的时序，对所述音频频谱图进行切分，得到与所述视频帧的数量相同的多个音频频谱序列；通过对每个音频频谱序列进行特征提取，得到与所述视频帧的数量相同的多个音频频谱特征。3.根据权利要求1所述的方法，其特征在于，所述通过对每一预设时间对应的视频帧特征和音频频谱特征进行融合学习，生成所述目标视频在每个预设时间处对应的场景语义特征，包括：通过以下方式生成所述目标视频在每个预设时间处对应的场景语义特征：针对多个预设时间中的任一目标预设时间，将所述目标预设时间对应的目标视频帧特征和目标音频频谱特征进行关联，得到关联特征；通过将所述关联特征输入SE模块进行学习，生成所述目标视频在所述目标预设时间处对应的场景语义特征。4.根据权利要求3所述的方法，其特征在于，所述通过将所述关联特征输入SE模块进行学习，生成所述目标视频在所述目标预设时间处对应的场景语义特征包括：通过所述SE模块学习所述目标视频帧特征对应的第一通道对应的第一全局空间特征、所述目标音频频谱特征对应的第二通道的第二全局空间特征以及所述第一通道与所述第二通道间的依赖程度；根据所述第一全局空间特征、第二全局空间特征及所述依赖程度分别为所述目标视频帧特征分配第一权重及为所述目标音频频谱特征分配第二权重；根据所述目标视频帧特征、所述第一权重、所述目标音频频谱特征及所述第二权重构建所述场景语义特征。5.根据权利要求1
‑
4中任意一项所述的方法，其特征在于，所述根据所述场景语义特征对所述目标视频进行场景分割包括：根据所述场景语义特征判断与所述场景语义特征对应的预设时间是否为所述目标视频的场景分割时间点；若与所述场景语义特征对应的预设时间为所述目标视频的场景分割时间点，则在所述场景分割时间点对所述目标视频进行场景分割，得到场景分割结果。6.根据权利要求5所述的方法，其特征...

【专利技术属性】
技术研发人员：朱彦浩，胡郡郡，唐大闰，
申请(专利权)人：北京明略昭辉科技有限公司，
类型：发明
国别省市：