基于深度学习音频分类的电影高光自动剪辑方法技术

本发明专利技术公开了一种基于深度学习音频分类的电影高光自动剪辑方法，包括以下步骤：S1，基于AudioSet公开数据集，训练音频识别深度学习模型；S2，对待处理的电影以16000的采样率提取音频信号；S3，对提取的音频信号以64000长度作为采样窗口，以32000长度作为采样间隔进行采样；S4，对每个采样间隔用音频识别深度学习模型进行推理，将得到的结果按照分类进行保存；S5，按类别将结果整合，映射到电影帧数上，重叠部分取平均值；S6，按照阈值对S5结果做0‑1赋值；S7，将响应为1的部分作为高光片段计算对应的起始时间与结束时间，同时将每个片段内对应S5的分数取平均作为高光评分；S8，基于高光片段时间信息进行片段剪辑并输出。

【技术实现步骤摘要】

本专利技术属于电影剪辑，具体涉及一种基于深度学习音频分类的电影高光自动剪辑方法。

技术介绍

1、数字化、信息化时代，人们生活节奏加快，逐渐习惯了高强度的信息接收方式。因此，观众观看影视作品的方式也发生了翻天覆地的改变：从电影院固定场次观看到随时随地观看；从按部就班、从头到尾欣赏到利用技术手段快速浏览，倍速观看、短视频观看等新型观看方式逐渐涌现出来。

2、随着移动智能终端的普及和移动互联网技术等不断发展，人们对移动设备的依赖性越来越强，同时兼顾碎片时间的合理利用，短视频依靠时长短、数据流量少、即用即走的优势持续吸引大量用户。故而，电影走向短视频高光剪辑是一段毕竟的道路。观看电影高光剪辑，一方面满足了观众的碎片化观影需求，另一方面也利于观众在观看完集锦后在选择感兴趣的电影整部观看，起到预告片的作用。

3、然而，电影剪辑需要耗费大量的人力时间精力。单部电影时长在1.5-3小时，挑选高光片段需要纵览整部电影，并反复观看部分片段，片段挑选时间可能会在整个电影时长的2-3倍，耗时巨大。

技术实现思路

<本文档来自技高网...

【技术保护点】

1.一种基于深度学习音频分类的电影高光自动剪辑方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于深度学习音频分类的电影高光自动剪辑方法，其特征在于，音频识别深度学习模型在推理时输入为t秒音频波形，需先预处理转换为每10ms使用25ms汉明窗计算的128维的对数梅尔滤波器组Fbank特征序列作为输入，推理输出为该音频片段的每个分类的置信度。

3.如权利要求1所述的基于深度学习音频分类的电影高光自动剪辑方法，其特征在于，S1中所述音频识别深度学习模型以16000音频采样率下的5秒音频片段经过Fbank处理后生成频域特征作为输入，输出结果为527个分类的置信度...

【技术特征摘要】

1.一种基于深度学习音频分类的电影高光自动剪辑方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于深度学习音频分类的电影高光自动剪辑方法，其特征在于，音频识别深度学习模型在推理时输入为t秒音频波形，需先预处理转换为每10ms使用25ms汉明窗计算的128维的对数梅尔滤波器组fbank特征序列作为输入，推理输出为该音频片段的每个分类的置信度。

3.如权利要求1所述的基于深度学习音频分类的电影高光自动剪辑方法，其...

【专利技术属性】
技术研发人员：柯仕诚，何旭峰，田建国，顾月薪，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：