【技术实现步骤摘要】
一种自动化批量音乐卡点视频生成的方法、系统、计算机设备及可读存储介质
本专利技术具体涉及一种自动化批量音乐卡点视频生成的方法、系统、计算机设备及可读存储介质。
技术介绍
目前的音乐卡点视频生成主要通过人工操作完成。现有技术中,在做音乐卡点视频合成时,或是限制了音乐,或是限制了可以卡的点,并且人工介入较多。其中,一种方法是“剪同款”,用户需要选择模版,然后提供剪辑好的规定数量和时长的视频片段才能生成卡点视频。比如剪映等APP中的“剪同款”功能,只能用和模版相同的音乐来合成视频,限制了音乐的选择,模板单一。另一种方法是给用户推荐可以卡的点,然后用户自己从中选择需要卡的点,最后把视频片段剪辑成选择的卡点时长,拼接合成视频。比如AE中的BeatEdit插件可以给出任意音乐的beats,但只提供了beats,限制了可以卡的点。无论哪种方法,都需要人工根据需要卡的点,调整视频时长,难以批量生产卡点视频。
技术实现思路
针对上述情况,为克服现有技术的缺陷,本专利技术提供一种自动化批量音乐卡点视频生成的方法、系统、计算机设备及可读存储介质。为了实现上述目的,本专利技术提供以下技术方案:一种自动化批量音乐卡点视频生成的系统,包括参数配置模块、beats检测模块、downbeats检测模块、鼓点检测模块、结尾点检测模块、决策模块、剪辑与渲染模块;其中,beats检测模块与downbeats检测模块连接,参数配置模块、beats检测模块、downbeats检测模块、鼓点检测模块、结尾点检测模块分 ...
【技术保护点】
1.一种自动化批量音乐卡点视频生成的系统,其特征是,包括参数配置模块、beats检测模块、downbeats检测模块、鼓点检测模块、结尾点检测模块、决策模块、剪辑与渲染模块;其中,beats检测模块与downbeats检测模块连接,参数配置模块、beats检测模块、downbeats检测模块、鼓点检测模块、结尾点检测模块分别与决策模块连接,决策模块和剪辑与渲染模块连接;/n参数配置模块被配置为能够对输入的视频进行参数配置,并将配置的参数信息发生至决策模块,beats检测模块被配置为能够对输入的音频进行检测,得到beats序列,并将beats序列分别发送至downbeats检测模块与决策模块,downbeats检测模块被配置为能够对beats序列进行检测,得到downbeats,并将downbeats发生至决策模块;鼓点检测模块、结尾点检测模块能够分别对输入的音频进行检测,得到鼓点与结尾点,并将检测得到的结果发送至决策模块;决策模块被配置为能够接收上述的检测结果与配置的参数信息进行决策,并将决策发送至剪辑与渲染模块,剪辑与渲染模块被配置为能够根据决策,对视频片段进行自动化编辑,最后把所有 ...
【技术特征摘要】
1.一种自动化批量音乐卡点视频生成的系统,其特征是,包括参数配置模块、beats检测模块、downbeats检测模块、鼓点检测模块、结尾点检测模块、决策模块、剪辑与渲染模块;其中,beats检测模块与downbeats检测模块连接,参数配置模块、beats检测模块、downbeats检测模块、鼓点检测模块、结尾点检测模块分别与决策模块连接,决策模块和剪辑与渲染模块连接;
参数配置模块被配置为能够对输入的视频进行参数配置,并将配置的参数信息发生至决策模块,beats检测模块被配置为能够对输入的音频进行检测,得到beats序列,并将beats序列分别发送至downbeats检测模块与决策模块,downbeats检测模块被配置为能够对beats序列进行检测,得到downbeats,并将downbeats发生至决策模块;鼓点检测模块、结尾点检测模块能够分别对输入的音频进行检测,得到鼓点与结尾点,并将检测得到的结果发送至决策模块;决策模块被配置为能够接收上述的检测结果与配置的参数信息进行决策,并将决策发送至剪辑与渲染模块,剪辑与渲染模块被配置为能够根据决策,对视频片段进行自动化编辑,最后把所有的视频片段拼接并加上音乐就得到了最终的视频。
2.一种自动化批量音乐卡点视频生成的方法,其特征是,采用权利要求1中所述的系统,包括以下步骤:
(1)输入音频与视频;
(2)参数配置模块对输入的视频进行参数配置;
(3)beats检测模块、鼓点检测模块、结尾点检测模块分别对输入的音频进行检测,得到beats序列、鼓点与结尾点;
(4)downbeats检测模块对步骤(3)得到的beats序列进行检测,得到downbeats;
(5)决策模块根据步骤(2)中用户配置的参数以及步骤(3)-(4)检测得到beats序列、鼓点、结尾点与downbeats进行决策;
(6)剪辑与渲染模块根据步骤(5)的决策,对视频片段进行自动化编辑,最后把所有的视频片段拼接并加上音乐就得到了最终的视频。
3.根据权利要求2所述的一种自动化批量音乐卡点视频生成的方法,其特征是,步骤(3)中,beats检测模块对输入的音频进行检测,包括以下步骤:
(3.1)计算onsets的能量包络O(t)
(3.11)对输入的音频进行短时傅立叶变换,得到频谱;然后将频谱转换到梅尔频谱上;
(3.12)把时间按4ms为最小单位分成时间片,然后在时间轴上做一阶差值,只保留正值,并把每个时间点上所有频率的正值求和;在求和时用高通滤波器过滤掉人耳难以感知的频段;此时的每一个峰值就是一个onset;
(3.13)最后用高斯窗对求和结果做平滑处理,得到onsets的能量包络O(t);
(3.2)计算全局的tempo
(3.21)基于onsets的能量包络O(t),对其做不同时间延迟下的加权自相关计算,其峰值便是估计的bpm即tempo;加权自相关函数为:
其中,t是时间点,τ为延迟的时间,O(t)为onsets的能量包络,W(τ)是高斯加权函数;
其中,τ0是默认偏向的tempo大小,στ是偏重程度系数;
(3.3)基于动态规划计算beats
(1)找到每个beats的具体时间点,同时进行微调;在寻找beats时,把目标设定为:
其中,{ti}是一个时间序列,即是要找的beats点,ti表示第i个beats点;O(t)为onsets的能量包络,α是平衡两个目标的系数,N为找到的beats点的个数,τp为上一步中计算得到的tempo,F(Δ...
【专利技术属性】
技术研发人员:陈权,谭亮,
申请(专利权)人:杭州艾耕科技有限公司,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。